Building Korean linguistic resource for NLU data generation of banking app CS dialog system
यह शोध पत्र फाइनेंशियल एनोटेटेड डेटासेट (FIAD) के निर्माण को प्रस्तुत करता है, जो बैंकिंग ऐप समीक्षाओं और लोकल ग्रामर ग्राफ से प्राप्त एक कोरियाई भाषाई संसाधन है, जिसका उपयोग एनोटेटेड प्रशिक्षण डेटा उत्पन्न करने के लिए किया जाता है जो बैंकिंग ग्राहक सेवा संवाद प्रणालियों में विभिन्न NLU मॉडलों के प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि उन लोगों से कैसे बात की जाए जो अपने बैंक खातों को लेकर क्रोधित या भ्रमित हैं। इसे करने के लिए, रोबोट को एक "पाठ्यपुस्तक" की आवश्यकता है जो उदाहरणों से भरी हो कि लोग वास्तव में क्या कहते हैं। लेकिन समस्या यह है: वास्तविक लोग बहुत ही अव्यवस्थित होते हैं। वे स्लैंग (बोलचाल की भाषा) का उपयोग करते हैं, वे क्रोधित होते हैं, वे विनम्रता के अलग-अलग स्तरों का उपयोग करते हैं, और वे एक ही बात को हज़ार अलग-अलग तरीकों से कहते हैं। हाथों से पर्याप्त वास्तविक उदाहरण एकत्र करना ऐसा ही है जैसे एक बाल्टी के साथ बारिश की हर एक बूंद को पकड़ने की कोशिश करना—इसमें बहुत समय लगता है और यह अविश्वसनीय रूप से महंगा है।
यह शोध पत्र एक समाधान पेश करता है जिसे FIAD (फाइनेंशियल एनोटेटेड डेटासेट) कहा जाता है। FIAD को एक बाल्टी के रूप में नहीं, बल्कि एक हाई-टेक "वाक्य फैक्ट्री" के रूप में सोचें।
यह फैक्ट्री कैसे काम करती है, इसे सरल चरणों में यहाँ दिया गया है:
1. ब्लूप्रिंट (डेटा विश्लेषण)
सबसे पहले, शोधकर्ताओं ने केवल अनुमान नहीं लगाया कि लोग क्या कहते हैं। वे "स्रोत" पर गए: उन्होंने बैंकिंग ऐप्स की 1,26,000 से अधिक समीक्षाओं को देखा। उन्होंने असंतुष्ट समीक्षाओं (कम स्कोर वाली) पर ध्यान केंद्रित किया क्योंकि वहीं लोग सबसे अधिक संभावना रखते हैं कि वे कहेंगे, "इसे ठीक करें!" या "मैं यह नहीं कर सकता!" उन्होंने इन समीक्षाओं को उनके सबसे छोटे निर्माण खंडों (शब्दों और व्याकरण के अंशों) में काटने के लिए एक कंप्यूटर टूल का उपयोग किया ताकि उभरते हुए पैटर्न देखे जा सकें।
2. तीन कन्वेयर बेल्ट (संसाधन निर्माण)
एक-एक करके वाक्य लिखने के बजाय, उन्होंने एक मशीन बनाई जिसमें तीन मुख्य कन्वेयर बेल्ट हैं। प्रत्येक बेल्ट वाक्य में एक विशिष्ट भाग जोड़ती है:
बेल्ट A: "क्या" (विषय/TOPIC)
इस बेल्ट में संज्ञाएं (nouns) होती हैं। इसमें दो डिब्बे हैं:- एंटिटीज (Entities): विशिष्ट नाम जैसे "काकाओ बैंक" या "टॉस ऐप।"
- फीचर्स (Features): सामान्य बैंकिंग शब्द जैसे "ऋण" (loan), "खाता" (account), या "गति" (speed)।
- उपमा: यह लेगो ब्रिक्स (Lego bricks) के एक डिब्बे की तरह है। आप एक लाल ईंट (काकाओ बैंक) या एक नीली ईंट (टॉस ऐप) चुन सकते हैं, लेकिन वे सभी एक ही आकार (एक संज्ञा) की हैं।
बेल्ट B: "क्रिया" (घटना/EVENT)
इस बेल्ट में क्रियाएं और तर्क होते हैं। यह तय करती है कि क्या क्रिया हो रही है, जैसे "बनाना" (create), "भेजना" (send), या "खरीदना" (buy)।- स्मार्ट फ़िल्टर: यह बेल्ट स्मार्ट है। यह जानती है कि आप एक खाता "बना" सकते हैं, लेकिन आप गति को "बना" नहीं सकते। यह नियमों की जाँच करती है ताकि यह सुनिश्चित हो सके कि क्रिया संज्ञा से मेल खाती है। यदि आप "गति" के बगल में "बनाना" रखने की कोशिश करते हैं, तो मशीन इसे अस्वीकार कर देती है।
बेल्ट C: "लहजा" (डिस्कोर्स मार्कर/DISCOURSE MARKER)
यह सबसे अनूठा हिस्सा है। कोरियाई भाषा में, वाक्य समाप्त करने का तरीका इसका अर्थ और विनम्रता का स्तर बदल देता है। यह बेल्ट "स्वाद" जोड़ती है।- यह एक विनम्र अंत ("क्या आप कृपया...?") जोड़ सकती है, एक सीधा आदेश ("इसे करो!"), या एक प्रश्न ("क्या आप...?")।
- यह सम्मानजनक शब्दों (honorifics) को भी संभालती है (सम्मान के स्तर)। जिस तरह से आप अपने बॉस बनाम अपने सबसे अच्छे दोस्त से अलग तरह से बात कर सकते हैं, यह बेल्ट औपचारिक, विनम्र या अनौपचारिक वाक्य भी बना सकती है।
3. असेंबली लाइन (डेटा जनरेशन)
अब, जादू होता है। मशीन इन तीनों बेल्टों को जोड़ती है।
- यह बेल्ट A से एक संज्ञा चुनती है।
- यह बेल्ट B से एक मेल खाने वाली क्रिया चुनती है।
- यह इसे बेल्ट C के एक विशिष्ट लहजे में लपेट देती है।
क्योंकि मशीन इन हिस्सों को लाखों तरीकों से मिला-जुला सकती है, यह 60 ट्रिलियन संभावित वाक्य बना सकती है! हालाँकि, शोधकर्ता उन सभी का उपयोग नहीं करते हैं। वे सबसे स्वाभाविक लगने वाले, छोटे वाक्यों को चुनने के लिए एक सूत्र का उपयोग करते हैं (क्योंकि लोग आमतौर पर संक्षिप्त होने की कोशिश करते हैं)।
4. टेस्ट ड्राइव (प्रयोग)
शोधकर्ताओं ने इस फैक्ट्री द्वारा उत्पन्न वाक्यों को लिया और उनका उपयोग एक AI मॉडल (एक डिजिटल मस्तिष्क) को बैंकिंग अनुरोधों को समझने के लिए प्रशिक्षित करने के लिए किया।
- परिणाम: AI ने बहुत अच्छी तरह से सीखा। यह 95% बार सही ढंग से अनुमान लगा सका कि उपयोगकर्ता क्या चाहता है (इरादा/Intent) और 86% बार विशिष्ट विवरणों (एंटिटी, जैसे कि कौन सा बैंक या कौन सा उत्पाद) को सही ढंग से पहचान सका।
- तुलना: उन्होंने यह देखने के लिए विभिन्न "मस्तिष्क" (प्री-ट्रेंड मॉडल) का परीक्षण किया कि इस नए डेटा के साथ कौन सा सबसे अच्छा काम करता है। एक विशिष्ट कोरियाई भाषा के मस्तिष्क (KorBERT) का उपयोग करने वाले मॉडल ने सबसे अच्छा प्रदर्शन किया।
निचोड़
शोध पत्र का दावा है कि सैकड़ों लोगों को हाथ से हजारों वाक्य लिखने के लिए काम पर रखने के बजाय, आप एक भाषाई रेसिपी बुक (FIAD) बना सकते हैं। इस पुस्तक में व्याकरण के नियम, बैंकिंग की शब्दावली और विनम्रता के नियम शामिल हैं। इन नियमों का पालन करके, आप स्वचालित रूप से एक विशाल, उच्च-गुणवत्ता वाला प्रशिक्षण डेटा का "केक" बेक कर सकते हैं। यह एक बैंकिंग चैटबॉट को कोरियाई ग्राहकों को समझने के लिए तेजी से, सस्ते में और सटीकता से प्रशिक्षित करने की अनुमति देता है, बिना किसी वास्तविक मनुष्य के हर अनुरोध के हर भिन्नता को टाइप करने का इंतज़ार किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।