← नवीनतम पेपर
💬 NLP

GUIDE: Generative Unsupervised Chinese Query Correction via Phonetic and Visual Shared-ID Encoding

यह शोध पत्र \textsc{GUIDE} प्रस्तुत करता है, जो चीनी क्वेरी सुधार (Chinese query correction) के लिए एक जनरेटिव अनसुपरवाइज्ड फ्रेमवर्क है, जो इरादा विचलन (intent drift) को प्रभावी ढंग से रोकने और महंगी एनोटेटेड डेटा पर निर्भर किए बिना विकसित होते शब्दावलियों के अनुकूल होने के लिए साझा ध्वन्यात्मक (phonetic) और दृश्य (visual) आईडी के साथ एक "कन्फ्यूज़-देन-क्लैरिफाई" (confuse-then-clarify) प्रतिमान का उपयोग करता है।

मूल लेखक: Lei Yang, Binbin Huang, Jiwei Tan, Xuhui Sui, Chang Tu, Yi Wang, Han Li

प्रकाशित 2026-08-27
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Lei Yang, Binbin Huang, Jiwei Tan, Xuhui Sui, Chang Tu, Yi Wang, Han Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

टिकटॉक या यूट्यूब जैसे कंटेंट प्लेटफॉर्म के विशाल डिजिटल परिदृश्य में, सर्च बार उपयोगकर्ता की जिज्ञासा और खोजे जाने वाले सूचनाओं के संसार के बीच प्राथमिक सेतु है। जब कोई व्यक्ति कोई क्वेरी टाइप करता है, तो वह एक विशिष्ट इरादा, किसी विशेष वीडियो, गीत या विषय की इच्छा व्यक्त कर रहा होता है। हालाँकि, मानव टाइपिंग त्रुटिपूर्ण है। चीनी भाषा में, जहाँ अक्षर जटिल होते हैं और इनपुट काफी हदना ध्वन्यात्मक प्रणालियों पर निर्भर करता है, उपयोगकर्ता अक्सर गलतियाँ करते हैं। वे शायद एक ऐसा अक्षर टाइप कर सकते हैं जो बिल्कुल वैसा ही सुनाई देता है जैसा कि वे चाहते थे लेकिन दिखने में पूरी तरह से अलग है, या वे शायद एक ऐसा अक्षर चुन सकते हैं जो उनके इच्छित अक्षर जैसा दिखता है लेकिन उसका अर्थ पूरी तरह भिन्न है। ये त्रुटियाँ केवल मामूली टाइपो नहीं हैं; बड़े पैमाने पर, ये डेटा का एक शोर भरा प्रवाह बनाती हैं। यदि एक सर्च इंजन यह नहीं समझ पाता कि एक गलत स्पेलिंग वाली क्वेरी वास्तव में किसी विशिष्ट चीज़ के बारे में पूछ रही है, तो उपयोगकर्ता को अप्रासंगिक परिणाम मिलते हैं, या इससे भी बुरा, कोई परिणाम ही नहीं मिलता। यह समस्या विशेष रूप से गंभीर है क्योंकि सर्च क्वेरी अक्सर बहुत छोटी होती हैं, जो कंप्यूटर को यह अनुमान लगाने में मदद करने के लिए बहुत कम संदर्भ प्रदान करती हैं कि उपयोगकर्ता का क्या अर्थ था, और क्योंकि इंटरनेट स्लैंग और नए रुझान लोगों द्वारा खोजी जाने वाली शब्दावली को बहुत तीव्र गति से बदलते हैं।

वर्षों से, इन त्रुटियों को ठीक करने का मानक दृष्टिकोण कंप्यूटर को उदाहरणों की विशाल सूचियों का उपयोग करके सिखाना रहा है, जिसमें उन्हें "गलत" और "सही" क्वेरी के जोड़े दिखाए जाते हैं। लेकिन इस पद्धति में एक महत्वपूर्ण दोष है: इसके लिए मनुष्यों को नई गलतियों के सामने आने पर उन्हें लगातार लेबल करने की आवश्यकता होती है, जो धीमी, महंगी और भाषा के तीव्र विकास के साथ तालमेल बिठाने में असंभव है। एक अधिक आकर्षक विचार यह रहा है कि बड़े भाषा मॉडल (large language models), वही शक्तिशाली सिस्टम जो निबंध लिख सकते हैं या प्रश्नों के उत्तर दे सकते हैं, उन्हें अपने आप सही क्वेरी का अनुमान लगाने दिया जाए। हालाँकि, जब इन मॉडलों को बहुत अधिक स्वतंत्रता दी जाती है, तो वे अक्सर बहुत आगे निकल जाते हैं। एक छोटी, संदिग्ध क्वेरी का सामना करते हुए, वे "ओवर-करेक्शन" कर सकते हैं, यानी एक अद्वितीय या स्लैंग शब्द को एक सामान्य, उच्च-आवृत्ति वाले वाक्यांश से बदलकर उपयोगकर्ता के इरादे को पूरी तरह से बदल सकते हैं जो सुनने में तो सही लगता है लेकिन जिसका अर्थ कुछ और होता है। चुनौती, फिर, त्रुटियों को सुधारने का एक ऐसा तरीका खोजने में है जिससे मूल अर्थ न खो जाए, और इसे बिना मानव-लेबल किए गए उदाहरणों के निरंतर प्रवाह के किया जा सके।

क्वाइशौ टेक्नोलॉजी (Kuaishou Technology) और फुदान यूनिवर्सिटी (Fudan University) के शोधकर्ताओं ने इस विशिष्ट समस्या को हल करने के लिए GUIDE नामक एक नया ढांचा प्रस्तावित किया है। कंप्यूटर को शून्य से वाक्य फिर से लिखने के लिए कहने के बजाय, उन्होंने एक ऐसा सिस्टम डिज़ाइन किया जो "भ्रमित करें फिर स्पष्ट करें" (confuse then clarify) के सिद्धांत पर काम करता है। मुख्य विचार पहले उन अक्षरों के बीच की रेखाओं को जानबूझकर धुंधला करना है जो आसानी से भ्रमित कर सकते हैं। चीनी भाषा में, सबसे आम त्रुटियाँ दो स्रोतों से आती हैं: वे अक्षर जो समान सुनाई देते हैं (होमोफोन्स/समान ध्वनि वाले शब्द) और वे अक्षर जो दिखने में समान होते हैं (विजुअल लुक-अलािक्स)। शोधकर्ताओं ने एक प्रणाली बनाई जो इन भ्रमित करने वाले अक्षरों को साझा श्रेणियों में समूहित करती है। उदाहरण के लिए, सभी अक्षर जो बिना किसी विशिष्ट टोन अंतर के "gou" की तरह सुनाई देते हैं, उन्हें एक ही समूह का हिस्सा माना जाता है, और सभी अक्षर जो दिखने में समान हैं, उन्हें एक साथ समूहबद्ध किया जाता है। यह प्रक्रिया प्रभावी रूप से अव्यवस्थित, त्रुटिपूर्ण इनपुट को एक सरल, अमूर्त प्रतिनिधित्व में मैप करती है जहाँ संभावित गलतियों को पहले ही स्वीकार कर लिया जाता है।

एक बार जब इनपुट को इन साझा समूहों में मैप कर दिया जाता है, तो सिस्टम मूल, सही अक्षरों के अनुक्रम को पुनर्गठित करने का प्रयास करने के लिए मशीन लर्निंग मॉडल का उपयोग करता है। यह एक पहेली की तरह है जहाँ टुकड़ों को व्यापक श्रेणियों में मिला दिया गया है, और कंप्यूटर को यह पता लगाना है कि प्रत्येक स्लॉट में कौन सा विशिष्ट टुकड़ा फिट बैठता है। मॉडल को बिना लेबल किए गए सर्च डेटा के विशाल मात्रा का उपयोग करके इस पुनर्गठन को करने के लिए प्रशिक्षित करके, सिस्टम यह सीख जाता है कि लोग वास्तव में कैसे टाइप करते हैं और वे कहाँ गलतियाँ करने की प्रवृत्ति रखते हैं। क्योंकि मॉडल को इन पूर्व-निर्धारed भ्रम समूहों की सीमाओं के भीतर काम करने के लिए मजबूर किया जाता है, यह एक पूरी तरह से नया क्वेरी बनाने के लिए भटक नहीं सकता। यह सबसे संभावित विकल्पों में से चुनने के लिए बाध्य है, जो प्रभावी रूप से उस "ओवर-करेक्शन" को रोकता है जो अन्य विधियों को प्रभावित करता है। सिस्टम स्पष्ट त्रुटि को ठीक करने के लिए पर्याप्त आत्मविश्वासी और एक अद्वितीय या जानबूझकर किए गए व्यंग्य (pun) को अकेला छोड़ने के लिए पर्याप्त सतर्क होना सीख जाता है।

इस दृष्टिकोण का परीक्षण करने के लिए, शोधकर्ताओं ने दो अलग-अलग डेटा सेटों पर GUIDE का मूल्यांकन किया। पहला 250,000 लघु क्वेरीज़ का एक सार्वजनिक बेंचमार्क था, और दूसरा उनके अपने प्लेटफॉर्म के सैकड़ों मिलियन सर्च लॉग्स वाला एक विशाल, वास्तविक-दुनिया का डेटासेट था। परिणामों ने दिखाया कि GUIDE ने मौजूदा तरीकों को लगातार पछाड़ दिया, जिनमें भारी मानव लेबलिंग पर निर्भर करने वाले और बिना किसी बाधा के शक्तिशाली भाषा मॉडल का उपयोग करने वाले दोनों शामिल हैं। वास्तविक दुनिया के परीक्षणों में, सिस्टम ने अपनी प्रतिस्पर्धियों की तुलना में काफी उच्च स्तर की सटीकता प्राप्त की, सफलतापूर्वक त्रुटियों की पहचान की और उन्हें सुधारा, जबकि उपयोगकर्ता के मूल इरादे को भी सुरक्षित रखा। सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने सिस्टम को एक लाइव वातावरण में तैनात किया, इसे अपने मौजूदा सुधार उपकरणों के साथ चलाकर देखा कि वास्तविक उपयोगकर्ता कैसे प्रतिक्रिया देते हैं। ऑनलाइन परीक्षणों ने एक नाटकीय सुधार प्रकट किया: उपयोगकर्ताओं द्वारा सामना की जाने वाली गलत स्पेलिंग वाली क्वेरी की दर 80 प्रतिशत से अधिक गिर गई। इसके अलावा, स्पष्टता में इस सुधार से उपयोगकर्ता जुड़ाव में भी उल्लेखनीय वृद्धि हुई, जिससे अधिक लोग सर्च सुझावों पर क्लिक करने और सर्च परिणाम देखने लगे।

अध्ययन ने यह भी पता लगाया कि अक्षरों को विभिन्न तरीकों से समूहबद्ध करने से परिणामों पर क्या प्रभाव पड़ा। उन्होंने पाया कि ध्वनि-आधारित समूहों और दिखने में समान (look-alike) समूहों दोनों को मिलाने से अकेले किसी एक के उपयोग की तुलना में बेहतर परिणाम मिले। ध्वनि-आधारित समूह ने अधिकांश त्रुटियों को संभाला, क्योंकि चीनी भाषा में टाइपिंग त्रुटियाँ मुख्य रूप से ध्वन्यात्मक होती हैं, लेकिन विजुअल ग्रुपिंग ने उन गलतियों को पकड़ा जिन्हें ध्वनि-समान तर्क मिस कर गया था। शोधकर्ताओं ने यह भी पाया कि सिस्टम तब सबसे अच्छा काम करता है जब समूह बहुत व्यापक भी नहीं और बहुत संकीर्ण भी नहीं होते; यदि समूह बहुत बड़े थे, तो सिस्टम यह चुनने में भ्रमित हो जाता था कि कौन सा अक्षर चुनना है, लेकिन यदि वे बहुत छोटे थे, तो यह त्रुटियों को पकड़ने में विफल रहता था। सही संतुलन पाकर, सिस्टम तेजी से बदलते सर्च रुझानों के अनुकूल हो सका, नवीनतम और बार-बार होने वाली क्वेरी से सीखकर अपडेट रहना सीखा।

यह कार्य बताता है कि संक्षिप्त, संदिग्ध टेक्स्ट जैसे सर्च क्वेरी के लिए, प्रभावी सुधार की कुंजी कंप्यूटर को सबसे शक्तिशाली जेनेरेटिव इंजन देना नहीं है, बल्कि उसे सही सीमाएँ (constraints) देना है। यह स्वीकार करके कि मनुष्य किस तरह से गलतियाँ करते हैं और इन सीमाओं को सीखने की प्रक्रिया में सीधे शामिल करके, सिस्टम निरंतर मानव पर्यवेक्षण की आवश्यकता के बिना कच्चे डेटा से सीख सकता है। GUIDE की सफलता यह संकेत देती है कि एक नियंत्रित, संरचित दृष्टिकोण शक्तिशाली मॉडलों को स्वतंत्र रूप से घूमने देने की तुलना में अधिक विश्वसनीय हो सकता है, विशेष रूप से उन वातावरणों में जहाँ गलत अनुमान की लागत एक उपयोगकर्ता और उस सामग्री के बीच के संबंध का खो जाना है जिसे वे खोज रहे हैं। जैसे-जैसे सर्च प्लेटफॉर्म बढ़ते रहेंगे और इंटरनेट की भाषा विकसित होती रहेगी, ऐसे तरीके जो भारी मानव हस्तक्षेप के बिना इन बदलावों के प्रति तेजी से और सटीक रूप से अनुकूल हो सकते हैं, तेजी से महत्वपूर्ण होते जाएंगे।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →