Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
यह शोध पत्र XKD-Dial प्रस्तुत करता है, जो द्विभाषी अंग्रेजी-हिंदी संवाद प्रणालियों के लिए एक प्रगतिशील चार-चरणीय प्रशिक्षण पाइपलाइन है, जो भ्रम (hallucinations) को समाप्त करने के लिए उद्धरण-आधारित पर्यवेक्षित फाइन-ट्यूनिंग का लाभ उठाता है और यह प्रदर्शित करने के लिए बहु-आयामी व्याख्यात्मकता विश्लेषणों का उपयोग करता है कि कैसे छोटे मॉडल शून्य भ्रम दर बनाए रखते हुए बड़े मॉडलों के समान प्रदर्शन प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप सवालों के जवाब देने में मदद करने के लिए एक नया सहायक (assistant) रख रहे हैं। आप चाहते हैं कि यह सहायक स्मार्ट हो, द्विभाषी (अंग्रेजी और हिंदी दोनों बोलने वाला) हो, और सबसे महत्वपूर्ण बात यह है कि ईमानदार हो। आप नहीं चाहते कि वह मनगढ़ंत बातें बनाए (hallucinate) या आपको जानकारी का स्रोत बताए बिना जवाब दे।
यह शोध पत्र XKD-Dial नामक एक नई प्रशिक्षण विधि पेश करता है ताकि AI सहायकों को ठीक यही सिखाया जा सके। डेटा का एक विशाल ढेर एक साथ डालने के बजाय, लेखक एक प्रगतिशील, चार-चरणीय "स्कूली शिक्षा" प्रणाली का उपयोग करते हैं।
यहाँ बताया गया है कि उन्होंने इन AI मॉडलों को कैसे प्रशिक्षित किया, इसे सरल भाषा में समझाया गया है:
समस्या: "आत्मविश्वासी झूठा" (The "Confident Liar")
वर्तमान AI मॉडल उन आत्मविश्वासी छात्रों की तरह हैं जिन्होंने बहुत सारी किताबें तो पढ़ी हैं, लेकिन कभी अपने स्रोतों का हवाला देना नहीं सीखा। जब उनसे कोई सवाल पूछा जाता है, तो वे एक बेहतरीन दिखने वाला जवाब दे सकते हैं, लेकिन यदि आप उनसे पूछें, "आपने यह कहाँ पढ़ा?", तो वे या तो कोई स्रोत बना सकते हैं या बस अनुमान लगा सकते हैं। इसे हैलुसिनेशन (hallucination) कहा जाता है।
लेखक तीन चीजों को ठीक करना चाहते थे:
- भाषा: अधिकांश AI अंग्रेजी में बेहतरीन हैं लेकिन हिंदी में बहुत खराब हैं।
- विश्वास: AI को कहना चाहिए, "के अनुसार [स्रोत 1]..." ताकि आप काम की जाँच कर सकें।
- पारदर्शिता: हमें यह जानने की आवश्यकता है कि AI ने एक विशिष्ट उत्तर क्यों चुना, न कि केवल यह कि उसने सही उत्तर दिया।
समाधान: चार-चरणों वाला ट्रेनिंग कैंप
लेखों ने एक ऐसा पाइपलाइन बनाया जहाँ AI एक समय में एक कौशल सीखता है, जैसे सीढ़ी चढ़ना।
चरण 1: लैंग्वेज बूटकैंप (बहुभाषी अनुकूलन)
- उपमा: कल्पना कीजिए कि एक अंग्रेजी बोलने वाला छात्र अचानक भारत आ गया हो। जटिल गणित सीखने से पहले, उसे पहले स्थानीय भाषा सीखनी होगी।
- क्या हुआ: AI को सरल अंग्रेजी-से-हिंदी अनुवाद कार्यों पर प्रशिक्षित किया गया था। इसने इसे अभी तक चैट करना नहीं सिखाया था; इसने बस इसके मस्तिष्क को अंग्रेजी को भूले बिना दोनों भाषाओं को समझने के लिए प्रशिक्षित किया।
- परिणाम: अब AI दोनों भाषाओं में "सोच" सकता था।
चरण 2: अंग्रेजी इंटर्नशिप (साइटेशन के साथ अंग्रेजी संवाद)
- उपमा: अब जब छात्र भाषा सीख गया है, तो वह एक इंटर्नशिप शुरू करता है जहाँ उसे फुटनोट्स के साथ रिपोर्ट लिखने के लिए मजबूर किया जाता है। यदि वह बिना फुटनोट के कोई तथ्य लिखता है, तो उसे लाल पेन से काट दिया जाता है।
- क्या हुआ: AI को उन अंग्रेजी बातचीत पर प्रशिक्षित किया गया जहाँ हर तथ्य को एक विशिष्ट स्रोत से जोड़ा जाना अनिवार्य था (जैसे, "एफिल टॉवर ऊँचा है [1]")।
- जादू: यह सबसे महत्वपूर्ण चरण था। AI को स्रोत उद्धृत करने के लिए मजबूर करके, इसने मनगढ़ंत बातें बनाना बंद कर दिया। छोटे, "एन्कोडर-डिकोडर" मॉडलों के लिए, हैलुसिनेशन घटकर 0% हो गया। AI ने सीख लिया कि यदि उसके पास स्रोत नहीं है, तो उसे कोई दावा नहीं करना चाहिए।
चरण 3: द्विभाषी पदोन्नति (हिंदी संवाद)
- उपमा: छात्र को अब एक द्विभाषी भूमिका के लिए पदोन्नति दी जाती है। उन्हें वही "फुटनोट" वाला काम करना है, लेकिन अब हिंदी में।
- क्या हुआ: AI को मिश्रित अंग्रेजी और हिंदी बातचीत पर प्रशिक्षित किया गया।
- आश्चर्य: AI को फुटनोट का उपयोग करने का तरीका फिर से सीखने की आवश्यकता नहीं थी; इसने बस अंग्रेजी के नियम को हिंदी पर लागू कर दिया। यह पता चला कि "स्रोत का हवाला देना" एक संरचनात्मक कौशल है, जैसे अल्पविराम (comma) का उपयोग करना जानना, न कि एक भाषा-विशिष्ट कौशल।
- परिणाम: AI हिंदी संवाद में उत्कृष्ट हो गया और साथ ही अपने अंग्रेजी कौशल को भी बरकरार रखा।
चरण 4: अंतिम परीक्षा (GRPO अलाइनमेंट)
- उपमा: यह एक अंतिम बॉस बैटल की तरह है जहाँ AI को एक जटिल रूब्रिक के आधार पर स्कोर दिया जाता है। क्या इसने सही ढंग से साइट किया? क्या यह ईमानदार था? क्या यह प्रवाहपूर्ण था?
- क्या हुआ: लेखकों ने AI को और अधिक फाइन-ट्यून करने के लिए एक सुदृढीकरण शिक्षण तकनीक (GRखी GRPO) का उपयोग किया।
- ट्विस्ट: आश्चर्यजनक रूप से, इस चरण ने बहुत अधिक मदद नहीं की। AI चरण 2 और 3 के बाद पहले से ही साइट करने और ईमानदार होने में इतना अच्छा था कि "अंतिम परीक्षा" ने इसे बहुत अधिक बेहतर नहीं बनाया। यह सुझाव देता है कि इस तरह के संरचित कार्यों के लिए, पुराना और अच्छा अभ्यास अक्सर पर्याप्त होता है।
बड़ी खोजें (The "Aha!" Moments)
1. छोटे मॉडल भी बड़े मॉडलों जितने अच्छे हो सकते हैं
आमतौर पर, हम सोचते हैं कि बड़े AI मॉडल अधिक स्मार्ट होते हैं। लेकिन इस प्रशिक्षण के बाद, एक छोटा 250-मिलियन-पैरामीटर वाला मॉडल एक बहुत बड़े 780-मिलियन-पैरामीटर वाले मॉडल के समान प्रदर्शन करता है।
- रूपक: एक अच्छा शिक्षक होने पर एक अच्छी तरह से प्रशिक्षित 5वीं कक्षा का छात्र किसी विशिष्ट विषय के बारे में एक प्रोफेसर के समान उत्तर दे सकता है, बशर्ते प्रश्न उसी विषय के बारे में हो जिसका उसने अध्ययन किया है।
2. "आत्मविश्वासी झूठा" बनाम "मौन रक्षक"
एक विशिष्ट मॉडल (LLaMA-1B) ने कुछ अजीब किया। इसने झूठ बोलना बंद कर दिया (0% हैलुसिनेशन), लेकिन इसने स्रोत उद्धृत करना भी बंद कर दिया।
- क्या हुआ: "[1] के अनुसार..." कहने के बजाय, इसने यह सीखने के बजाय कि गलतियाँ करने से कैसे बचा जाए, "मुझे नहीं पता" कहना या अस्पष्ट उत्तर देना सीख लिया।
- सबक: शून्य हैलुसिनेशन का मतलब हमेशा यह नहीं होता कि AI मददगार हो रहा है; कभी-कभी इसका मतलब यह होता है कि वह बहुत अधिक सतर्क हो रहा है।
3. "क्रैश और रिकवर" की कहानी
एक बड़ा मॉडल (Flan-T5-XL) प्रशिक्षण के दौरान क्रैश हो गया। इसने खाली वाक्य आउटपुट करना शुरू कर दिया। लेकिन, क्योंकि प्रशिक्षण प्रगतिशील था, अगले चरण (हिंदी प्रशिक्षण) ने वास्तव में इसे "ठीक" कर दिया।
- सबक: यदि कोई AI टूट जाता है, तो उसे फेंक न दें। कभी-कभी, उसे एक नया कौशल (जैसे हिंदी) सिखाना उसे एक बुरी स्थिति से बाहर निकाल सकता है।
4. "नकली फुटनोट" की समस्या
लेखकों ने यह देखने के लिए विशेष "एक्स-रे" उपकरणों (व्याख्यात्मकता/explainability) का उपयोग किया कि AI कैसे सोचता है।
- उन्होंने पाया कि कुछ मॉडलों ने वास्तव में स्रोत को देखे बिना फुटनोट का फॉर्मेट (जैसे, "[1]") लिखना सीख लिया। यह एक छात्र की तरह था जो "पृष्ठ 5 देखें" लिख रहा है लेकिन वास्तव में किताब नहीं खोल रहा है।
- "एन्कोडर-डिकोडर" मॉडल (जैसे Flan-T5) ईमानदार थे; वे वास्तव में स्रोत को देखते थे। "डिकोडर-ओनली" मॉडल (जैसे Mistral) कभी-कभी केवल नंबर का अनुमान लगाते थे।
यह क्यों मायने रखता है
यह शोध पत्र यह सिद्ध करता है कि एक भरोसेमंद, द्विभाषी AI बनाने के लिए आपको सुपर-कंप्यूटर या विशाल डेटासेट की आवश्यकता नहीं है। आपको बस एक स्मार्ट ट्रेनिंग शेड्यूल की आवश्यकता है।
AI को चरण-दर-चरण सिखाकर—पहले भाषा, फिर ईमानदारी के नियम, फिर दूसरी भाषा—आप एक ऐसी प्रणाली बना सकते हैं जो:
- अंग्रेजी और हिंदी बोल सकती है।
- कभी झूठ नहीं बोलती (या बहुत कम झूठ बोलती है)।
- अपना होमवर्क दिखाती है ताकि आप तथ्यों को सत्यापित कर सकें।
यह एक ऐसा AI बनाने का ब्लूप्रिंट है जिस पर हम वास्तविक दुनिया की जानकारी के लिए वास्तव में भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।