Adaptive Activation Cancellation for Hallucination Mitigation in Large Language Models
यह शोध पत्र एडेप्टिव एक्टिवेशन कैंसलेशन (AAC) को प्रस्तुत करता है, जो एक वास्तविक समय, प्रशिक्षण-मुक्त इन्फरेंस फ्रेमवर्क है जो भ्रम (hallucinations) से जुड़ी न्यूरल एक्टिवेशन्स को स्ट्रक्चर्ड इंटरफेरेंस के रूप में पहचानकर और उन्हें दबाकर बड़े भाषा मॉडलों में भ्रम को कम करता है, जिससे सामान्य क्षमताओं या प्रवाह को कम किए बिना कई मॉडल स्केल्स में तथ्यात्मक सटीकता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, अविश्वसनीय रूप से स्पष्ट बोलने वाला मित्र है जिसे कहानियाँ सुनाना बहुत पसंद है। यह मित्र इतना धाराप्रवाह और आत्मविश्वासी है कि आप बस उसे सुनते ही रह जाते हैं। हालाँकि, इसमें एक पेंच है: कभी-कभी वह पूरे आत्मविश्वास के साथ तथ्य गढ़ लेता है, नाम मिला देता है, या आपको बताता है कि चंद्रमा पनीर से बना है, और ऐसा करते समय वह 100% निश्चित सुनाई देता है। AI की दुनिया में, हम इसे हैलुसिनेशन (hallucination) कहते हैं।
आपके द्वारा साझा किया गया पेपर इस समस्या के लिए एक नया "उपचार" पेश करता है जिसे एडैप्टिव एक्टिवेशन कैंसलेशन (Adaptive Activation Cancellation - AAC) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।
1. समस्या: एक शोर वाला रेडियो
एक लार्ज लैंग्वेज मॉडल (जैसे आपके फोन में मौजूद AI) को एक हाई-टेक रेडियो स्टेशन की तरह समझें। जब वह कोई उत्तर उत्पन्न करता है, तो वह एक सिग्नल प्रसारित कर रहा होता है।
- अच्छा सिग्नल: यह सत्य है, तथ्य हैं और तर्क है।
- शोर (Noise): यह "हैलुसिनेशन" है—आत्मविश्वास से बोले गए झूठ और मनगढ़ंत विवरण।
आमतौर पर, जब AI गलत होता है, तो ऐसा इसलिए नहीं होता कि उसे उत्तर पता नहीं है; बल्कि इसलिए होता है क्योंकि "शोर" (झूठ) ठीक उसी क्षण "सिग्नल" (सत्य) को दबा रहा होता है जब वह बोल रहा होता है।
2. समाधान: AI के लिए नॉइज़-कैंसलिंग हेडफ़ोन
लेखकों ने महसूस किया कि AI के हैलुसिनेशन यादृच्छिक स्टेटिक (static) नहीं हैं; वे स्ट्रक्चर्ड इंटरफेरेंस (structured interference) हैं। यह एक विशिष्ट, लयबद्ध गूँज की तरह है जो केवल तभी बजती है जब AI झूठ बोलने वाला होता है।
उन्होंने इंजीनियरिंग से एक अवधारणा ली है जिसे एडैप्टिव नॉइज़ कैंसलेशन (ANC) कहा जाता है। आप जानते हैं कि नॉइज़-कैंसलिंग हेडफ़ोन कैसे काम करते हैं? वे आपके कान के बाहर के शोर को सुनते हैं, एक "एंटी-नॉइज़" ध्वनि तरंग बनाते हैं, और उसे रद्द कर देते हैं ताकि आप सन्नाटा सुन सकें।
AAC, AI के मस्तिष्क के लिए बिल्कुल यही करता है:
- सुनना: यह वाक्य उत्पन्न करते समय AI के आंतरिक "विचारों" (न्यूरल एक्टिवेशन) पर नज़र रखता है।
- पहचानना: यह उन विशिष्ट न्यूरॉन्स (AI के भीतर के छोटे स्विच) को पहचानता है जो झूठ बनाने के लिए सक्रिय हो रहे हैं। वे इन्हें "हैलुसिनेशन नोड्स" (Hallucination Nodes) या "H-Nodes" कहते हैं।
- रद्द करना: यह उन विशिष्ट न्यूरॉन्स को धीरे से दबा देता है, प्रभावी रूप से झूठ की आवाज़ को कम कर देता है, जबकि सत्य को अकेला छोड़ देता है।
3. "सर्जन" बनाम "सledgehammer" (भारी हथौड़ा)
AI के झूठ को ठीक करने के अधिकांश पिछले तरीके एक भारी हथौड़े के उपयोग की तरह थे।
- विधि A (रिट्रीवल): "बोलने से पहले बस एक किताब में उत्तर ढूँढ लेते हैं।" (इसके लिए एक बाहरी लाइब्रेरी की आवश्यकता होती है)।
- विधि B (रीट्रेनिंग): "आइए AI को फिर से शुरू से सिखाते हैं।" (इसमें बहुत समय लगता है और बहुत खर्च आता है)।
- विधि C (पोस्ट-हॉक): "आइए उत्तर लिखे जाने के बाद उसे जाँच लें और सुधार लें।" (बहुत देर हो चुकी है; नुकसान हो चुका है)।
AAC एक सर्जन है।
इसे किसी लाइब्रेरी की आवश्यकता नहीं है, यह AI को फिर से प्रशिक्षित नहीं करता है, और यह अंत तक प्रतीक्षा नहीं करता है। यह रियल-टाइम में काम करता है, जबकि AI सोच रहा होता है। यह हजारों में से केवल उन 50 विशिष्ट न्यूरॉन्स को लक्षित करता है जो झूठ के लिए जिम्मेदार हैं।
जादुई परिणाम:
पेपर यह सिद्ध करता है कि यह सर्जरी इतनी सटीक है कि यह बिना किसी अन्य चीज़ को नुकसान पहुँचाए झूठ को ठीक कर देती है।
- AI गणित में कम बुद्धिमान नहीं होता।
- यह कविता लिखने में खराब नहीं होता।
- यह धीमा नहीं होता।
- यह एक केक से एक खराब सामग्री को हटाने जैसा है बिना बाकी मिठाई का स्वाद बदले।
4. "कॉन्फिडेंस" (आत्मविश्वास) का नॉब
इस सिस्टम का सबसे शानदार हिस्सा यह है कि यह एडैप्टिव (अनुकूलनशील) है।
कल्पना कीजिए कि AI अनिश्चित है। वह हिचकिचा रहा है।
- यदि AI बहुत आश्वस्त है कि वह झूठ बोलने वाला है, तो सिस्टम "कैंसल" के नॉब को ऊँचा कर देता है।
- यदि AI अनिश्चित है या विषय कठिन है, तो सिस्टम नॉब को नीचे कर देता है ताकि गलती से किसी सही विचार को शांत न कर दिया जाए।
यह एक स्मार्ट वॉल्यूम कंट्रोल की तरह है जो केवल तभी शोर को म्यूट करता है जब वह समस्या बनने के लिए पर्याप्त तेज़ हो।
5. यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग आकार के AI (छोटे, मध्यम और बड़े) पर किया।
- छोटा AI: इसने थोड़ी मदद की।
- मध्यम AI: यह कठिन था क्योंकि "झूठ" और "सत्य" आपस में उलझे हुए थे, लेकिन सिस्टम फिर भी काम कर गया।
- बड़ा AI: यहाँ इसने अपनी चमक बिखेरी। बड़े AI ने अधिक बार सच बोलना शुरू किया, और उसकी तर्क करने और लिखने की क्षमता भी उत्तम बनी रही।
निचोड़ (The Bottom Line)
यह पेपर एक तरीका प्रस्तुत करता है जिससे AI को बिना और अधिक बुद्धिमान बनाए, बिना अतिरिक्त किताबें देखे, और बिना इसकी गति धीमी किए अधिक ईमानदार बनाया जा सकता है। यह AI को नॉइज़-कैंसलिंग हेडफ़ोन देने जैसा है जो विशेष रूप से उसके अपने झूठ को फ़िल्टर करते हैं, जिससे सत्य स्पष्ट रूप से सामने आ सके।
संक्षेप में: यह एक रियल-टाइम, सर्जिकल समाधान है जो AI को उसके अन्य सुपरपावर्स को बरकरार रखते हुए झूठ बोलना बंद करने की शिक्षा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।