Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement
यह शोध पत्र CoCoA का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) डिकोडिंग एल्गोरिदम है जो मॉडल की मध्य परतों (middle layers) में रिप्रजेंटेशनल अस्थिरता और आंतरिक असहमति के विश्लेषण के माध्यम से तथ्यात्मक रूप से गलत आउटपुट का पता लगाकर और उन्हें दंडित करके LLM मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही प्रतिभाशाली, विद्वान मित्र है जिसे कहानियाँ सुनाना पसंद है। यह मित्र अत्यंत धाराप्रवाह है और व्याकरण के मामले में भी एकदम सटीक बोलता है, लेकिन कभी-कभी, जब वह किसी तथ्य को लेकर थोड़ा अनिश्चित होता है, तो बातचीत को जारी रखने के लिए वह कुछ भी बना देता है। वह पूरे आत्मविश्वास के साथ कह सकता है, "ऑस्ट्रेलिया की राजधानी सिडनी है," जबकि वास्तव में वह कैनबरा है। AI की दुनिया में, हम इसे हैलुसिनेशन (hallucination) कहते हैं।
आपके द्वारा साझा किया गया पेपर इस बात का एक स्मार्ट तरीका बताता है कि कैसे इस मित्र को सब कुछ दोबारा सिखाए बिना, उसे मनगढ़ंत बातें बनाने से रोका जा सकता है। वे अपने समाधान को CoCoA (कन्फ्यूजन एंड कंसिस्टेंसी अवेयर - Confusion and Consistency Aware) कहते हैं।
यह कैसे काम करता है, यहाँ रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. समस्या: "स्मूथ टॉकर" बनाम "सच्चाई"
वर्तमान AI मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) 'स्मूथ टॉकर' (मीठी बातें करने वाले) की तरह होते हैं। वे वाक्य में अगले शब्द की भविष्यवाणी करने में बहुत अच्छे होते हैं। यदि आप उनसे पूछते हैं, "2024 का वर्ल्ड कप किसने जीता?" और मॉडल 100% निश्चित नहीं है, तो वह वाक्य को व्याकरणिक रूप से सही बनाए रखने के लिए बस एक संभावित लगने वाली टीम का नाम लेकर अनुमान लगा सकता है। वह झूठ बोलने की कोशिश नहीं कर रहा है; वह बस धाराप्रवाह दिखने की कोशिश कर रहा है।
2. अंतर्दृष्टि: "आंतरिक एकालाप" (Inner Monologue) को सुनना
शोधकर्ताओं ने महसूस किया कि एक AI आपको उत्तर देने से पहले, उस उत्तर को सोचने की कई परतों (जैसे कि एक इंसान किसी समस्या पर चरण-दर-चरण विचार करता है) के माध्यम से प्रोसेस करता है।
- उदाहरण: कल्पना कीजिए कि 30 विशेषज्ञों की एक समिति (AI की परतें) एक प्रश्न पर चर्चा कर रही है।
- यदि वे उत्तर जानते हैं: सभी 30 विशेषज्ञ सहमति में सिर हिलाते हैं। सिग्नल स्थिर होता है।
- यदि वे कुछ मनगढ़ंत बना रहे हैं: पहले कुछ विशेषज्ञ अनुमान लगा सकते हैं, बीच के विशेषज्ञ बहस शुरू कर सकते हैं, और अंतिम कुछ विशेषज्ञ भ्रमित हो सकते हैं। कमरे के बीच में असहमति और अस्थिरता होती है।
पेपर यह परिकल्पना करता है कि हैलुसिनेशन तब होते हैं जब AI की आंतरिक परतें भ्रमित होती हैं और आपस में असहमत होती हैं।
3. समाधान: "असहमति डिटेक्टर" (Disाagreement Detector - CoCoA)
AI को केवल सबसे अधिक धाराप्रवाह लगने वाला उत्तर चुनने देने के बजाय (जो कि स्मूथ टॉकर को जीतने देने जैसा है), CoCoA एक क्वालिटी कंट्रोल इंस्पेक्टर की तरह कार्य करता है।
यहाँ चरण-दर-चरण प्रक्रिया दी गई है:
- विकल्प उत्पन्न करना: AI कुछ संभावित उत्तरों के बारे में सोचता है (जैसे प्रश्न: कौन सा राज्य सबसे अधिक आड़ू (peaches) पैदा करता है? के लिए "कैलिफोर्निया," "जॉर्जिया," या "साउथ कैरोलिना")।
- परतों को सुनना: प्रत्येक विकल्प के लिए, सिस्टम AI के "आंतरिक एकालाप" की जाँच करता है। यह देखने के लिए कि क्या विशेषज्ञ सहमत हैं, यह AI के मध्य परतों (middle layers) को देखता है।
- विकल्प A (कैलिफोर्निया): विशेषज्ञ भ्रमित हैं। लेयर 10 कहती है "शायद," लेयर 15 कहती है "नहीं," लेयर 20 कहती है "रुको।" उच्च असहमति = उच्च भ्रम (High Confusion)।
- विकल्प B (जॉर्जिया): सभी विशेषज्ञ एक ही बात पर सहमत हैं। लेयर 10, 15 और 20 सभी कहते हैं "हाँ, निश्चित रूप से।" कम असहमति = उच्च निरंतरता (High Consistency)।
- दंड (Penalty): सिस्टम भ्रमित विकल्पों पर "पेनल्टी" लगाता है। यह स्मूथ टॉकर को यह बताने जैसा है: "मुझे पता है कि तुम आत्मविश्वास से बोल रहे हो, लेकिन तुम्हारी आंतरिक टीम बहस कर रही है, इसलिए मैं तुम्हारे स्कोर को कम कर दूँगा।"
- चयन: सिस्टम उस उत्तर को चुनता है जहाँ आंतरिक टीम सबसे अधिक सुसंगत (consistent) थी, भले ही वह पहला सबसे स्पष्ट अनुमान न रहा हो।
4. "सेल्फ-इन्फॉर्मेशन गेटिंग" (The Smart Filter)
यह पेपर एक उन्नत संस्करण भी पेश करता है जिसे CoCoA-SIG कहा जाता है। इसे एक स्मार्ट फिल्टर के रूप में सोचें जो जानता है कि कब सख्त होना है।
- उदाहरण: कल्पना कीजिए कि एक क्लब का बाउंसर (द्वारपाल)।
- यदि कोई अतिथि बहुत अधिक संभावना है कि VIP होगा (उच्च संभावना), तो बाउंसर बिना ज्यादा जाँच किए उसे जल्दी अंदर जाने देता है।
- यदि कोई अतिथि थोड़ा अनिश्चित (कम संभावना, उच्च "सरप्राइज") है, तो बाउंसर उसकी आईडी बहुत सावधानी से जाँचता है।
- यह कैसे काम करता है: AI तब अधिक हैलुसिनेट करने की संभावना रखता है जब वह कुछ आश्चर्यजनक या असंभावित चीजों का अनुमान लगा रहा होता है। CoCoA-SIG उन जोखिम भरे, आश्चर्यजनक अनुमानों पर अपने "असहमति डिटेक्टर" को अतिरिक्त तीव्रता से केंद्रित करता है, जबकि सुरक्षित और स्पष्ट उत्तरों को आसानी से गुजरने देता है।
5. यह एक बड़ी बात क्यों है
- पुनः प्रशिक्षण की आवश्यकता नहीं (No Retraining): आपको इस समस्या को ठीक करने के लिए AI को लाखों नई किताबें खिलाने की आवश्यकता नहीं है। यह बातचीत के दौरान AI द्वारा शब्दों को चुनने के तरीके को बदलकर सीधे काम करता है।
- हर जगह काम करता है: उन्होंने गणित, कोडिंग, समाचारों का सारांश और सामान्य ज्ञान (trivia) के प्रश्नों पर इसका परीक्षण किया। इसने AI को हर क्षेत्र में अधिक सत्यनिष्ठ बनाया।
- तेज़: यह उत्तर देने में केवल बहुत कम समय जोड़ता है (सामान्य से लगभग 1.3 गुना धीमा), जो कि झूठ न सुनने के लिए एक छोटा सा मूल्य है।
सारांश
CoCoA को एक सत्यनिष्ठ अनुवादक (truthful translator) के रूप में देखें। जब AI बोलने की कोशिश करता है, तो CoCoA AI की आंतरिक "समिति की बैठक" को सुनता है। यदि समिति बहस कर रही है और भ्रमित है, तो CoCoA कहता है, "रुको, यह उत्तर संदिग्ध है," और AI को उस उत्तर की ओर मोड़ देता है जहाँ समिति के सभी सदस्य सहमत हों।
यह AI को केवल धाराप्रवाह दिखने की क्षमता के बजाय अपनी आंतरिक निरंतरता (internal consistency) पर भरोसा करना सिखाने का एक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।