Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs
यह शोध पत्र "एंकर्ड कॉन्फैब्युलेशन" (anchored confabulation) की पहचान और औपचारिक रूप प्रदान करता है, जो एक ऐसी घटना है जहाँ आंशिक मध्यवर्ती साक्ष्य प्रदान करने से विरोधाभासी रूप से बड़े भाषा मॉडलों का काल्पनिक तर्क चरणों में आत्मविश्वास बढ़ जाता है, और यह प्रदर्शित करता है कि कैसे इस मीट्रिक का लाभ उठाना मॉडल फाइन-ट्यूनिंग के बिना अत्यधिक कुशल रिट्रीवल-ऑगमेंटेड जनरेशन रूटिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़ी अति-आत्मविश्वासी लाइब्रेरियन (AI) से एक विशाल पुस्तकालय में एक विशिष्ट तथ्य खोजने के लिए कहते हैं। सामान्यतः, यदि लाइब्रेरियन को उत्तर नहीं पता होता, तो वह कहेगी, "मुझे यकीन नहीं है" या "मुझे वह नहीं मिल रहा है।" यह अच्छा है, क्योंकि इससे आपको कहीं और खोजने का संकेत मिलता है।
हालाँकि, इस अध्ययन ने एक अजीब दोष की खोज की है: कभी-कभी, जब लाइब्रेरियन गलत होती है, तो वह सही होने की तुलना में अधिक आत्मविश्वासी होती है।
लेखक इसे "एंकरड कॉन्फैबुलेशन" (Anchored Confabulation) कहते हैं। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग करते हैं:
1. "आधे सच" का जाल (द एंकर)
कल्पना कीजिए कि आप लाइब्रेरियन से तीन-चरणीय प्रश्न पूछते हैं: "उस फिल्म के निर्देशक कौन हैं जिसमें 'X' बैंड के अभिनेता ने अभिनय किया था?"
- चरण 1: लाइब्रेरियन बैंड के बारे में एक किताब ढूंढती है।
- चरण 2: लाइब्रेरियन अभिनेता के बारे में एक किताब ढूंढती है।
- चरण 3: लाइब्रेरियन को अभिनेता और फिल्म के बीच का संबंध ढूंढना होगा। पुस्तकालय में यह संबंध मौजूद नहीं है।
यहीं पर त्रुटि होती है: क्योंकि लाइब्रेरियन ने पहली दो किताबें (जो "एंकर" हैं) ढूंढ ली हैं, इसलिए वह तीसरे भाग का अनुमान लगाने के लिए पर्याप्त आत्मविश्वासी महसूस करती है। वह यह नहीं कहती कि "मुझे नहीं पता।" इसके बजाय, वह आत्मविश्वास से कहती है, "ओह, यह निश्चित रूप से निर्देशक Y है!", क्योंकि उसकी आंतरिक स्मृति (ट्रेनिंग डेटा) में इसी तरह का एक तथ्य मौजूद है।
अध्ययन इसे "एंकरड कॉन्फैबुलेशन" कहता है। आंशिक साक्ष्य (पहली दो किताबें) एक एंकर की तरह कार्य करते हैं, जो लाइब्रेरियन को एक आत्मविश्वासी, फिर भी पूरी तरह से मनगढ़ंत कहानी में जकड़ लेते हैं।
2. भ्रम का "स्वीट स्पॉट" (The Sweet Spot of Confusion)
शोधकर्ताओं ने पाया कि यह हर प्रश्न के साथ नहीं होता है।
- सरल प्रश्न (1 चरण): लाइब्रेरियन या तो उत्तर जानती है या मान लेती है कि उसे नहीं पता।
- बहुत कठिन प्रश्न (4+ चरण): लाइब्रेरियन को एहसास होता है कि श्रृंखला बहुत लंबी है, वह घबरा जाती है, और टालमटोल करने लगती है ("मुझे यकीन नहीं है...")।
- "स्वीट स्पॉट" (3 चरण): यही खतरे का क्षेत्र है। यह इतना लंबा है कि लाइब्रेरियन को लगता है कि वह अपनी स्मृति से इसे हल कर सकती है, लेकिन पुस्तकालय की किताबों में वास्तव में उत्तर नहीं है। यहाँ, वे आत्मविश्वास के साथ गलत हो जाते हैं।
3. "विश्वास का उलटाव" (The Inversion of Trust)
वास्तविक दुनिया में, हम आमतौर पर सोचते हैं: उच्च आत्मविश्वास = सही उत्तर।
हालाँकि, अध्ययन दिखाता है कि इन विशिष्ट तीन-चरणीय प्रश्नों के लिए, नियम उलट जाता है: उच्च आत्मविश्वास = गलत उत्तर।
यदि लाइब्रेरियन तीन-चरणीय प्रश्न के बारे में कहती है: "मुझे 100% यकीन है!", तो आपको वास्तव में तब अधिक संदिग्ध होना चाहिए जब वह कहती, "मुझे यकीन नहीं है।"
यदि लाइब्रेरियन तीन-चरणीय प्रश्न के लिए कहती है: "मुझे 100% यकीन है!", तो आपको वास्तव में "मुझे यकीन नहीं है" कहने की तुलना में अधिक संदिग्ध होना चाहिए।
4. समाधान: एक बुद्धिमान गेटकीपर
लेखकों ने एक नई प्रणाली विकसित की जिसे LearnedRouter कहा जाता है। कल्पना कीजिए कि यह एक बुद्धिमान गेटकीपर है जो आपके और लाइब्रेरियन के बीच खड़ा है।
- पुरानी प्रणाली: गेटकीपर लाइब्रेरियन के उत्तर देने से पहले प्रश्न को देखता है। यदि प्रश्न कठिन दिखता है, तो वह इसे एक सुपर-एक्सपर्ट (GraphRAG) को भेज देता है। यदि यह सरल दिखता है, तो वह इसे नियमित लाइब्रेरियन को संभालने देता है।
- नई प्रणाली (LearnedRouter): गेटकीपर लाइब्रेरियन द्वारा उत्तर देने के बाद ही रुकता है।
- यदि लाइब्रेरियन एक तीन-चरणीय प्रश्न का आत्मविश्वासी उत्तर देती है, तो गेटकीपर जानता है: "ओह नहीं, यह एंकरड कॉन्फैबुलेशन का जाल है! वह आत्मविश्वास के साथ गलत है।"
- गेटकीपर तुरंत नियमित लाइब्रेरियन को रोकता है और वास्तविक उत्तर प्राप्त करने के लिए प्रश्न को सुपर-एक्सपर्ट (GraphRAG) को भेज देता है।
5. यह क्यों महत्वपूर्ण है
अध्ययन सिद्ध करता है कि नई प्रणाली, इस विशिष्ट प्रकार के "आत्मविश्वासी झूठ" की खोज करके, पुराने सिस्टम की गलतियों को 81% तक सुधार सकती है, बिना लाइब्रेरियन को पुन: प्रशिक्षित किए या हर प्रश्न के लिए महंगे विशेषज्ञों पर अतिरिक्त पैसा खर्च किए।
संक्षेप में: अध्ययन ने पाया कि AI मॉडल कभी-कभी बहुत गंभीर चेहरे के साथ झूठ बोलते हैं जब उनके पास स्मार्ट महसूस करने के लिए पर्याप्त संकेत होते हैं। लेखकों ने एक ऐसा डिटेक्टर विकसित किया है जो इस "गंभीर चेहरे" को पहचान लेता है और जानता है कि इसे ठीक करने के लिए विशेषज्ञों को कब बुलाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।