From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

यहाँ शोध पत्र "From Out-of-Distribution Detection to Hallucination Detection: A Geometric View" का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: जब AI मनगढ़ंत बातें बनाता है

कल्पना कीजिए कि एक बहुत ही बुद्धिमान छात्र (Large Language Model या LLM) परीक्षा दे रहा है। कभी-कभी, वह छात्र उत्तर जानता है और सही जवाब देता है। लेकिन कभी-कभी, छात्र को उत्तर नहीं पता होता, फिर भी वह आत्मविश्वास के साथ कुछ ऐसा लिख देता है जो सुनने में तो तर्कसंगत लगता है, लेकिन वास्तव में पूरी तरह से मनगढ़ंत होता है। AI की दुनिया में, हम इसे Hallucination (भ्रम/मृगतृष्णा) कहते हैं।

AI के झूठ बोलने का पता लगाना कठिन है। मौजूदा तरीके किसी अलग शिक्षक को छात्र के काम को जांचने के लिए रखने जैसे हैं (जो महंगा और धीमा है) या छात्र को एक ही परीक्षा दस बार देने के लिए कहने जैसा है और यह देखने के लिए कि क्या उसे अलग-अलग उत्तर मिलते हैं (जो जटिल तर्क कार्यों के लिए गणनात्मक रूप से भारी और भ्रमित करने वाला है)।

नया विचार: "Out-of-Distribution" (OOD) से उधार लेना

इस शोध पत्र के लेखकों के पास एक चतुर विचार है: आइए Hallucinations को एक पार्टी में आए अजनबी की तरह मानें।

कंप्यूटर विज्ञान में, एक अच्छी तरह से अध्ययन किया गया विषय है जिसे Out-of-Distribution (OOD) detection कहा जाता है। कल्पना कीजिए कि एक क्लब में एक सुरक्षा गार्ड है जो जानता है कि नियमित सदस्य कैसे दिखते हैं। यदि कोई अजनबी अजीब वेशभूषा पहनकर अंदर आता है, तो गार्ड जानता है, "हे, यह व्यक्ति यहाँ का नहीं है।"

• पुरानी दुनिया में: सुरक्षा गार्ड (AI) को विशिष्ट चेहरों (ट्रेनिंग डेटा) को पहचानने के लिए प्रशिक्षित किया गया है। यदि कोई नया चेहरा आता है, तो गार्ड अभी भी यह अनुमान लगाने की कोशिश करता है कि वह कौन है, लेकिन वे वास्तव में केवल तुक्का लगा रहे होते हैं। यह क्लासिफायर का एक "hallucination" है।
• शोध पत्र का अंतर्दृष्टि (Insight): लेखकों ने महसूस किया कि जब एक AI 'hallucinate' करता है, तो वह मूल रूप से यही कर रहा होता है: वह एक ऐसे प्रश्न का उत्तर देने की कोशिश कर रहा है जिसका उत्तर देने के लिए उसे वास्तव में प्रशिक्षित नहीं किया गया था, या वह अपने ज्ञान के "कम्फर्ट ज़ोन" से बाहर कदम रख रहा है।

तो, शून्य से एक नया डिटेक्टर बनाने के बजाय, उन्होंने पूछा: क्या हम AI के झूठ पकड़ने के लिए सुरक्षा गार्ड के उपकरणों का उपयोग कर सकते हैं?

समाधान: एक ज्यामितीय दृष्टिकोण (The "Map" Analogy)

यह शोध पत्र AI के आंतरिक विचारों को केवल टेक्स्ट के रूप में नहीं, बल्कि एक विशाल मानचित्र (Map) पर बिंदुओं के रूप में देखने का प्रस्ताव देता है।

1. मानचित्र (The Map): कल्पना कीजिए कि AI का मस्तिष्क एक विशाल, बहु-आयामी कमरा है। इसके द्वारा बोला जाने वाला हर संभावित शब्द इस कमरे में एक विशिष्ट "वेट वेक्टर" (झंडा) लगाता है।

2. यात्रा (The Journey): जैसे-जैसे AI एक वाक्य लिखता है, वह इस कमरे में एक बिंदु (जो उसके वर्तमान विचार का प्रतिनिधित्व करता है) को घुमाता है।

3. दो डिटेक्टर (The Two Detectors): लेखकों ने इस बिंदु की निगरानी करने के लिए दो "सुरक्षा गार्ड" उपकरणों को अपनाया:

   • उपकरण A: "गले मिलना" डिटेक्टर (NCI)

     • उपमा: कल्पना कीजिए कि AI उस शब्द को गले लगाने की कोशिश कर रहा है जिसे उसने अभी चुना है। यदि AI आश्वस्त है, तो बिंदु झंडे के ठीक बगल में होता है, और "गले मिलना" (hug) बहुत गहरा होता है।
     • Hallucination: यदि AI 'hallucinate' कर रहा है, तो बिंदु झंडे से दूर होता है। "गले मिलना" कमजोर या अस्तित्वहीन होता है। शोध पत्र इसे Feature Proximity कहता है। यदि बिंदु झंडे से बहुत दूर है, तो यह एक झूठ है।

   • उपकरण B: "दीवार" डिटेक्टर (fDBD)

     • उपमा: कल्पना कीजिए कि कमरे को अदृश्य दीवारों द्वारा क्षेत्रों (zones) में विभाजित किया गया है। प्रत्येक क्षेत्र एक विशिष्ट शब्द का है। यदि आप "बिल्ली" क्षेत्र में हैं, तो AI "बिल्ली" सोचता है।
     • Hallucination: यदि AI 'hallucinate' कर रहा है, तो उसका बिंदु दीवार के पास डगमगा रहा होगा, जो "कुत्ते" या "पक्षी" के क्षेत्र के करीब है। वह अनिश्चित है कि वह दीवार के किस ओर है। शोध पत्र इसे Distance to Decision Boundary कहता है। यदि बिंदु एक दीवार के बहुत करीब है, तो यह एक झूठ है।

चुनौतियाँ और उनका समाधान

लेखक जानते थे कि वे इन उपकरणों को अन्य क्षेत्रों से सीधे कॉपी-पेस्ट नहीं कर सकते क्योंकि AI बहुत बड़ा और जटिल है। उन्हें तीन बड़ी समस्याओं को ठीक करना पड़ा:

1. "गायब मानचित्र" की समस्या (Training Statistics)

• समस्या: यह जानने के लिए कि एक बिंदु झंडे से कितना "दूर" है, एक सुरक्षा गार्ड को आमतौर पर एक मानचित्र की आवश्यकता होती है कि सभी अच्छे बिंदु कहाँ रहते हैं। लेकिन AI ट्रेनिंग डेटा विशाल, गुप्त और इतना बड़ा है कि उसका मानचित्र बनाना असंभव है।
• समाधान: डेटा से मानचित्र बनाने के बजाय, उन्होंने गणितीय जादू (Math Magic) का उपयोग किया। उन्होंने AI की अपनी आंतरिक संरचना के आधार पर एक "तटस्थ बिंदु" (neutral point) की गणना की। यह ऐसा है जैसे सुरक्षा गार्ड को यह एहसास होता है कि, "मुझे क्लब के मानचित्र की आवश्यकता नहीं है; मैं बस जानता हूँ कि जब लोग अनिश्चित होते हैं तो वे डांस फ्लोर के केंद्र में खड़े होते हैं।" इसने उन्हें मूल ट्रेनिंग डेटा के बिना झूठ का पता लगाने की अनुमति दी।

2. "बहुत अधिक झंडे" की समस्या (Massive Vocabulary)

• समस्या: एक AI के पास सैकड़ों हजारों संभावित शब्द (झंडे) होते हैं। कमरे में हर शब्द के लिए हर एक दीवार से दूरी की जाँच करना बहुत धीमा होगा।
• समाधान: उन्होंने तय किया कि वे केवल शीर्ष 1,000 सबसे संभावित शब्दों की दीवारों की जाँच करेंगे। यह ऐसा है जैसे सुरक्षा गार्ड केवल उन लोगों की चिंता करता है जो निकास द्वार के पास खड़े हैं, उन लोगों को अनदेखा करता है जो कमरे के पीछे हैं और स्पष्ट रूप से बाहर नहीं जाने वाले हैं। इसने डिटेक्टर को तेज़ और सटीक बनाया।

3. "रैंडमनेस" की समस्या (Stochastic Decoding)

• समस्या: कभी-कभी AI शब्दों को यादृच्छिक रूप से चुनता है (जैसे पासा फेंकना) बजाय इसके कि वह सबसे अच्छा विकल्प चुने। इससे "बिंदु" इधर-उधर कूदता है, जिससे सुरक्षा गार्ड भ्रमित हो सकता है।
• समाधान: उन्होंने पाया कि भले ही AI थोड़ा इधर-उधर कूदे, पूरे वाक्य के दौरान बिंदु की औसत (Average) स्थिति अभी भी सच बताती है। यदि AI 'hallucinate' कर रहा है, तो बिंदु दीवारों के पास बहुत अधिक समय बिताएगा, भले ही वह इधर-उधर कूदता रहे। डिटेक्टर इस रैंडमनेस के साथ भी पूरी तरह से काम करता है।

परिणाम

शोध पत्र ने इन नए "सुरक्षा गार्ड" उपकरणों का परीक्षण कठिन तर्क कार्यों (जैसे गणित और तर्क पहेलियों) पर किया।

• कोई अतिरिक्त प्रशिक्षण नहीं: उन्हें AI को कुछ भी नया सिखाने की आवश्यकता नहीं थी।
• सिंगल शॉट (Single Shot): उन्हें उत्तर को केवल एक बार देखने की आवश्यकता थी (AI को 10 बार प्रश्न दोहराने के लिए कहने की आवश्यकता नहीं थी)।
• बेहतर सटीकता: इन ज्यामितीय उपकरणों ने पिछले तरीकों की तुलना में बहुत बेहतर तरीके से Hallucinations को पकड़ा, भले ही AI रचनात्मक या रैंडम हो रहा हो।

सारांश

यह शोध पत्र कहता है: झूठ पकड़ने के लिए नया उपकरण बनाने की कोशिश छोड़ दें। इसके बजाय, AI की आंतरिक ज्यामिति (Geometry) को देखें। यदि AI के विचार उसके द्वारा चुने गए शब्दों के "झंडों" से दूर हैं, या यदि वे अन्य शब्दों की "दीवारों" के ठीक बगल में डगमगा रहे हैं, तो वह शायद झूठ बोल रहा है। इन सरल ज्यामितीय नियमों का उपयोग करके, हम AI के भ्रम (hallucinations) को तेज़ी से, सस्ते में और सटीकता से पकड़ सकते हैं।