Hallucination Detection via Activations of Open-Weight Proxy Analyzers
यह शोध पत्र एक प्रॉक्सी-एनालाइज़र फ्रेमवर्क पेश करता है जो छोटे, स्थानीय रूप से होस्ट किए गए ओपन-वेट मॉडल्स के आंतरिक एक्टिवेशन का विश्लेषण करके लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) का पता लगाता है, जो विविध एनालाइज़र आर्किटेक्चर में अत्याधुनिक प्रदर्शन प्राप्त करते हुए यह प्रदर्शित करता है कि बड़े मॉडल का आकार अनिवार्य रूप से बेहतर पहचान सटीकता के साथ सहसंबंधित नहीं होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन कभी-कभी अविश्वसनीय लेखक (एक लार्ज लैंग्वेज मॉडल) है जो एक विशिष्ट दस्तावेज़ के आधार पर प्रश्नों के उत्तर देने की कोशिश कर रहा है। कभी-कभी, वह लेखक बातें बनाता है, या "भ्रम" (hallucinations) पैदा करता है, तथ्यों को कल्पना के साथ मिला देता है।
समस्या यह है: आप लेखक के झूठ को कैसे पकड़ें बिना उनके दिमाग के अंदर झाँके या उनसे उनकी विचार प्रक्रिया समझाने के लिए कहे? आमतौर पर, यदि लेखक एक बंद प्रणाली (जैसे एक बड़ा व्यावसायिक API) है, तो आप उनके आंतरिक कामकाज को नहीं देख सकते।
यह शोध पत्र एक चतुर नया समाधान पेश करता है: "प्रॉक्सी एनालाइज़र" (The Proxy Analyzer)।
मूल विचार: "दूसरी राय" वाला जासूस
लेखक के दिमाग के अंदर देखने की कोशिश करने के बजाय, रचनाकारों ने एक छोटा, स्वतंत्र जासूस (एक छोटा AI मॉडल) बनाया है जो मूल स्रोत दस्तावेज़ के साथ तैयार कहानी को पढ़ता है।
इसे इस प्रकार समझें:
- लेखक: एक छात्र जो परीक्षा दे रहा है।
- स्रोत: पाठ्यपुस्तक।
- भ्रम (Hallucination): छात्र द्वारा एक ऐसा उत्तर लिखना जो सुनने में अच्छा लगता है लेकिन पाठ्यपुस्तक में नहीं है।
- पुराना तरीका: यह देखने के लिए कि क्या छात्र अनुमान लगा रहा है, छात्र के सिर के अंदर झाँकने की कोशिश करना। (यदि छात्र एक "ब्लैक बॉक्स" है, तो यह असंभव है)।
- नया तरीका (यह शोध पत्र): आप एक छोटा, तेज ट्यूटर (प्रॉक्सी एनालाइज़र) काम पर रखते हैं जो छात्र के उत्तर और पाठ्यपुस्तक को साथ-साथ पढ़ता है। ट्यूटर को यह जानने की आवश्यकता नहीं है कि छात्र कैसे सोचता है; वे बस उत्तर और पुस्तक के बीच तनाव (tension) की तलाश करते हैं।
यदि छात्र का उत्तर पुस्तक के विपरीत है, तो ट्यूटर का "मस्तिष्क" (AI के आंतरिक विद्युत संकेत) एक विशिष्ट, अनुमानित तरीके से चमक उठता है। सिस्टम इन विद्युत "लौओं" (flares) का पता लगाकर झूठ को पकड़ लेता है।
जासूस कैसे काम करता है (18 सुराग)
जासूस केवल शब्दों को नहीं पढ़ता; वह देखता है कि AI टेक्स्ट को कैसे प्रोसेस करता है, इसके मैकेनिक को देखता है। रचनाकारों ने AI ट्रांसफॉर्मर कैसे काम करते हैं, इसके आधार पर 18 अलग-अलग "सुराग" (clues/features) बनाए हैं। यहाँ सबसे महत्वपूर्ण वाले कुछ रूपक दिए गए हैं:
- "अटेंशन" स्पॉटलाइट (सिग्नल 2): कल्पना करें कि AI के पास एक स्पॉटलाइट है जो स्रोत टेक्स्ट पर चमकती है। जब यह सच बोलता है, तो स्पॉटलाइट पुस्तक पर टिकी रहती है। जब यह झूठ बोलता है, तो स्पॉटलाइट भटक जाती है या भ्रमित हो जाती है। सिस्टम मापता है कि रोशनी ठीक कहाँ चमक रही है।
- "मेमोरी" बनाम "रीडिंग" का युद्ध (सिगल 4): AI के पास उत्तर देने के दो तरीके हैं: किताब पढ़ना (अच्छा) या अपने खुद के याद किए गए तथ्यों पर भरोसा करना (जोखिम भरा)। सिस्टम मापता है कि कौन जीत रहा है। यदि "मेमोरी" (स्मृति) "रीडिंग" (पढ़ने) से अधिक जोर से चिल्ला रही है, तो यह संभवतः एक भ्रम (hallucination) है।
- "कन्फ्यूजन" मीटर (सिग्नल 3): जब एक AI सच पढ़ता है, तो वह अपना ध्यान फैला देता है। जब वह झूठ बोलता है, तो वह अक्सर कुछ याद किए गए शब्दों पर अटक जाता है, जिससे अटेंशन में एक "कोलैप्स" (collapse) पैदा होता है। सिस्टम इस कोलैप्स को पहचान लेता है।
बड़े प्रयोग
शोधकर्ताओं ने इस जासूस का परीक्षण विभिन्न आकारों के सात अलग-अलग AI मॉडल्स का उपयोग करके किया, जो बहुत छोटे (0.5 बिलियन पैरामीटर्स) से लेकर बहुत बड़े (9 बिलियन पैरामीटर्स) तक थे। उन्होंने इन मॉडल्स को "जासूसों" के रूप में इस्तेमाल किया यह देखने के लिए कि झूठ पकड़ने में कौन सबसे अच्छा है।
चौंकाने वाले परिणाम:
- बड़ा होना हमेशा बेहतर नहीं होता: आमतौर पर, हम मानते हैं कि एक बड़ा, अधिक महंगा जासूस अधिक बुद्धिमान होता है। लेकिन यहाँ, एक 3-बिलियन पैरामीटर मॉडल ने उसी परिवार के 8-बिलियन पैरामीटर मॉडल को हरा दिया। यह एक कॉम्पैक्ट, फुर्तीली कार के एक विशाल लग्जरी SUV से एक विशिष्ट ट्रैक पर तेज़ होने जैसा है। यहाँ जासूस का डिज़ाइन उसके आकार से अधिक महत्वपूर्ण था।
- "छोटा" जासूस शानदार है: एक बहुत छोटा 0.5-बिलियन पैरामीटर मॉडल (Qwen2.5) विशाल मॉडल्स के लगभग बराबर प्रदर्शन करता है। इसका मतलब है कि आपको भ्रम (hallucinations) को पकड़ने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है; एक छोटा, तेज़ और सस्ता मॉडल भी यह काम बखूबी कर सकता है।
- विशेषज्ञों को पछाड़ना: उनका सिस्टम लगातार पिछले सर्वश्रेष्ठ तरीके (ReDeEP) से बेहतर प्रदर्शन करता है, जिसे मूल लेखक के आंतरिक डेटा तक पहुँच की आवश्यकता थी। प्रॉक्सी एनालाइज़र ने यह सब मूल लेखक को छुए बिना ही कर दिखाया।
यह क्यों महत्वपूर्ण है
रचनाकार दावा करते हैं कि यह एक गेम-चेंजर है क्योंकि:
- यह "ब्लैक बॉक्स" लेखकों पर काम करता है: आप इसका उपयोग GPT-4 जैसे बंद सिस्टम के उत्तरों की जाँच करने के लिए कर सकते हैं जहाँ आप उनके आंतरिक कोड को नहीं देख सकते।
- यह सार्वभौमिक है: चूंकि "झूठ" उत्तर और स्रोत के बीच का बेमेल (mismatch) है, इसलिए कोई भी AI जो टेक्स्ट को पढ़ रहा है, वही विद्युत "तनाव" दिखाएगा। डिटेक्टर को इस बात से फर्क नहीं पड़ता कि उत्तर किसने लिखा है।
- यह कुशल है: आपको जाँच करने के लिए विशाल जनरेटर को दो बार चलाने की आवश्यकता नहीं है। आप बस एक छोटा, सस्ता डिटेक्टर एक बार चला देते हैं।
कमी (सीमाएँ)
लेखक एक कमजोरी स्वीकार करते हैं: उनका जासूस छोटे दस्तावेज़ों (लग लगभग 1,200 वर्णों) पर प्रशिक्षित था। जब उन्होंने बहुत लंबे दस्तावेज़ों (3,000 वर्णों) पर इसका परीक्षण किया, तो यह थोड़ा भ्रमित हो गया क्योंकि टेक्स्ट की "लंबाई" ने सुरागों के दिखने के तरीके को बदल दिया। उनका मानना है कि वे जासूस को लंबे टेक्स्ट पर फिर से प्रशिक्षित करके इसे ठीक कर सकते हैं, लेकिन फिलहाल, यह मानक-लंबाई के दस्तावेज़ों पर सबसे अच्छा काम करता है।
संक्षेप में: यह शोध पत्र सिद्ध करता है कि आप एक छोटे, स्वतंत्र AI को उत्तर और स्रोत को पढ़ने के लिए नियुक्त करके AI के भ्रम (hallucinations) को पकड़ सकते हैं, और उन विशिष्ट विद्युत "संकेतों" (tells) की तलाश कर सकते हैं जो झूठ का संकेत देते हैं। और आश्चर्यजनक रूप से, एक छोटा, अच्छी तरह से डिज़ाइन किया गया जासूस अक्सर एक विशाल जासूस से बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।