PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts
"PARALLAX" नामक शोध पत्र यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स के लिए मतिभ्रम (hallucination) का पता लगाने में रिपोर्ट की गई अधिकांश प्रगति वास्तव में दोषपूर्ण बेंचमार्क डिज़ाइनों का एक कृत्रिम परिणाम है जहाँ ग्राउंड-ट्रुथ उत्तर प्रॉम्प्ट्स में ही अंतर्निहित होते हैं, जो यह प्रदर्शित करता है कि केवल SAPLMA और DRIFT जैसे ऊपरी-परत के हिडन स्टेट्स पर सुपरवाइज्ड प्रोब्स ही वास्तविक पहचान क्षमताओं को बनाए रखते हैं जब इन आर्टिफैक्ट्स को नियंत्रित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि झूठ और सच के बीच अंतर कैसे किया जाए। आप चाहते हैं कि रोबोट अपने स्वयं के "मस्तिष्क" (अपने आंतरिक कंप्यूटर स्टेट्स) के अंदर झाँके और बोलने से पहले कहे, "रुको, मैं इस बारे में पक्का नहीं हूँ।"
लंबे समय से, शोधकर्ता ऐसा करने के लिए उपकरण बना रहे हैं और वे बड़ी सफलता की रिपोर्ट दे रहे हैं। वे दावा करते हैं कि उनके उपकरण झूठ पकड़ने में 90% या यहाँ तक कि 99% सटीक हैं।
यह शोध पत्र, जिसका शीर्षक "PARALLAX" है, एक जासूसी कहानी की तरह है। लेखकों, खिज़र हुसैन और मुराद कांतार्तिगियोलु ने इन सफलता की कहानियों की जांच करने का निर्णय लिया। उन्होंने पाया कि अधिकांश "सफलता" वास्तव में रोबोट का स्मार्ट होना नहीं था; बल्कि यह टेस्ट में ही एक चाल (trick) थी।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "चीटिंग टेस्ट" (बेंचमार्क आर्टिफैक्ट्स)
कल्पना कीजिए कि आप गणित की परीक्षा दे रहे हैं। लेकिन परीक्षा के पेपर में प्रश्न देखने के साथ-साथ, सही उत्तर और गलत उत्तर भी ठीक उसके बगल में बड़े, गहरे अक्षरों में लिखे हुए हैं।
- जाल: इन झूठ पकड़ने वाले उपकरणों को प्रशिक्षित करने के लिए उपयोग किए जाने वाले कई लोकप्रिय टेस्ट बिल्कुल ऐसे ही थे। उन्होंने AI को प्रॉम्प्ट के साथ-साथ उसी वाक्य में "सच" और "झूठ" दोनों दे दिए थे।
- परिणाम: AI को यह जानने के लिए अपने मस्तिष्क के अंदर देखने की आवश्यकता नहीं थी कि कौन सा झूठ है। उसने बस टेक्स्ट में मौजूद शब्दों को देख लिया। यदि "झूठ" टेक्स्ट में "सच" से अलग सुनाई देता था, तो टूल ने उसे फ्लैग कर दिया।
- "TXTEMB" बेसलाइन: लेखकों ने एक बहुत ही सरल टूल बनाया जिसे TXTEMB कहा जाता है। यह एक स्पेल-चेकर की तरह है जो केवल शब्दों की तुलना करता है। क्योंकि टेस्ट "चीटिंग" कर रहे थे, इसलिए इस साधारण स्पेल-चेकर ने 98% सटीकता के साथ परफेक्ट स्कोर प्राप्त किया।
- चौंकाने वाला तथ्य: जब लेखकों ने फैंसी, जटिल AI ब्रेन-स्कैनर्स की तुलना इस साधारण स्पेल-चेकर से की, तो उन्होंने पाया कि फैंसी टूल्स कुछ भी बेहतर नहीं कर रहे थे। वे बस उन्हीं टेक्स्ट संकेतों को पढ़ रहे थे।
2. "असली दुनिया" का टेस्ट (लाइव जनरेशन)
यह देखने के लिए कि क्या ये उपकरण वास्तव में काम करते हैं, लेखकों ने एक नया प्रकार का टेस्ट बनाया। कल्पना कीजिए कि एक खेल है जहाँ AI को बिना यह देखे कि उत्तर या झूठ पहले से क्या था, स्वतंत्र रूप से एक प्रश्न का उत्तर देना है। यह एक छात्र को चीट शीट के बिना निबंध लिखने के लिए कहने जैसा है।
- रियलिटी चेक: जब उन्होंने इस तरह से टेस्ट चलाए, तो लगभग सभी प्रसिद्ध "झूठ पकड़ने वाले उपकरण" ढह गए। उनका स्कोर गिरकर 50% हो गया—जो कि एक सिक्का उछालने (coin flip) के बराबर है। वे अब सच से झूठ का अंतर नहीं बता पा रहे थे।
- अपवाद: केवल दो टूल्स ही सिक्के के उछाल (coin-flip) के स्तर से ऊपर रहने में सफल रहे: SAPLMA और DRIFT।
3. विजेता: SAPLMA और DRIFT
यदि अन्य टूल्स उन छात्रों की तरह थे जिन्होंने चीट शीट रट ली थी, तो ये दो टूल्स उन छात्रों की तरह हैं जिन्होंने वास्तव में विषय को सीखा है।
- वे कैसे काम करते हैं: पेज पर लिखे शब्दों को देखने के बजाय, वे AI के मस्तिष्क की आंतरिक "वाइब" (vibe) को देखते हैं।
- उपमा: कल्पना कीजिए कि AI एक इमारत है जिसमें कई मंजिलें हैं।
- निचली मंजिलें वह हैं जहाँ AI बुनियादी प्रश्न को प्रोसेस करता है।
- ऊपरी मंजिलें वह हैं जहाँ वह तय करता है कि क्या कहना है।
- SAPLMA और DRIFT उस इमारत की ऊपरी मंजिलों की जाँच करने वाले सुरक्षा गार्डों की तरह हैं। उन्होंने पाया कि जब AI भ्रमित (hallucinate) होने वाला होता है या झूठ बोलने वाला होता है, तो ऊपरी मंजिलों पर "ट्रैफिक" या "सिग्नल्स" एक विशिष्ट तरीके से बदल जाते हैं, भले ही शब्द सामान्य दिख रहे हों।
- DRIFT इस पेपर में पेश किया गया एक नया टूल है। यह एक ऐसे जासूस की तरह है जो केवल एक मंजिल की जाँच नहीं करता, बल्कि झूठ पकड़ने के लिए कई ऊपरी मंजिलों के बीच की गतिविधि के अंतर की तुलना करता है।
4. "RAG" की समस्या (सबसे कठिन टेस्ट)
लेखकों ने इस विशेष प्रकार के AI पर भी इन टूल्स का परीक्षण किया जो एक दस्तावेज़ पढ़ता है और उसके आधार पर प्रश्नों के उत्तर देता है (जिसे RAG कहा जाता है)।
- परिणाम: इस टेस्ट पर, हर एक टूल विफल रहा, यहाँ तक कि विजेता भी। वे सभी 50% (सिक्का उछालने) के आसपास ही रहे।
- अर्थ: यह सुझाव देता है कि हालांकि हम सामान्य बातचीत में झूठ का पता लगा सकते हैं, लेकिन जब कोई AI किसी विशिष्ट दस्तावेज़ का सारांश देने की कोशिश कर रहा हो, तो झूठ का पता लगाना वर्तमान में एक अनसुलझी समस्या है। उस विशिष्ट परिदृश्य में झूठ का "सिग्नल" खोजने के लिए बहुत धुंधला है।
"पैरलैक्स" (PARALLAX) प्रभाव का सारांश
शीर्षक "पैरलैक्स" उस संदर्भ को संदर्भित करता है जहाँ कोई वस्तु इस बात पर निर्भर करती है कि आप उसे किस कोण से देख रहे हैं।
- एक कोण से (पुराने, "चीटिंग" टेस्ट): क्षेत्र (field) ऐसा लग रहा था जैसे वह अद्भुत प्रगति कर रहा है।
- दूसरे कोण से (लाइव टेस्ट): वह प्रगति लगभग गायब हो गई, जिससे पता चला कि टूल्स केवल टेस्ट की खामियों का फायदा उठा रहे थे।
मुख्य निष्कर्ष (Bottom Line):
यह पेपर दावा करता है कि "हैलुसिनेशन डिटेक्शन" (Hallucination Detection) का क्षेत्र बढ़ा-चढ़ाकर बताया गया है क्योंकि टेस्ट पक्षपाती (rigged) थे। अधिकांश टूल्स वास्तव में यह नहीं जानते कि AI कब झूठ बोल रहा है; वे बस यह जानते हैं कि टेक्स्ट कब अलग दिखता है। हालाँकि, उम्मीद की एक किरण है: दो विशिष्ट विधियों (SAPLMA और DRIFT) ने दिखाया है कि वे AI के मस्तिष्क के अंदर देखकर झूठ का पता लगा सकते हैं, लेकिन केवल विशिष्ट स्थितियों में। सबसे कठिन वास्तविक दुनिया के कार्यों के लिए, हमारे पास अभी भी एक विश्वसनीय डिटेक्टर नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।