HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token
यह शोध पत्र HALP को प्रस्तुत करता है, जो आंतरिक निरूपणों (internal representations) का विश्लेषण करके विजन-लैंग्वेज मॉडल्स में टेक्स्ट जनरेशन से पहले ही मतिभ्रम (hallucinations) का पता लगाने की एक विधि है, जो विविध आर्किटेक्चर में उच्च सटीकता प्राप्त करती है और अर्ली एब्स्टेंशन (early abstention) जैसे कुशल सुरक्षा हस्तक्षेपों को सक्षम बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा अति-आत्मविश्वासी रोबोट सहायक है। आप उसे एक बिल्ली की तस्वीर दिखाते हैं जो एक चटाई पर बैठी है, और आप उससे पूछते हैं, "क्या बिल्ली ने टोपी पहनी है?"
एक सामान्य इंसान इसे ध्यान से देखेगा, महसूस करेगा कि वहां कोई टोपी नहीं है, और कहेगा, "नहीं।" लेकिन यह रोबोट, जो खुश करने के लिए उत्सुक है और लाखों किताबों पर प्रशिक्षित है, आत्मविश्वास से कह सकता है, "हाँ, बिल्ली ने एक छोटी लाल बेरेट (beret) पहनी है!" भले ही तस्वीर में कोई टोपी न हो। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
लंबे समय तक, रोबोट को पकड़ने का एकमात्र तरीका यह था कि उसके पूरा वाक्य खत्म करने का इंतज़ार किया जाए, उसे पढ़ा जाए, और फिर जांचा जाए कि क्या वह सच है। लेकिन तब तक, रोबोट पहले ही "बोलने" में बहुत समय और ऊर्जा बर्बाद कर चुका होता है, और यदि स्थिति गंभीर हो (जैसे कि एक सेल्फ-ड्राइविंग कार या चिकित्सा निदान में), तो पूरे झूठ को बोलने देने का इंतज़ार करना बहुत देर हो चुकी होती है।
HALP से मिलिए: एक "झूठ पकड़ने वाला यंत्र" जो रोबोट के मुँह खोलने से पहले काम करता है।
मुख्य विचार: रोबोट का मन पढ़ना
इस शोध के पीछे के शोधकर्ताओं ने महसूस किया कि हमें रोबोट के बोलने का इंतज़ार करने की ज़रूरत नहीं है। हम एक भी शब्द उत्पन्न करने से पहले ही रोबोट के "मस्तिष्क" (उसके आंतरिक कंप्यूटर संकेतों) में झाँक सकते हैं।
इसे इस तरह सोचें:
- पुराना तरीका: आप रोबोट द्वारा कहानी सुनाने का इंतज़ार करते हैं। एक बार जब वह समाप्त कर लेता है, तो आप तथ्यों की जाँच करते हैं। यदि उसने झूठ बोला, तो आपको पूरी कहानी को हटाना पड़ता है और फिर से शुरू करना पड़ता है।
- HALP का तरीका: आप चित्र के बारे में सोचते समय रोबोट की मस्तिष्क गतिविधि को देखते हैं, लेकिन उसके बोलने से पहले। आप उसके मस्तिष्क में "तनाव के संकेत" या "भ्रम की चिंगारियां" देख सकते हैं जो कहते हैं, "मुझे इस बारे में यकीन नहीं है!" या "मैं कुछ मनगढ़ंत बनाने वाला हूँ!"
यह कैसे काम करता है (तीन "सेंसर")
शोधकर्ताओं ने एक छोटा, हल्का "डिटेक्टर" (एक प्रोब) बनाया जो एक ही त्वरित स्कैन के दौरान रोबोट के मस्तिष्क के तीन अलग-अलग हिस्सों की जाँच करता है:
- "आंखों" का सेंसर (विजुअल फीचर्स): यह जाँचता है कि रोबोट क्या देख रहा है, इससे पहले कि वह सवाल को समझने की कोशिश भी करे। यह यह जाँचने जैसा है कि क्या रोबोट की आँखें धुंधली हैं या क्या वह ऐसी चीजें देख रहा है जो वहाँ हैं ही नहीं।
- "पुल" का सेंसर (विज़न टोकन्स): यह जाँचता है कि रोबोट चित्र को प्रश्न के साथ कैसे मिलाने की कोशिश कर रहा है। यह यह देखने जैसा है कि रोबोट चित्र के एक पहेली के टुकड़े को प्रश्न के एक पहेली के टुकड़े से जोड़ने की कोशिश कर रहा है। यदि टुकड़े फिट नहीं बैठते, तो ब्रिज सेंसर जल उठता है।
- "सोचने" का सेंसर (क्वेरी टोकन्स): यह सबसे शक्तिशाली है। यह चित्र को देखने और प्रश्न को पढ़ने के तुरंत बाद, लेकिन उत्तर टाइप करने से पहले, रोबित के मस्तिष्क की जाँच करता है। यह रोबोट को बोलने ही वाला होने पर पकड़ने जैसा है, उसके विचारों में हिचकिचाहट या "नकली आत्मविश्वास" को महसूस करना।
परिणाम: सच्चाई के लिए एक क्रिस्टल बॉल
टीम ने आठ अलग-अलग आधुनिक AI मॉडल (जैसे Llama, Gemma, और Qwen) पर इसका परीक्षण किया। यहाँ उन्हें क्या मिला:
- यह काम करता है: "सोचने वाला सेंसर" (क्वेरी टोकन्स) झूठ का अनुमान लगाने में अविश्वसनीय रूप से अच्छा था। कुछ मॉडलों के लिए, यह 93% सटीक था कि रोबोट भ्रमित होने वाला है, बिना रोबोट के एक भी शब्द बोले।
- यह तेज़ है: क्योंकि यह मस्तिष्क के केवल एक त्वरित स्कैन को करता है, यह सुपर फास्ट है। यह प्रक्रिया में लगभग कोई देरी नहीं जोड़ता है।
- अलग-अलग रोबोट, अलग-अलग दिमाग: उन्होंने पाया कि अलग-अलग AI मॉडल अलग तरह से "सोचते" हैं।
- कुछ मॉडल (जैसे Gemma) अपनी सोचने की प्रक्रिया के बिल्कुल अंत में अपने "झूठ के संकेत" स्पष्ट रूप से दिखाते हैं।
- अन्य (जैसे Qwen) प्रश्न के बारे में सोचने से पहले, केवल चित्र को देखकर ही संकेत स्पष्ट रूप से दिखाते हैं।
- एक मॉडल (FastVLM) अजीब था; इसने अपनी सोचने की प्रक्रिया के बीच में अपने "झूठ के संकेत" दिखाए, अंत में नहीं।
यह क्यों मायने रखता है: "प्रवेश निषेध" का संकेत
एक गेट पर सुरक्षा गार्ड की कल्पना करें।
- HALP से पहले: गार्ड सबको अंदर आने देता है, उनकी कहानी सुनता है, और फिर उन्हें बाहर निकाल देता है यदि वे झूठ बोल रहे होते हैं। यह धीमा और कष्टप्रद है।
- HALP के साथ: गार्ड के पास एक जादुई स्कैनर है जो बीप करता है यदि कोई झूठ बोलने वाला होता है। यदि स्कैनर बीप करता है, तो गार्ड कहता है, "रुको! मुझे नहीं लगता कि तुम जवाब जानते हो। चलो समय बर्बाद नहीं करते।"
यह AI सिस्टम को अनुमति देता है:
- उत्तर देने से मना करना: यदि झूठ का जोखिम अधिक है, तो AI मनगढ़ंत तथ्य बनाने के बजाय केवल कह सकता है, "मुझे यकीन नहीं है।"
- समझदारी से रूट करना: यदि जोखिम अधिक है, तो सिस्टम प्रश्न को एक बहुत ही स्मार्ट (लेकिन धीमे) AI के पास भेज सकता है, जबकि आसान प्रश्नों को तेज़, सस्ते AI के पास जाने दे सकता है।
- पैसा और समय बचाना: यह AI को लंबी, नकली कहानियाँ बनाने में ऊर्जा बर्बाद करने से रोकता है जिन्हें बाद में फेंकना पड़ता है।
निचोड़
HALP AI के लिए एक "प्री-क्राइम डिटेक्टर" (अपराध-पूर्व पहचानकर्ता) की तरह है। यह AI को बुरे विचार रखने से नहीं रोकता है, लेकिन यह हमें उन बुरे विचारों को शब्दों में बदलने से पहले पहचानने का एक तरीका देता है। यह AI को सुरक्षित, तेज़ और अधिक विश्वसनीय बनाता है, विशेष रूप से उन स्थितियों में जहाँ तथ्यों को सही रखना जीवन और मृत्यु का मामला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।