UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space
यह शोध पत्र UHP डिटेक्शन का प्रस्ताव करता है, जो एक नवीन ब्लैक-बॉक्स फ्रेमवर्क है जो मतिभ्रम (hallucinations) को गड़बड़ी की विधा (perturbation modality) और तार्किक ध्रुवीयता (logical polarity) द्वारा परिभाषित चार निरंतरता समूहों में संरचित अनिश्चितता पैटर्न के रूप में मॉडल करता है, जो लार्ज विजन-लैंग्वेज मॉडल्स में अद्वितीय, सामान्यीकरण योग्य मतिभ्रम व्यवहारों को कैप्चर करके मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत आत्मविश्वासी रोबोट से बात कर रहे हैं जो तस्वीरें देख सकता है और उनके बारे में सवालों के जवाब दे सकता है। यह रोबोट "लार्ज विजन-लैंग्वेज मॉडल्स" (LVLMs) नामक एआई की एक नई पीढ़ी का हिस्सा है। इन्हें एक ऐसे सुपर-ब्रेन के रूप में सोचें जिसने पूरा इंटरनेट पढ़ लिया है और साथ ही वह तस्वीरों को भी देख सकता है। वे जो देखते हैं उसका वर्णन करने में अद्भुत हैं, लेकिन उनमें एक अजीब सी खामी है: कभी-कभी वे तथ्य बना लेते हैं। एआई की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह बिल्कुल वैसा ही है जैसे एक छात्र, जब उससे बिल्ली की तस्वीर का वर्णन करने के लिए कहा जाए, तो वह आत्मविश्वास से कहता है कि बिल्ली ने टोपी पहनी हुई है, भले ही वहां कोई टोपी न हो। यह एक बड़ी समस्या है क्योंकि यदि हम इन रोबोटों पर डॉक्टरों की मदद करने या कार चलाने के लिए भरोसा करते हैं, तो उनकी बनाई हुई कहानियाँ वास्तविक दुनिया में गलतियों का कारण बन सकती हैं।
कुछ समय के लिए, वैज्ञानिकों ने यह जाँचने की कोशिश की कि रोबोट कितना "अनिश्चित" (uncertain) लग रहा है ताकि वे उनके झूठ को पकड़ सकें। पुराना विचार सरल था: यदि रोबोट अनिश्चित लगता है या एक ही सवाल को थोड़े अलग तरीके से पूछने पर अलग-अलग जवाब देता है, तो वह शायद झूठ बोल रहा है। लेकिन शोधकर्ताओं ने पाया कि इस योजना में एक गड़बड़ी है। कभी-कभी, एक रोबोट अविश्वसनीय रूप से आत्मविश्वासी और सुसंगत (consistent) हो सकता है और फिर भी पूरी तरह से झूठ बोल सकता है। यह एक चिकनी-चुपड़ी बातें करने वाले झूठे की तरह है जो अपनी कहानी कभी नहीं बदलता; "डगमगाहट" या "अनिश्चितता" की जाँच करना उन्हें नहीं पकड़ पाता। बड़ा सवाल यह बन गया: जब झूठा व्यक्ति पूरी तरह से सुसंगत व्यवहार कर रहा हो, तो उसके झूठ को कैसे पहचाना जाए?
यहीं पर एक नया अध्ययन एक चतुर समाधान के साथ आता है जिसे UHP डिटेक्शन (Unique Hallucination Pattern) कहा जाता है। शोधकर्ताओं ने महसूस किया कि केवल अनिश्चितता के एक संकेत को खोजने के बजाय, हमें व्यवहार के एक विशिष्ट पैटर्न को देखना चाहिए। उन्होंने रोबोट के साथ एक खेल बनाया जिसमें दो मुख्य नियम थे:
- "क्या" का नियम: उन्होंने इनपुट को दो तरीकों से बदला। कभी-कभी उन्होंने तस्वीर में बदलाव किया (जैसे रोशनी बदलना या ज़ूम करना), और कभी-कभी उन्होंने सवाल में बदलाव किया (जैसे शब्दों को फिर से लिखना)।
- "हाँ/नहीं" का नियम: उन्होंने रोबोट से एक कथन की जाँच करने को कहा जो सत्य था (जैसे "वहाँ एक बिल्ली है") और उसके ठीक विपरीत (जैसे "वहाँ कोई बिल्ली नहीं है")।
इन नियमों को मिलाकर, उन्होंने रोबोट का परीक्षण करने के लिए चार अलग-अलग "कमरे" या समूह बनाए। एक आदर्श दुनिया में, यदि रोबोट "हाँ, वहाँ एक बिल्ली है" कहता है, तो उसे "नहीं, वहाँ कोई बिल्ली नहीं है" कहना चाहिए, और उसे वही बात कहते रहना चाहिए भले ही आप तस्वीर को थोड़ा बदल दें। लेकिन जब रोबोट हैलुसिनेट करता है, तो वह केवल भ्रमित नहीं होता; वह एक बहुत ही विशिष्ट, अजीब तरीके से भ्रमित होता है। वह तस्वीर बदलने पर सुसंगत रह सकता है लेकिन शब्द बदलने पर अपनी बात पलट सकता है, या वह एक कमरे में झूठ से सहमत हो सकता है जबकि दूसरे कमरे में खुद का खंडन कर सकता है।
टीम ने एक हल्का "जासूस" (एक सरल कंप्यूटर प्रोग्राम) बनाया जो यह देखता है कि रोबगर सभी चार कमरों में एक साथ कैसा व्यवहार करता है। उन्होंने पाया कि हैलुसिनेशन यादृच्छिक त्रुटियां (random errors) नहीं हैं; वे व्यवहार का एक अनूठा निशान छोड़ते हैं। तीन अलग-अलग एआई मॉडल पर अपने परीक्षणों में, यह नई विधि पुराने तरीकों की तुलना में झूठ पकड़ने में बहुत बेहतर थी। इसने एक माप में हैलुसिनेशन को पकड़ने की क्षमता को 18.72% तक और दूसरे में 20.07% तक सुधारा, जो उन उन्नत तरीकों को भी मात दे देता है जिन्हें रोबोट के मस्तिष्क के अंदर झांकने की आवश्यकता होती है।
शोधकर्ताओं ने यह भी दिखाया कि यह "फिंगरप्रिंट" वास्तविक है और केवल एक इत्तेफाक नहीं है। जब उन्होंने एक सेट पहेलियों पर जासूस को प्रशिक्षित किया और दूसरे पूरी तरह से अलग सेट पर परीक्षण किया, तब भी यह अच्छी तरह से काम करता रहा। यह सुझाव देता है कि जिस तरह से ये एआई मॉडल झूठ बोलते हैं, वह उनके सोचने के तरीके का एक मौलिक हिस्सा है, न कि केवल एक विशिष्ट परीक्षण की गलती। अध्ययन यह सिद्ध करता है कि हैलुसिनेशन को पकड़ने के लिए, आपको केवल यह पूछने की ज़रूरत नहीं है, "क्या आप सुनिश्चित हैं?" बल्कि आपको यह पूछने की ज़रूरत है, "क्या आपकी कहानी तब भी बनी रहती है जब मैं इसे हर कोण से छेड़ता हूँ?" इन सुसंगतता के अद्वितीय पैटर्न को मैप करके, हम अंततः उन आत्मविश्वासी झूठ बोलने वालों को पकड़ सकते हैं इससे पहले कि वे मुसीबत खड़ी करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।