Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs
यह शोध पत्र "रोल-ब्रेक" (Role-Break) को प्रस्तुत करता है, जो एक एकीकृत हेड-स्तरीय घटना है जहाँ विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) अटेंशन हेड्स में स्थानीय विचलन के रूप में प्रकट होते हैं, जो एक हल्के, फाइन-ट्यूनिंग-मुक्त लीनियर डिटेक्टर के विकास को सक्षम बनाता है जो विविध मॉडल्स और बेंचमार्क में उच्च सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को तस्वीर का वर्णन करना सिखा रहे हैं। आप उसे एक आरामदायक रसोई की फोटो दिखाते हैं, और वह चूल्हे और फ्रिज के बारे में बात करने लगता है। लेकिन फिर, वह अचानक इस बात पर अड़ जाता है कि कोने में एक विशाल हाथी खड़ा है, जबकि फोटो खाली है। यह रोबोट जानबूझकर झूठ नहीं बोल रहा है; यह एक गड़बड़ी है जिसे "हैलुसिनेशन" (hallucination) कहा जाता है, जहाँ मशीन जो देख रही है और जो उसे लगता है कि उसे देखना चाहिए, उनके बीच भ्रम हो जाता है। ऐसा इसलिए होता है क्योंकि आधुनिक AI मॉडल टेक्स्ट के विशाल पुस्तकालयों की तरह हैं जिन्होंने वाक्य में अगले शब्द की भविष्यवाणी करना इतनी अच्छी तरह से सीख लिया है कि कभी-कभी, वे पूरी तस्वीर को अनदेखा कर देते हैं और केवल अपनी याददाश्त के आधार पर अनुमान लगाने लगते हैं कि वाक्य आमतौर पर कैसे चलते हैं। वैज्ञानिक इस बात को लेकर बहुत चिंतित हैं क्योंकि यदि कोई कार चला रहा रोबोट या मरीज का निदान करने वाला रोबोट ऐसी विवरणों को "हैलुसिनेट" करने लगे जो वहां मौजूद ही नहीं हैं, तो इसके परिणाम खतरनाक हो सकते हैं। बड़ा सवाल यह रहा है: हम इन गलतियों को होने से पहले कैसे पकड़ें, और रोबोट ऐसा करता क्यों है?
लंबे समय तक, शोधकर्ताओं ने इन त्रुटियों को पकड़ने के लिए एक विशिष्ट "धुआं छोड़ने वाले सबूत" (smoking gun) की तलाश की। शायद उन्होंने सोचा कि रोबोट हमेशा तस्वीर को अनदेखा कर रहा है, या शायद उन्होंने सोचा कि वह हमेशा अपने पिछले शब्दों को बहुत अधिक सुन रहा है। उन्होंने इन एकल पैटर्न को खोजने के लिए डिटेक्टर बनाए। लेकिन नया पेपर, "रोल-ब्रेक इन अटेंशन हेड्स" (Role-Break in Attention Heads), यह सुझाव देता है कि इस दृष्टिकोण के साथ ऐसा है जैसे किसी चोर को केवल लाल टोपी पहने हुए व्यक्ति को देखकर खोजने की कोशिश करना। वास्तव में, "चोर" (हैलुसिनेशन) कई तरह के भेष धारण करते हैं। कभी वे छवि को अनदेखा कर देते हैं, कभी वे प्रॉम्प्ट (निर्देश) से विचलित हो जाते हैं, और कभी वे अपने स्वयं के इतिहास में फंस जाते हैं। क्योंकि गलतियाँ कई अलग-अलग तरीकों से होती हैं, इसलिए एक डिटेक्टर जो केवल एक पैटर्न को देखता है, वह विफल हो जाता है जब रोबोट अपना व्यवहार या कार्य बदल देता है।
लेखकों ने एक एकल पैटर्न खोजने के बजाय एक बहुत ही विशिष्ट कोण से रोबोट के मस्तिष्क को देखने का निर्णय लिया: "अटेंशन हेड्स" (attention heads)। एक विजन-लैंग्वेज मॉडल (VLM) को सैकड़ों संगीतकारों (अटेंशन हेड्स) वाले एक विशाल ऑर्केस्ट्रा के रूप में समझें। एक आदर्श प्रदर्शन (जब रोबोट सच बोल रहा होता है) में, प्रत्येक संगीतकार का एक विशिष्ट, स्थिर काम होता है। एक छवि को सुनने के लिए जिम्मेदार हो सकता है, दूसरा उपयोगकर्ता के प्रश्न के लिए, और तीसरा रोबोट के अपने पिछले शब्दों के लिए। पेपर इस स्थिर, विश्वसनीय काम को "फेथफुल रोल" (faithful role) कहता है।
शोधकर्ताओं ने पाया कि जब रोबोट हैलुसिनेट करने लगता है, तो यह नहीं होता कि पूरा ऑर्केस्ट्रा पागल हो जाता है। इसके बजाय, विशिष्ट संगीतकार अचानक अपना सौंपा गया काम करना बंद कर देते हैं। वे अपने चरित्र से बाहर निकल जाते हैं (break character)। शायद वह संगीतकार जो आमतौर पर छवि को सुनता है, अचानक उसे अनदेखा करने लगता है और केवल रोबोट की अपनी आवाज़ सुनने लगता है। या वह जो उपयोगकर्ता के प्रश्न की जांच करता है, वह तस्वीर के गलत हिस्से को घूरने लगता है। लेखक इस घटना को "रोल-ब्रेक" (Role-Break) कहते हैं। यह एक सिम्फनी में वायलिन वादक के अचानक ड्रम सोलो बजाने का निर्णय लेने जैसा है; यह एक स्पष्ट, मापने योग्य संकेत है कि कुछ गलत हो गया है, भले ही बाकी ऑर्केस्ट्रा ठीक से बज रहा हो।
यह पेपर इस विचार का खंडन करता है कि हर स्थिति के लिए एक एकल "हैलुसिनेशन सिग्नल" है। उन्होंने कई सिद्धांतों का परीक्षण किया और पाया कि कोई भी एकल पैटर्न (जैसे "लो इमेज अटेंशन") विभिन्न मॉडलों और कार्यों में सभी त्रुटियों को पकड़ने के लिए पर्याप्त स्थिर नहीं है। इसके बजाय, संकेत सभी अलग-अलग संगीतकारों के बीच परिवर्तनों के पैटर्न में छिपा हुआ है। जब आप देखते हैं कि प्रत्येक विशिष्ट अटेंशन हेड अपने सामान्य "फेथफुल रोल" से कैसे विचलित होता है, तो एक स्पष्ट तस्वीर उभरती है।
इस अंतर्दृष्टि का उपयोग करते हुए, टीम ने एक बहुत ही सरल, हल्का डिटेक्टर बनाया। उन्हें विशाल रोबोट को फिर से प्रशिक्षित करने या नए जटिल स्तर जोड़ने की आवश्यकता नहीं थी। उन्होंने बस एक छोटे, सरल "कोच" (एक लीनियर क्लासिफायर) को ऑर्केस्ट्रा को देखने के लिए सिखाया। यह कोच सीखता है कि सामान्य संचालन के दौरान प्रत्येक संगीतकार का "फेथful रोल" कैसा दिखता है। फिर, जैसे ही रोबोट टेक्स्ट जेनरेट करता है, कोच "रोल-ब्रेक्स" पर नज़र रखता है—वे क्षण जहाँ एक संगीतकार अपनी लाइन से बाहर निकल जाता है। क्योंकि कोच को केवल यह जांचने की आवश्यकता है कि क्या संगीतकार अपना काम कर रहे हैं, यह अविश्वसनीय रूप से तेज़ और कुशल है।
परिणाम प्रभावशाली हैं। लेखकों ने छह अलग-अलग लार्ज विजन-लैंग्वेज मॉडल्स और चार बेंचमार्क (हैलुसिनेशन को पकड़ने के लिए डिज़ाइन किए गए परीक्षण) पर इस पद्धति का परीक्षण किया। डिटेक्टर ने औसतन 93.23 का AUROC (एक स्कोर जो सत्य और झूठ के बीच अंतर करने की क्षमता को मापता है) प्राप्त किया। इसका मतलब है कि इसने अधिकांश हैलुसिनेशन को पकड़ा, जो उन अधिक जटिल तरीकों से बेहतर प्रदर्शन करता है जिनमें भारी कंप्यूटिंग शक्ति की आवश्यकता होती है। इसके अलावा, डिटेक्टर बहुत छोटा है; इसका फीचर डायमेंशन 5,000 से नीचे रहता है, जो उन विशाल मॉडलों के आकार की तुलना में बहुत छोटा है जिनकी यह निगरानी करता है।
पेपर यह भी सुझाव देता है कि यह सिग्नल क्रियाशील (actionable) है। एक छोटे प्रयोग में, जब डिटेक्टर ने एक टोकन (एक शब्द) को हैलुसिनेशन के रूप में चिह्नित किया, तो शोधकर्ताओं ने बस हाँ/ना वाले प्रश्न में रोबोट के उत्तर को उलट दिया। इस सरल सुधार ने रोबोट की सटीकता को महत्वपूर्ण रूप से सुधार दिया, जिससे यह सिद्ध हुआ कि "रोल-ब्रेक" सिग्नल केवल एक सैद्धांतिक जिज्ञासा नहीं है—यह सीधे गलती की ओर इशारा करता है।
हालाँकि, लेखक इस बात को लेकर भी सावधान हैं कि वे क्या नहीं जानते। उन्होंने पाया कि ये "रोल-ब्रेक्स" होते हैं, लेकिन उन्होंने यह साबित नहीं किया है कि वे क्यों होते हैं। यह संभव है कि ब्रेक ही हैलुसिनेशन का कारण हो, या शायद रोबोट का मस्तिष्क खुद को सुधारने की कोशिश कर रहा है और विफल हो रहा है। उन्होंने यह भी नोट किया कि हालांकि यह हाँ/ना वाले प्रश्नों के लिए बहुत अच्छा काम करता है, लेकिन रोबोट की मुक्त-प्रवाह वाली कहानियों (जेनरेटिव टास्क) को ठीक करना कठिन है क्योंकि आप व्याकरण को तोड़े बिना एक वाक्य में शब्द को बस "उलट" नहीं सकते।
संक्षेप में, यह पेपर सुझाव देता है कि झूठ बोलने वाले रोबोट को पकड़ने के लिए, हमें एक एकल झूठ की तलाश नहीं करनी चाहिए। इसके बजाय, हमें उसके मस्तिष्क के व्यक्तिगत हिस्सों पर नज़र रखनी चाहिए कि वे अपना काम कब करना बंद कर देते हैं। अटेंशन हेड्स के ऑर्केस्ट्रा में "रोल-ब्रेक" के रूप में हैलुसिनेशन को मानकर, हम एक सरल, तेज़ और अत्यधिक प्रभावी डिटेक्टर बना सकते हैं, जो विभिन्न प्रकार के AI मॉडलों में काम करता है, जिससे हमारे डिजिटल सहायक ईमानदार और विश्वसनीय बने रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।