Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models
यह शोध पत्र SinkProbe प्रस्तुत करता है, जो एक अत्याधुनिक मतिभ्रम (hallucination) पहचान विधि है जो अटेंशन सिंक्स—वे टोकन जो असमान ध्यान द्रव्यमान (attention mass) संचित करते हैं—का उपयोग इनपुट-आधारित से पूर्व-आधारित गणना में बदलाव के आंतरिक संकेतों के रूप में करती है, जबकि यह भी प्रकट करती है कि प्रभावी पहचान बड़े वैल्यू वेक्टर नॉर्म्स वाले सिंक्स पर निर्भर करती है और इस तंत्र के साथ पिछले दृष्टिकोणों को गणितीय रूप से एकीकृत करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी, अविश्वसनीय रूप से तेज़ रोबोट द्वारा लिखी गई कहानी पढ़ रहे हैं। इस रोबोट ने अब तक की लगभग हर किताब पढ़ ली है और वह प्राचीन इतिहास से लेकर क्वांटम भौतिकी तक किसी भी चीज़ के बारे में सवालों के जवाब दे सकता है। लेकिन कभी-कभी, जब रोबोट कहीं अटक जाता है या उसे उत्तर नहीं पता होता, तो वह "मुझे नहीं पता" नहीं कहता। इसके बजाय, वह एक सुरीली, प्रवाहपूर्ण आवाज़ में बात करता रहता है, ऐसे तथ्य गढ़ता है जो सुनने में बिल्कुल सटीक लगते हैं लेकिन पूरी तरह से मनगढ़ंत होते हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह एक बड़ी समस्या है क्योंकि यदि हम चिकित्सा सलाह या कानूनी निर्णयों जैसे महत्वपूर्ण कार्यों के लिए इन रोबोटों पर भरोसा करते हैं, तो उनके आत्मविश्वास भरे झूठ वास्तविक मुसीबत पैदा कर सकते हैं।
इन झूठों को पकड़ने के तरीके को समझने के लिए, हमें पहले रोबोट के मस्तिष्क के भीतर झांकने की आवश्यकता है। आधुनिक रोबोट जैसे कि यह, एक "ट्रांसफॉर्मर" (Transformer) प्रणाली का उपयोग करते हैं, जो अगले शब्द का पता लगाने के लिए एक वाक्य के विभिन्न हिस्सों पर ध्यान (attention) केंद्रित करता है। इसे एक जासूसों के समूह (जिन्हें "अटेंशन हेड्स" कहा जाता है) की तरह समझें जो अपराध स्थल (वाक्य) की जांच कर रहे हैं। आमतौर पर, वे सबसे महत्वपूर्ण सुरागों पर ध्यान केंद्रित करते हैं। हालाँकि, शोधकर्ताओं ने हाल ही में कुछ अजीब पाया है: कभी-कभी, ये जासूस कुछ विशिष्ट, उबाऊ सुरागों—जैसे कि वाक्य का सबसे पहला शब्द या एक खाली स्थान—के प्रति जुनूनी हो जाते हैं, और बाकी सबूतों को अनदेखा कर देते हैं। वे इन्हें "अटेंशन सिंक्स" (attention sinks) कहते हैं। यह ऐसा ही है जैसे जासूस धूल के एक कण को इतनी गहराई से घूर रहे हों कि वे वास्तविक हत्या के हथियार को भी मिस कर दें।
यह शोध पत्र, जिसका शीर्षक "Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models" है, एक सरल लेकिन शानदार प्रश्न पूछता है: क्या हम इन अजीब "अटेंशन सिंक्स" का उपयोग रोबोट के झूठ पकड़ने के लिए कर सकते हैं? लेखक, जैकब बिंकोव्स्की और उनकी टीम, एक नई विधि प्रस्तावित करते हैं जिसे SinkProbe कहा जाता है। उनका सुझाव है कि जब एक रोबोट भ्रमित (hallucinate) होने लगता है, तो उसकी आंतरिक अटेंशन प्रणाली इन महत्वहीन टोकन पर "अवरुद्ध" या "संकुचित" (collapsed) हो जाती है, जिससे वास्तविक तथ्यों के साथ उसका संबंध टूट जाता है। यह मापने से कि रोब सहित रोबोट कितना अटेंशन इन "सिंक्स" पर डाल रहा है, वे भविष्यवाणी कर सकते हैं कि रोबोट कब मनगढ़ंत बातें बनाना शुरू करने वाला है।
जासूस का नया उपकरण: SinkProbe
लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने इस विचार का परीक्षण करने के लिए एक उपकरण बनाया। उन्होंने गणित की समस्याओं और सामान्य ज्ञान की क्विज़ सहित विभिन्न कठिन डेटासेट्स पर सवाल पूछने के दौरान कई लोकप्रिय लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे कि Llama और Mistral के अटेंशन मैप्स का अध्ययन किया।
यहाँ उनकी विधि कैसे काम करती है, इसे एक सरल उपमा से समझते हैं: कल्पना कीजिए कि रोबोट का मस्तिष्क कई लेन (परतों) और कई कारों (टोकन) वाला एक व्यस्त राजमार्ग है। आमतौर पर, कारें सड़क के विभिन्न हिस्सों को देखते हुए फैल जाती हैं। लेकिन जब रोबोट भ्रमित होने वाला होता है, तो ट्रैफ़िक जाम हो जाता है। कुछ विशिष्ट कारें ("सिंक्स") एक विशाल ट्रैफ़िक जाम में फंस जाती हैं, और लगभग हर दूसरी कार सड़क के आगे देखने के बजाय उन्हीं को घूरने लगती है।
लेखकों ने Sink Score नामक एक स्कोर विकसित किया ताकि यह सटीक रूप से मापा जा सके कि इन विशिष्ट स्थानों पर कितना ट्रैफ़िक जाम हो रहा है। उन्होंने पाया कि जब रोबोट झूठ बोल रहा होता है, तो ये सिंक स्कोर बढ़ जाते हैं। लेकिन एक मोड़ है: सभी ट्रैफ़िक जाम समान नहीं होते। लेखकों ने पाया कि झूठ पकड़ने के लिए जो "सिंक्स" वास्तव में मायने रखते हैं, वे केवल वे नहीं हैं जिन्हें बहुत अधिक अटेंशन मिल रहा है, बल्कि वे भी हैं जो एक भारी भार (एक बड़ा "वैल्यू वेक्टर") ले जा रहे हैं। यह एक ऐसे ट्रैफ़िक जाम को खोजने जैसा है जहाँ फंसी हुई कारें भारी क्रेट भी ले जा रही हैं; तभी आपको पता चलता है कि सूचना के प्रवाह के साथ कुछ गंभीर रूप से गलत है।
उन्होंने क्या पाया (और क्या नहीं)
परिणाम काफी उत्साहजनक थे। जब उन्होंने एक साधारण कंप्यूटर प्रोग्राम (लॉजिस्टिक्स रिग्रेशन क्लासिफायर) को इन सिंक स्कोर को देखने के लिए प्रशिक्षित किया, तो वह भ्रम (hallucinations) को पहचानने में बहुत कुशल हो गया। वास्तव में, अधिकांश परीक्षणों में, उनकी नई विधि, SinkProbe, अन्य मौजूदा तरीकों से बेहतर प्रदर्शन करती है जो अलग-अलग तरीकों से अटेंशन पैटर्न को देखकर झूठ पकड़ने की कोशिश करते हैं।
उदाहरण के लिए, GSM8K नामक डेटासेट पर (जिसमें गणित की समस्याएं हैं), SinkProbe ने 0.845 का स्कोर प्राप्त किया, जिसने पिछले सर्वश्रेष्ठ तरीके को पीछे छोड़ दिया जिसका स्कोर 0.835 था। TruthfulQA पर, जो मॉडल्स को झूठ बोलने के लिए फंसाने के लिए बनाया गया एक डेटासेट है, SinkProbe ने 0.785 का स्कोर प्राप्त किया, और फिर से शीर्ष पर रहा। लेखकों ने उल्लेख किया कि यह विधि मॉडल्स के विभिन्न आकारों में अच्छी तरह से काम करती है, छोटे 3-बिलियन पैरामीटर वाले मॉडल्स से लेकर बड़े 12-बिलियन पैरामीटर वाले मॉडल्स तक।
हालाँकि, शोध पत्र इस दावे के प्रति सावधान है कि उन्होंने भ्रम की समस्या को "हल" कर दिया है। वे स्पष्ट रूप से कहते हैं कि उनकी विधि के लिए मॉडल के आंतरिक अटेंशन वेट्स तक पहुँच की आवश्यकता होती है, जिसका अर्थ है कि यह केवल ओपन-सोर्स मॉडल्स पर काम करती है जहाँ आप मस्तिष्क की वायरिंग देख सकते हैं, न कि बंद, गुप्त मॉडल्स पर। वे यह भी स्पष्ट करते हैं कि हालांकि उन्होंने अटेंशन सिंक्स और भ्रम के बीच एक मजबूत संबंध पाया है, लेकिन उन्होंने यह साबित नहीं किया है कि सिंक्स ही झूठ का कारण हैं। यह यह देखने जैसा है कि कार के क्रैश होने पर उसका इंजन ओवरहीट हो रहा है; गर्मी एक स्पष्ट परेशानी का संकेत है, लेकिन गर्मी ही वह कारण नहीं हो सकती है जिसकी वजह से कार दुर्घटनाग्रस्त हुई।
यह क्यों मायने रखता है
इस कार्य की सुंदरता यह है कि यह कई अलग-अलग विचारों को एकीकृत करता है। लेखकों ने दिखाया कि अन्य विधियाँ जो लोगों ने आजमाई हैं—जैसे कि अटेंशन ग्राफ के "आकार" को देखना या प्रश्न बनाम उत्तर को दिए जाने वाले अटेंशन की तुलना करना—वास्तविक में एक ही "सिंक" घटना को देखने के अलग-अलग तरीके हैं। यह महसूस करने जैसा है कि तीन अलग-अलग लोग हाथी के पैर, कान और पूंछ को छूकर उसका वर्णन करने की कोशिश कर रहे हैं; वे सभी एक ही जानवर को महसूस कर रहे हैं, बस अलग-अलग कोणों से।
इन "अटेंशन सिंक्स" पर ध्यान केंद्रित करके, लेखक रोबोट के आंतरिक विचारों को सुनने का एक सरल और अधिक सीधा तरीका प्रदान करते हैं। उन्होंने पाया कि रोबोट के "झूठ" अक्सर एक विशिष्ट प्रकार के आंतरिक ट्रैफ़िक जाम द्वारा संकेतित होते हैं जहाँ मस्तिष्क नई जानकारी को प्रोसेस करना बंद कर देता है और पुराने, महत्वहीन संकेतों को रीसायकल करने लगता है। हालाँकि यह रोबोट की झूठ बोलने की प्रवृत्ति को ठीक नहीं करता है, लेकिन यह हमें यह जानने के लिए एक बहुत प्रभावी अलार्म सिस्टम देता है कि रोबोट कब कल्पना की दुनिया में खोना शुरू कर रहा है।
संक्षेप में, शोध पत्र सुझाव देता है कि यदि आप जानना चाहते हैं कि एक सुपर-स्मार्ट AI सच बोल रहा है या नहीं, तो आपको केवल यह नहीं सुनना चाहिए कि वह क्या कहता है। आपको यह भी देखना चाहिए कि वह कहाँ देख रहा है। यदि वह गलत चीजों को बहुत अधिक घूर रहा है, तो वह शायद मनगढ़ंत बातें बना रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।