Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies
यह शोधपत्र ट्रांसफॉर्मर भविष्यवाणियों को हस्ताक्षरित प्रति-परत साक्ष्य (signed per-layer evidence) में विघटित करने के लिए लैंग्वेज एविडेंस फ्लो (LEF) प्रस्तुत करता है और स्कोपगेट (ScopeGate) का प्रस्ताव करता है, जो एक क्रमपरिवर्तन-आधारित (permutation-based) नैदानिक उपकरण है जो मौजूदा त्रुटि डिटेक्टरों की मॉडल-और-कार्य-विशिष्ट सीमाओं को प्रकट करता है, यह प्रदर्शित करते हुए कि कोई भी एकल मीट्रिक सार्वभौमिक रूप से मॉडल की विफलता की भविष्यवाणी नहीं करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के इंजन हैं, जो निबंध लिखने, गणित की समस्याओं को हल करने और मानवीय संवेदनाओं वाले संवाद करने में सक्षम हैं। फिर भी, उनकी प्रवाहपूर्ण सतह के नीचे एक निरंतर दोष छिपा है: वे कभी-कभी पूरे आत्मविश्वास के साथ तथ्य गढ़ देते हैं, जिसे शोधकर्ता 'हलुसिनेशन' (hallucination) कहते हैं। वर्षों से, इन त्रुटियों को पहचानने का मानक तरीका मॉडल के अंतिम उत्तर को देखना और यह पूछना रहा है कि, "यह कितना निश्चित प्रतीत होता है?" यदि मॉडल किसी शब्द को उच्च संभावना (probability) प्रदान करता है, तो हम मान लेते हैं कि वह सही है। लेकिन इस दृष्टिकोण में एक अंधा बिंदु (blind spot) है। यह अंतिम आउटपुट को एक 'ब्लैक बॉक्स' की तरह मानता है, और उस जटिल आंतरिक मशीनरी की अनदेखी करता है जिसने इसे बनाया है। दो उत्तरों का आत्मविश्वास का स्तर बिल्कुल समान हो सकता है, फिर भी एक स्पष्ट, सर्वसम्मत सहमति का परिणाम हो सकता है, जबकि दूसरा एक तीव्र आंतरिक गृहयुद्ध का नाजुक उत्पाद हो सकता है जहाँ सिस्टम के विभिन्न हिस्से एक-दूसरे के विपरीत दिशा में खींच रहे होते हैं। इस छिपे हुए संघर्ष को समझना महत्वपूर्ण है क्योंकि आत्मविश्वास से भरा झूठ अक्सर हिचकिचाहट भरे सच से अधिक खतरनाक होता है।
शोधकर्ताओं की एक टीम ने इस ब्लैक बॉक्स के भीतर झांकने के लिए एक नया तरीका विकसित किया है, जो एक शब्द बोले जाने से पहले होने वाले इस छिपे हुए खींचतान को प्रकट करता है। वे अपने इस ढांचे को 'लैंग्वेज एविडेंस फ्लो' (Language Evidence Flow) कहते हैं। केवल अंतिम स्कोर देखने के बजाय, यह विधि मॉडल के आर्किटेक्चर के भीतर प्रत्येक एकल परत (layer) के योगदान को ट्रैक करती है जब वह एक वाक्य को प्रोसेस करती है। कल्पना कीजिए कि मॉडल निर्णय लेने वालों की एक लंबी श्रृंखला है, जहाँ प्रत्येक कड़ी अंतिम चयन में अपना योगदान जोड़ती है। शोधकर्ताओं ने पाया कि वे प्रत्येक कड़ी के योगदान को एक सकारात्मक या नकारात्मक मान (value) दे सकते हैं। एक सकारात्मक मान का अर्थ है कि परत चुने गए शब्द का समर्थन करती है; एक नकारात्मक मान का अर्थ है कि वह उसका विरोध करती है। इन सबको जोड़कर, वे एक "संघर्ष स्कोर" (conflict score) की गणना कर सकते हैं। कम स्कोर का अर्थ है कि आंतरिक परतें सामंजस्य में हैं, जबकि उच्च स्कोर यह प्रकट करता है कि मॉडल मजबूत आंतरिक असहमति के बावजूद एक उत्तर उत्पन्न कर रहा है। यह उन्हें यह पता लगाने की अनुमति देता है कि मॉडल कब भ्रमित (hallucinate) हो रहा है, भले ही अंतिम उत्तर सतह पर पूरी तरह से आत्मविश्वासी दिखाई दे रहा हो।
शोधकर्ताओं ने इस विचार का परीक्षण विभिन्न प्रकार के मॉडलों पर किया, जिनमें 1.4-बिलियन-पैरामीटर वाले छोटे संस्करणों से लेकर विशाल 14.7-बिलियन-पैरामीटर वाले सिस्टम तक शामिल थे, जो विभिन्न आर्किटेक्चरल परिवारों को कवर करते हैं। उन्होंने पाया कि यह विधि एक विशिष्ट प्रकार की त्रुटि को पकड़ने में असाधारण रूप से प्रभावी है: जब मॉडल की आंतरिक स्मृति (internal memory) उस बाहरी जानकारी से टकराती है जिसे उसने प्राप्त किया है। एक 'रिट्रीवल-ऑगमेंटेड जनरेशन' (RAG) सेटअप में, मॉडल को उत्तर देने से पहले एक दस्तावेज़ पढ़ने के लिए दिया जाता है। यदि दस्तावेज़ कुछ कहता है और मॉडल की प्रशिक्षण स्मृति कुछ और कहती है, तो आंतरिक संघर्ष स्कोर बढ़ जाता है, जो संकेत देता है कि उत्तर संभवतः एक भ्रम (hallucination) है। यह एक सिंगल पास (single pass) में काम करता है, जिसका अर्थ है कि यह जनरेशन प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं लेता है, जबकि पुराने तरीकों के लिए निरंतरता की जांच करने के लिए मॉडल को एक ही उत्तर को कई बार उत्पन्न करना पड़ता था।
हालाँकि, अध्ययन ने एक आश्चर्यजनक और महत्वपूर्ण सीमा भी उजागर की: यह आंतरिक संघर्ष संकेत सभी मॉडलों के लिए सार्वभौमिक सत्य नहीं है। शोधकर्ताओं ने पाया कि कुछ मॉडलों के लिए, एक उच्च संघर्ष स्कोर ने त्रुटियों की विश्वसनीय भविष्यवाणी की, लेकिन अन्य के लिए, यह संकेत कमजोर या भ्रामक भी था। उदाहरण के लिए, एक लोकप्रिय 7-बिलियन-पैरामीटर वाले मॉडल पर, संघर्ष स्कोर वास्तव में त्रुटियों की भविष्यवाणी करने में रैंडम गेसिंग (random guessing) से भी बदतर था, जबकि उसी आकार के एक अलग मॉडल पर, यह परेशानी का एक मजबूत संकेतक था। यह विसंगति बताती है कि केवल इस टूल को किसी भी AI सिस्टम पर स्थापित करना पर्याप्त नहीं है; आपको पहले यह सत्यापित करना होगा कि यह आपके विशिष्ट मॉडल के लिए काम करता है या नहीं। इसे हल करने के लिए, टीम ने 'स्कोपगेट' (ScopeGate) नामक एक सुरक्षा जांच बनाई है। यह एक सरल परीक्षण है जो ज्ञात सही और गलत उत्तरों के एक छोटे सेट पर चलता है ताकि यह देखा जा सके कि क्या संघर्ष स्कोर वास्तव में उस विशिष्ट मॉडल के लिए त्रुटियों के साथ सह-संबंध (correlate) रखता है। यदि परीक्षण विफल हो जाता है, तो इस टूल का उपयोग स्टैंडअलोन अलार्म के रूप में नहीं किया जाता है, लेकिन इसका उपयोग अभी भी यह समझने के लिए किया जा सकता है कि मॉडल क्यों संघर्ष कर रहा है।
निष्कर्ष बताते हैं कि इन मॉडलों के सोचने का तरीका तब बदल जाता है जब उन्हें मानवीय बातचीत के लिए ट्यून किया जाता है। जब मॉडलों को अधिक सहायक और निर्देशों का पालन करने के लिए फाइन-ट्यून किया जाता है, तो उनका सतही आत्मविश्वास चेतावनी संकेत के रूप में कम विश्वसनीय हो जाता है, लेकिन आंतरिक संघर्ष संकेत मजबूत या और भी तीक्ष्ण बना रहता है। यह इस नए तरीके को वास्तविक दुनिया के अनुप्रयोगों में उपयोग किए जाने वाले सबसे उन्नत, इंस्ट्रक्शन-ट्यून्ड मॉडलों के लिए विशेष रूप से मूल्यवान बनाता है। शोधकर्ताओं ने यह भी दिखाया कि यह दृष्टिकोण जटिल, बहु-चरणीय तर्क कार्यों (multi-step reasoning tasks) में त्रुटियों का पता लगा सकता है जहाँ मॉडल को तथ्यों की एक श्रृंखला बनानी होती है, जिससे वह क्षण पकड़ा जा सकता है जब आंतरिक तर्क टूटने लगता है।
अंततः, यह कार्य अंतिम आउटपुट के बजाय निर्माण की प्रक्रिया पर ध्यान केंद्रित करता है। यह सिद्ध करता है कि उत्तर तक पहुँचने का मार्ग उतना ही महत्वपूर्ण है जितना कि स्वयं उत्तर। नेटवर्क की प्रत्येक परत के माध्यम से बहने वाले हस्ताक्षरित साक्ष्य (signed evidence) का मानचित्रण करके, शोधकर्ताओं ने वास्तविक समय में मॉडल के आंतरिक मतभेदों को देखने का एक तरीका प्रदान किया है। हालांकि यह तरीका बिना पूर्व जांच के हर एक मॉडल पर पूरी तरह से काम नहीं करता है, फिर भी यह एक शक्तिशाली, ट्रेनिंग-फ्री टूल है जिसे तुरंत तैनात किया जा सकता है। यह डेवलपर्स को यह देखने की अनुमति देता है कि मॉडल वास्तव में अपने आप से कहाँ और क्यों लड़ रहा है, जिससे आर्टिफिशियल इंटेलिजेंस की अपारदर्शी प्रक्रिया को कुछ ऐसा बनाया जा सके जिसे देखा, मापा और समझा जा सके। मुख्य निष्कर्ष यह है कि आत्मविश्वास पर्याप्त नहीं है; हमें मशीन के भीतर सहमति की शांति या संघर्ष के शोर को भी देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।