Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification
यह शोधपत्र कर्नेल टोकन विरोधाभास (KTC) प्रस्तुत करता है, जो कि कर्नेल-आधारित टोकन निरूपण और विकिपीडिया आवृत्ति सांख्यिकी का लाभ उठाकर बड़े भाषा मॉडल (LLM) के आउटपुट में दावे-स्तर की अनिश्चितता को मापने की एक हल्का और CPU-कुशल विधि है, जो उच्च-परिशुद्धता वाले क्षेत्रों में उच्च सटीकता बनाए रखते हुए मौजूदा दृष्टिकोणों की तुलना में महत्वपूर्ण गति प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स आधुनिक जीवन का एक परिचित हिस्सा बन गए हैं, जो कहानियाँ लिखने, सवालों के जवाब देने और जटिल विषयों का सारांश मानवीय प्रवाह के साथ प्रस्तुत करने में सक्षम हैं। फिर भी, इस सुचारू सतह के नीचे एक निरंतर समस्या छिपी है: ये सिस्टम कभी-कभी आत्मविश्वास से भरी ऐसी बातें कहते हैं जो वास्तव में गलत होती हैं। यह घटना, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है, तब होती है जब एक मॉडल तथ्यों का आविष्कार करता है या विवरणों को आपस में मिला देता है, जिससे उन लोगों के लिए जोखिम पैदा हो जाता है जो सटीक जानकारी के लिए इसके आउटपुट पर भरोसा करते हैं। इसे संबोधित करने के लिए, शोधकर्ताओं ने इस बात को मापने के तरीके विकसित किए हैं कि एक मॉडल अपनी कही गई बातों के बारे में कितना अनिश्चित है। लक्ष्य मॉडल को बोलने से रोकना नहीं है, बल्कि उन विशिष्ट क्षणों को चिह्नित करना है जब वह केवल अनुमान लगा रहा होता है, जिससे उपयोगकर्ता विश्वसनीय हिस्सों पर भरोसा कर सकें और संदिग्ध हिस्सों के प्रति सतर्क रह सकें। चुनौती इसे बिना सिस्टम को धीमा किए या भारी कंप्यूटिंग शक्ति की आवश्यकता के बिना, तेजी से और सटीकता से करने का तरीका खोजने की रही है।
फ्रांस की एक प्रयोगशाला, LIX के शोधकर्ताओं की एक टीम ने 'कर्नेल टोकन कॉन्ट्रैडिक्शन' (Kernel Token Contradiction) या KTC नामक एक नई विधि पेश की है, जिसे इस गति और सटीकता के द्वंद्व को हल करने के लिए डिज़ाइन किया गया है। उनका कार्य एक विशिष्ट प्रकार की अनिश्चितता पर केंद्रित है: वह क्षण जब एक मॉडल दो ऐसी सूचनाओं के बीच झिझकता है जो दोनों एक साथ सत्य नहीं हो सकतीं। कल्पना कीजिए कि एक मॉडल किसी उत्पाद की कीमत बताने की कोशिश कर रहा है। यदि वह अनिश्चित है, तो वह दो अलग-अलग संख्याओं, जैसे छह सौ निन्यानवे डॉलर और चार सौ निन्यानवे डॉलर को उच्च संभावना (high probability) दे सकता है। ये दो संख्याएँ एक-दूसरे का विरोध करती हैं; यदि एक सही है, तो दूसरी गलत होनी चाहिए। शोधकर्ताओं ने महसूस किया कि इस प्रकार के आंतरिक संघर्ष का पता लगाना भ्रम (hallucination) का एक शक्तिशाली संकेत है। पिछले तरीकों के विपरीत, जो भाषा के तर्क को समझने के लिए भारी, धीमे सॉफ्टवेयर पर निर्भर थे, KTC एक बहुत ही हल्का दृष्टिकोण अपनाता है जो इस बात पर आधारित है कि मानव लेखन के एक विशाल संग्रह में शब्द आमतौर पर एक-दूसरे के पास कैसे दिखाई देते हैं।
प्रक्रिया मॉडल द्वारा किसी भी चरण पर विचार किए जाने वाले संभावित अगले शब्दों की सूची को देखने से शुरू होती है। शोधकर्ताओं ने इन संभावनाओं का एक मानचित्र बनाया है, जिसके लिए उन्होंने विकिपीडिया कॉर्पस (Wikipedia corpus), जो लेखों का एक विशाल डिजिटल पुस्तकालय है, का विश्लेषण किया। उन्होंने गणना की कि वास्तविक दुनिया के इस टेक्स्ट में विशिष्ट शब्द कितनी बार एक-दूसरे के करीब आते हैं। यदि अगले चरण के लिए दो संभावित शब्द विकिपीडिया में बहुत समान पड़ोसियों (neighbors) के साथ आते हैं, तो सिस्टम उन्हें विरोधाभासी होने की संभावना के रूप में मानता है। उदाहरण के लिए, यदि मॉडल दो अलग-अलग कीमतों के बीच निर्णय ले रहा है, तो वे कीमतें विकिपीडिया में समान संदर्भों में दिखाई देंगी, जो एक संघर्ष का संकेत देती हैं। यदि मॉडल दो अलग-अलग लेखों, जैसे "the" और "a" के बीच निर्णय ले रहा है, तो उन शब्दों के पड़ोसी बहुत अलग होंगे, जो यह दर्शाता है कि वे संघर्ष में नहीं हैं बल्कि केवल एक ही विचार को व्यक्त करने के अलग-अलग तरीके हैं। यह सांख्यिकीय जांच विरोधाभास का निर्णय लेने के लिए एक अलग, धीमे भाषा मॉडल की आवश्यकता को समाप्त कर देती है, जिससे यह प्रक्रिया अविश्वसनीय रूप रूप से तेज हो जाती है।
एक बार जब सिस्टम पहचान लेता है कि कौन से संभावित शब्द संघर्ष में हैं, तो यह इस जानकारी को मॉडल के अपने आत्मविश्वास स्तरों के साथ जोड़ देता है। यह एक गणितीय प्रतिनिधित्व बनाता है जो प्रत्येक शब्द की संभावना को उनके बीच के विरोधाभास की डिग्री के विरुद्ध तौलता है। शोधकर्ता फिर इस संयुक्त चित्र पर 'एन्ट्रॉपी' (entropy) नामक अव्यवस्था का माप लागू करते हैं। यदि मॉडल आश्वस्त है और विकल्प संघर्ष में नहीं हैं, तो अनिश्चितता का स्कोर कम रहता है। हालांकि, यदि मॉडल दो विरोधाभासी तथ्यों के बीच फंसा हुआ है, तो स्कोर तेजी से बढ़ जाता है, जो उपयोगकर्ता को सचेत करता है कि उत्तर का यह विशिष्ट भाग अविश्वसनीय है। यह गणना व्यक्तिगत शब्दों के स्तर पर होती है, जिससे सिस्टम को पूरे उत्तर को संदिग्ध घोषित करने के बजाय, एक लंबे पैराग्राफ में ठीक उसी दावे को सटीक रूप से पहचानने की अनुमति मिलती है जो समस्याग्रस्त है।
इस पद्धति के परीक्षण के परिणाम इसकी दक्षता और सटीकता में चौंकाने वाले थे। शोधकर्ताओं ने सोलह अलग-अलग भाषा मॉडलों और चार यूरोपीय भाषाओं: अंग्रेजी, फ्रेंच, जर्मन और स्पेनिश में KTC का मूल्यांकन किया। उन्होंने इसकी तुलना वर्तमान सर्वोत्तम विधियों से की, जो शक्तिशाली ग्राफिक्स प्रोसेसर पर चलने वाले विशेष भाषा मॉडलों पर निर्भर करती हैं। KTC, जो केवल मानक कंप्यूटर प्रोसेसरों पर चलता है, पाया गया कि यह प्रतिस्पर्धियों के CPU-ओनली संस्करणों की तुलना में साठ प्रतिशत से अधिक (65 गुना से अधिक) तेज़ था और GPU-त्वरित संस्करणों की तुलना में आठ गुना से अधिक तेज़ था, जबकि इसने उनके प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, उन स्थितियों में जहाँ उच्च सटीकता की आवश्यकता होती है—अर्थात, सिस्टम को त्रुटि को चिह्नित करने से पहले बहुत सुनिश्चित होना चाहिए—KTC ने अन्य सभी विधियों को पछाड़ दिया। इसने मौजूदा अत्याधुनिक उपकरणों की तुलना में उच्च सटीकता दर के साथ झूठे दावों की सफलतापूर्वक पहचान की, भले ही इसने बहुत कम कंप्यूटिंग शक्ति का उपयोग किया।
यह कार्य बताता है कि भारी कंप्यूटेशनल लागत के बिना, जो पहले ऐसे निगरानी को कई अनुप्रयोगों के लिए अव्यावहारिक बना देती थी, लार्ज लैंग्वेज मॉडल्स की वास्तविक समय में निगरानी करना संभव है। एक जटिल, धीमे भाषा मॉडल को एक बड़े डेटाबेस में मानव लेखन के सरल, तेज़ चेक से बदलकर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जिसे सीधे उत्पादन प्रणालियों (production systems) में एकीकृत किया जा सकता है। इस पद्धति के लिए मॉडल को रोकने या पुन: प्रशिक्षित करने की आवश्यकता नहीं है; यह केवल मॉडल के आंतरिक विकल्पों को देखती है और विरोधाभास के पैटर्न के आधार पर त्रुटि के जोखिम की गणना करती है। हालांकि वर्तमान अध्ययन चार भाषाओं और विशिष्ट बेंचमार्क तक सीमित था, लेकिन यह दृष्टिकोण कृत्रिम बुद्धिमत्ता को रोजमर्रा के उपयोग में अधिक विश्वसनीय और भरोसेमंद बनाने की दिशा में एक आशाजनक मार्ग प्रदान करता है, जिससे यह सुनिश्चित होता है कि जब कोई मॉडल बोलता है, तो हमें पता होता है कि कब सुनना है और कब दोबारा जाँच करनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।