Diagnosing Correctness Probes under Self-Judgement Confounding
यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडलों में हिडन-स्टेट रीडआउट्स अक्सर वस्तुनिष्ठ शुद्धता के बजाय मॉडल के आत्म-निर्णय (self-judgement) को कैप्चर करते हैं, जैसा कि वास्तविक शुद्धता से जुड़े दिशाओं की तुलना में आत्म-निर्णय से जुड़ी दिशाओं की बेहतर क्रॉस-डोमेन हस्तांतरणीयता (cross-domain transferability) से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक रोबोट सच बोल रहा है। आप उससे एक सवाल पूछते हैं, वह एक उत्तर देता है, और फिर आपको निर्णय लेना होता है: क्या उत्तर वास्तव में सही है, या रोबोट बस इस बात को लेकर आश्वस्त है कि वह सही है? यह "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) नामक विज्ञान के एक नए क्षेत्र का मूल है, जहाँ शोधकर्ता बड़े लैंग्वेज मॉडल्स (LLMs) के "मस्तिष्क" के भीतर झाँकने की कोशिश करते हैं ताकि यह देख सकें कि वे वास्तव में क्या सोच रहे हैं। ये मॉडल्स विशाल डिजिटल भविष्यवक्ताओं की तरह हैं जो कविताएँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और इतिहास के बारे में चर्चा कर सकते हैं, लेकिन कभी-कभी वे तथ्य बना भी देते हैं (एक समस्या जिसे "हैलुसिनेशन" कहा जाता है)। वैज्ञानिकों ने पाया है कि यदि आप मॉडल के आंतरिक विद्युत संकेतों (जिन्हें "हिडन स्टेट्स" कहा जाता है) को ठीक उस क्षण देखते हैं जब वह अपना उत्तर समाप्त करता है, तो आप अक्सर भविष्यवाणी कर सकते हैं कि उसका उत्तर सही है या गलत। यह ऐसा है जैसे रोबट के दिमाग के भीतर एक झूठ पकड़ने वाला यंत्र (lie detector) लगा हो। लेकिन यहाँ पेचीदा बात यह है: आमतौर पर, जब कोई रोबोट गलत उत्तर देता है, तो वह यह भी सोचता है कि वह गलत है। और जब वह सही उत्तर देता है, तो वह आमतौर पर यह सोचता है कि वह सही है। क्योंकि रोबोट का आंतरिक "सत्य संकेत" (truth signal) और उसका "आत्म-विश्वास संकेत" (self-confidence signal) आमतौर पर सहमत होते हैं, इसलिए यह बताना कठिन रहा है कि रोबोट वास्तव में सत्य का पता लगा रहा है, या वह केवल अपनी राय का पता लगा रहा है।
"डायग्नोसिंग करेक्टनेस प्रोब्स अंडर सेल्फ-जजमेंट कॉन्फाउंडिंग" (Diagnosing Correctness Probes under Self-Judgement Confounding) शीर्षक वाला यह शोध पत्र ठीक इसी भ्रम को संबोधित करता है। यी-लोंग लू (Yi-Long Lu) के नेतृत्व में शोधकर्ताओं ने एक विशेष परीक्षण बनाने का निर्णय लिया जहाँ रोबोट का "सत्य" और उसका "आत्म-विश्वास" आपस में असहमत हों। उन्होंने ऐसी स्थितियाँ बनाईं जहाँ मॉडल गणितीय रूप से सही उत्तर देता है लेकिन फिर कहता है, "नहीं, यह गलत है," और ऐसी स्थितियाँ जहाँ वह गलत उत्तर देता है लेकिन कहता है, "हाँ, यह सही है।" इन दोनों संकेतों को आपस में लड़ने के लिए मजबूर करके, वे अंततः देख सके कि "झूठ पकड़ने वाले यंत्र" द्वारा वास्तव में किस संकेत को पकड़ा जा रहा था।
टीम ने इसका परीक्षण चार अलग-अलग बड़े लैंग्वेज मॉडल्स पर किया, जो 7 बिलियन से 14 बिलियन पैरामीटर्स (सोचिए कि ये रोबोट के मस्तिष्क में कनेक्शन की संख्या है) के बीच थे। उन्होंने "फैक्टोरियल कॉन्ट्रास्ट्स" (factorial contrasts) नामक एक चतुर विधि का उपयोग किया, जो एक मिश्रित स्मूदी को उसके मूल फल और दूध में वापस अलग करने जैसा है ताकि देखा जा सके कि कौन सा स्वाद किसका है। उन्होंने पाया कि जबकि आंतरिक संकेतों में सत्य और आत्मविश्वास दोनों के बारे में जानकारी थी, सबसे विश्वसनीय रूप से स्थानांतरित होने वाला घटक वह था जो रोबोट के आत्म-निर्णय की ध्रुवीयता (self-judgement polarity) को संरक्षित करता था, न कि वस्तुनिष्ठ शुद्धता (objective correctness) को।
यहाँ एक आश्चर्यजनक मोड़ है: जब शोधकर्ताओं ने उस रोबोट के आंतरिक संकेतों को देखा जिसने गलत उत्तर दिया लेकिन सोचा कि वह सही है, तो "झूठ पकड़ने वाले यंत्र" ने उसे एक उच्च स्कोर दिया, ठीक वैसे ही जैसे वह एक सही उत्तर के लिए देता। इसके विपरीत, जब रोबोट ने एक सही उत्तर दिया लेकिन सोचा कि वह गलत है, तो डिटेक्टर ने उसे कम स्कोर दिया। वास्तव में, सभी मॉडल्स और टेस्टों में—जिसमें गणित की समस्याएं, मूवी ट्रिविया और सामान्य ज्ञान क्विज़ शामिल थे—आंतरिक संकेत जो एक प्रकार के प्रश्न से दूसरे प्रकार के प्रश्न में सबसे अच्छी तरह से स्थानांतरित हुआ, वह रोबोट के आत्मविश्वास को ट्रैक करने वाला था, न कि वास्तविक सत्य को।
यह शोध पत्र स्पष्ट रूप से नोट करता है कि हालांकि इन मॉडल्स में दिखने वाले "सत्य" के संकेत शुद्ध वस्तुनिष्ठ तथ्यात्मक शुद्धता के उपाय हो सकते हैं, लेकिन साक्ष्य दर्शाते हैं कि स्थानांतरणीयता (transferability) अकेले वस्तुनिष्ठ-शुद्धता के अर्थों को स्थापित नहीं करती है। यहाँ तक कि जब शोधकर्ताओं ने केवल "सही/गलत" लेबल का उपयोग करके एक डिटेक्टर बनाने की कोशिश की और रोबोट के आत्म-निर्णय को पूरी तरह से अनदेखा कर दिया, तब भी डिटेक्टर अंततः रोबोट के आत्मविश्वास का ही अनुसरण करने लगा। यह सुझाव देता है कि इन मॉडल्स में जो "सत्य" हम देखते हैं, वह वास्तविक तथ्यों के बारे में होने के बजाय इस बारे में अधिक है कि मॉडल अपने आउटपुट के बारे में कैसा महसूस करता है। लेखक निष्कर्ष निकालते हैं कि केवल इसलिए कि एक संकेत एक कार्य से दूसरे कार्य में स्थानांतरित किया जा सकता है, इसका मतलब यह नहीं है कि वह सत्य का प्रतिनिधित्व करता है; यह केवल मॉडल की अपनी राय हो सकती है। इसलिए, भले ही हम रोबोट के मस्तिष्क के भीतर झाँककर यह देख सकते हैं कि वह कितना आश्वस्त है, हम अभी भी यह सुनिश्चित नहीं हो सकते कि उसका यह आत्मविश्वास उसे सच बोलने की ओर ले जा रहा है या नहीं। अध्ययन बताता है कि इन मॉडल्स से जो सबसे विश्वसनीय चीज़ हम पढ़ सकते हैं, वह उनका अपना आत्म-मूल्यांकन है, न कि एक वस्तुनिष्ठ वास्तविकता की जाँच।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।