The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models
यह शोध पत्र प्रकट करता है कि भाषा मॉडलों में सत्यता के आंतरिक निरूपण (internal representations) क्लास सेंट्रॉइड्स (class centroids) द्वारा परिभाषित एक सरल, निम्न-आयामी ज्यामितीय संरचना बनाते हैं, जो लीनियर प्रोब्स (linear probes) और एक्टिवेशन स्टीयरिंग (activation steering) के माध्यम से मतिभ्रम (hallucinations) का अत्यधिक प्रभावी ढंग से पता लगाने और कारण-संबंधी हेरफेर (causal manipulation) को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत तेज़ रोबोट से बात कर रहे हैं जिसने लगभग हर लिखी हुई किताब पढ़ ली है। आप उससे एक सवाल पूछते हैं, और वह पूर्ण व्याकरण और पूर्ण आत्मविश्वास के साथ उत्तर देता है। लेकिन कभी-कभी, रोबोट गलत हो सकता है। वह आपको बता सकता है कि ऑस्ट्रेलिया की राजधानी सिडनी है (जबकि वास्तव में यह कैनबरा है) या कोई प्रसिद्ध ऐतिहासिक व्यक्ति गलत सदी में पैदा हुआ था। डरावनी बात यह है कि जब रोबोट झूठ बोल रहा होता है, तब भी वह उतना ही आश्वस्त सुनाई देता है जितना कि जब वह सच बोल रहा होता है। वह लड़खड़ाता नहीं है, वह हिचकिचाता नहीं है, और उसका "कॉन्फिडेंस मीटर" (वह संख्याएँ जो वह आंतरिक रूप से गणना करता है) सामान्य दिखता है।
लंबे समय तक, वैज्ञानिकों ने सोचा: क्या रोबोट जानता है कि वह गलत है, भले ही वह इसे न कहे? क्या उसके डिजिटल मस्तिष्क के गहरे भीतर कोई गुप्त संकेत छिपा है जो कहता है, "हे, यह तथ्य गलत है!"? यह समझने के लिए, हमें यह जानना होगा कि ये रोबोट कैसे काम करते हैं। वे मनुष्यों की तरह नहीं सोचते; वे सूचनाओं को संख्याओं के विशाल बादलों के रूप में संसाधित करते हैं जिन्हें "एक्टिवेशंस" (activations) कहा जाता है। जैसे-जैसे रोबोट पढ़ता और सोचता है, ये संख्याएँ एक डिजिटल नेटवर्क की परतों के माध्यम से बहती हैं। वैज्ञानिकों ने पाया है कि ये संख्याओं के बादल केवल यादृच्छिक (random) नहीं हैं; उनकी अपनी आकृतियाँ और संरचनाएँ हैं। कभी-कभी, एक सत्य तथ्य और एक झूठ के बीच का अंतर एक जटिल, उलझा हुआ पैटर्न नहीं होता, बल्कि इस डिजिटल स्थान में एक सरल, सीधी रेखा होती है। बड़ा सवाल यह है: क्या हम उस रेखा को खोज सकते हैं, और क्या हम उस रेखा का उपयोग करके रोबमाट को अपना वाक्य पूरा करने से पहले ही झूठ पकड़ने में सक्षम हो सकते हैं?
यही वह बात है जिसे शोध पत्र "द कॉन्फिडेंस मैनिफोल्ड" (The Confidence Manifold) तलाशने का प्रयास करता है। शोधकर्ताओं ने, जिनका नेतृत्व सोंगले चो (Seonglae Cho) और उनके सहयोगियों ने किया था, 11 अलग-अलग भाषा मॉडलों के "मस्तिष्क" के भीतर देखने का निर्णय लिया, जिनमें 124 मिलियन पैरामीटर्स वाले छोटे मॉडल से लेकर 14 बिलियन पैरामीटर्स वाले विशाल मॉडल शामिल थे। वे "सत्यता की ज्यामिति" (geometry of correctness) को मैप करना चाहते थे—वह विशिष्ट आकार और स्थान जहाँ रोबोट के मस्तिष्क में सत्य निवास करता है।
रोबोट के मस्तिष्क को एक विशाल, बहु-आयामी कमरे के रूप में सोचें। हर बार जब रोबोट किसी वाक्य के बारे में सोचता है, तो वह इस कमरे में एक बिंदु रखता है। यदि वाक्य सत्य है, तो बिंदु एक क्षेत्र में गिरता है; यदि वह असत्य है, तो वह दूसरे क्षेत्र में गिरता है। शोधकर्ताओं ने पाया कि ये बिंदु कमरे में बेतरतीब ढंग से बिखरे हुए नहीं हैं। इसके बजाय, वे दो अलग-अलग समूहों में व्यवस्थित हैं, जैसे कंचों के दो ढेर। "सत्य" का ढेर और "झूठ" का ढेर एक बहुत ही सरल, निम्न-आयामी गलियारे (hallway) द्वारा अलग किया गया है।
यहाँ सबसे आश्चर्यजनक बात है: इन ढेरों में अंतर करने के लिए आपको एक अति-जटिल कंप्यूटर की आवश्यकता नहीं है। शोधकर्ताओं ने पाया कि एक सत्य और एक असत्य कथन के बीच का अंतर इन बिंदुओं की औसत स्थिति में एक साधारण बदलाव मात्र है। यह ऐसा है जैसे आपके पास लाल कंचों का एक बैग और नीले कंचों का एक बैग हो। आपको यह जानने के लिए कि वे एक-दूसरे से कैसे भिन्न हैं, प्रत्येक कंचे के आकार, वजन या बनावट को मापने की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि लाल वाले, औसतन, थोड़े बाईं ओर हैं, और नीले वाले थोड़े दाईं ओर हैं। रोबोट के मस्तिष्क में, यह "औसत स्थिति" (या सेंट्रॉइड/centroid) ही सब कुछ है। शोधकर्ताओं ने पाया कि वे इन दो केंद्रों को खोजने के लिए केवल 25 लेबल किए गए उदाहरणों का उपयोग करके 90% सटीकता के साथ झूठ का पता लगा सकते थे। इससे भी बेहतर, उन्होंने पाया कि यह "सत्य संकेत" केवल 2 से 8 आयामों के एक छोटे से गलियारे में रहता है, भले ही रोबोट के मस्तिष्क में हजारों आयाम खेलने के लिए उपलब्ध हों।
टीम ने केवल देखा ही नहीं; उन्होंने रोबोट को यह देखने के लिए छेड़छाड़ भी की कि क्या यह संकेत वास्तविक है। उन्होंने "एक्टिवेशन स्टीयरिंग" (activation steering) नामक एक तकनीक का उपयोग किया, जो रोबोट के आंतरिक नंबरों को एक विशिष्ट दिशा में धीरे से धकेलने जैसा है। जब उन्होंने रोबोट को "सत्य" की दिशा में धकेला, तो उसने कम गलतियाँ करना शुरू कर दिया। जब उन्होंने उसे "झूठ" की दिशा में धकेला, तो उसने अधिक भ्रमित करने वाली बातें (hallucinations) बनाना शुरू कर दिया। उन्होंने उस संकेत को पूरी तरह से मिटाने के लिए भी प्रयास किया—उस विशिष्ट गलियारे को हटाकर—और अचानक, रोबोट सत्य और झूठ के बीच अंतर करने में पूरी तरह असमर्थ हो गया, और उसका प्रदर्शन यादृच्छिक अनुमान (random guessing) से बेहतर नहीं रहा। इसने सिद्ध किया कि संकेत केवल एक संयोग नहीं था; यह एक आवश्यक हिस्सा था कि रोबोट तथ्यों को कैसे संसाधित करता है।
हालाँकि, यह शोध पत्र हमें चेतावनी भी देता है कि यह हर स्थिति के लिए एक जादुई समाधान नहीं है। शोधकर्ताओं ने पाया कि यह आंतरिक "सत्य डिटेक्टर" तब अविश्वसनीय रूप से अच्छा काम करता है जब रोबोट चालाकी कर रहा हो—जैसे कि जब वह आत्मविश्वास के साथ किसी आम गलत धारणा को बता रहा हो। लेकिन मानक, उबाऊ प्रश्नों पर, जहाँ रोबोट किसी को धोखा देने की कोशिश नहीं कर रहा है, रोबोट का अपना आउटपुट (जो वह ज़ोर से कहता है) सत्य बताने के लिए पर्याप्त है। आंतरिक संकेत तब सबसे अधिक चमकता है जब रोबोट भ्रामक व्यवहार कर रहा होता है।
एक अन्य दिलचस्प निष्कर्ष विभिन्न प्रकार के प्रश्नों के बीच संकेतों के प्रसार के बारे में है। यदि आप रोबोट को एक विशिष्ट डेटासेट (जैसे इतिहास के बारे में एक क्विज़) में झूठ पकड़ने के लिए सिखाते हैं, तो वह एक अलग डेटासेट (जैसे विज्ञान के बारे में एक क्विज़) में झूठ पकड़ने में सक्षम नहीं हो सकता है, जब तक कि आप उसे एक साथ दोनों पर प्रशिक्षित न करें। यह कार चलाने सीखने जैसा है—ट्रैक पर कार चलाना सीखने से आप बर्फ से भरे शहर में कार चलाने में स्वतः ही कुशल नहीं हो जाते; आपको दोनों का अभ्यास करने की आवश्यकता है। शोधकर्ताओं ने दिखाया कि एक साथ कई डेटासेट्स पर डिटेक्टर को प्रशिक्षित करके, वे एक सार्वभौमिक "सत्य दिशा-सूचक" (truth compass) बना सकते हैं जो विभिन्न विषयों में काम करता है।
अंत में, यह शोध पत्र हमें एक स्पष्ट तस्वीर देता है कि भाषा मॉडल सत्य को कैसे संभालते हैं। यह सुझाव देता है कि इन जटिल मशीनों के गहरे भीतर, सही और गलत के बीच का अंतर आश्चर्यजनक रूप से सरल है: यह केवल इस बात पर निर्भर करता है कि डेटा एक रेखा के किस ओर गिरता है। हालाँकि इसका मतलब यह नहीं है कि हम तुरंत हर स्थिति में रोबोट के सभी झूठों को ठीक कर सकते हैं, लेकिन यह सिद्ध करता है कि रोबोट जानता है कि वह कब गलत है, भले ही वह हमेशा इसे स्वीकार न करे। संकेत वहाँ है, यह ज्यामितीय है, और यह खोजे जाने की प्रतीक्षा कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।