Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness
यह शोध पत्र इस बात की जांच करता है कि क्या बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) के पास उत्तर की शुद्धता के बारे में विशेषाधिकार प्राप्त आंतरिक ज्ञान होता है, जो यह प्रकट करता है कि जबकि उच्च अंतर-मॉडल सहमति के कारण मानक बेंचमार्क पर स्व-प्रतिनिधित्व (सेल्फ-रिप्रजेंटेशन) कोई लाभ नहीं देते हैं, वे गणितीय तर्क के विपरीत, असहमति उपसमुच्चयों (डिसेग्रीमेंट सबसेट्स) पर मूल्यांकित किए जाने पर समकक्ष मॉडलों की तुलना में तथ्यात्मक कार्यों में एक डोमेन-विशिष्ट बढ़त प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि किसी छात्र का उत्तर सही है या नहीं। आपके पास इसे करने के दो तरीके हैं:
- बाहरी व्यक्ति (The Outsider): आप छात्र का लिखित उत्तर और स्वयं प्रश्न को देखते हैं।
- आंतरिक व्यक्ति (The Insider): आप छात्र के मस्तिष्क के भीतर (उनके छिपे हुए विचारों को) झाँकते हैं जब वे सोच रहे होते हैं।
लंबे समय तक, शोधकर्ता यह जानना चाहते थे: क्या छात्र के मस्तिष्क के भीतर कोई गुप्त "अंतर्ज्ञान" (gut feeling) है जो उन्हें बताता है कि वे सही हैं, जिसे एक बाहरी व्यक्ति नहीं देख सकता? इस गुप्त भावना को "विशेषाधिकार प्राप्त ज्ञान" (privileged knowledge) कहा जाता है।
यह शोध पत्र जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के AI मस्तिष्क हैं—के पास अपने ही उत्तरों के बारे में ऐसा कोई गुप्त आंतरिक ज्ञान होता है।
समस्या: "सहमति का मुखौटा" (The "Consensus Mask")
शोधकर्ताओं ने पिछले अध्ययनों में एक पेचीदा समस्या पाई। कल्पना कीजिए कि एक कक्षा है जहाँ 90% छात्र हर प्रश्न पर एक ही उत्तर देते हैं। यदि आप एक बाहरी व्यक्ति के रूप में यह अनुमान लगाने की कोशिश कर रहे हैं कि छात्र A सही है या नहीं, तो आप बस यह देख सकते हैं कि छात्र B ने क्या लिखा है। चूंकि वे अक्सर सहमत होते हैं, इसलिए आप छात्र A के परिणाम का अनुमान छात्र B के मस्तिष्क को देखकर लगा सकते हैं।
क्योंकि मॉडल अक्सर सहमत होते हैं, इसलिए "बाहरी" दृष्टिकोण "आंतरिक" दृष्टिकोण जितना ही प्रभावी दिखता है। ऐसा लग रहा था जैसे गुप्त आंतरिक संकेत सहमति द्वारा ढका गया (masked by consensus) था। शोधकर्ताओं ने महसूस किया कि यदि सभी सहमत हैं, तो आप यह नहीं बता सकते कि गुप्त संकेत वास्तव में मौजूद है या नहीं।
समाधान: "असहमति" परीक्षण (The "Disagreement" Test)
इसे ठीक करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण बनाया जिसमें केवल उन प्रश्नों का उपयोग किया गया जहाँ मॉडल असहमत थे।
- परिदृश्य: मॉडल A सोचता है कि उत्तर "हाँ" है। मॉडल B सोचता है कि उत्तर "नहीं" है।
- परीक्षण: इन पेचीदा मामलों में, मॉडल B का मस्तिष्क आपको मॉडल A के परिणाम का अनुमान लगाने में मदद नहीं कर सकता। यदि आप अभी भी मॉडल A के मस्तिष्क के भीतर झाँककर मॉडल A की शुद्धता का बेहतर अनुमान लगा सकते हैं, बजाय इसके कि आप मॉडल B के मस्तिष्क को देखें, तो इसका मतलब है कि मॉडल A के पास वास्तव में एक गुप्त आंतरिक संकेत है।
बड़ी खोज: यह विषय पर निर्भर करता है
जब उन्होंने यह "असहमति परीक्षण" चलाया, तो उन्हें दो प्रकार के कार्यों के बीच एक आश्चर्यजनक विभाजन मिला:
1. तथ्यात्मक ज्ञान (स्मृति का परीक्षण - The "Memory" Test)
- उदाहरण: "प्रथम राष्ट्रपति कौन थे?" या "फ्रांस की राजधानी क्या है?"
- परिणाम: हाँ, गुप्त संकेत मौजूद है।
- उपमा: इसे एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह समझें। जब एक लाइब्रेरियन शेल्फ से एक विशिष्ट पुस्तक निकालता है, तो उसके पास एक अनूठा, आंतरिक अहसास होता है कि "मैं इस तथ्य को जानता हूँ।" भले ही दूसरा लाइब्रेरियन असहमत हो, पहले लाइब्रेरियन की आंतरिक स्थिति एक विशेष संकेत देती है जो कहती है, "मैं इस विशिष्ट स्मृति को पुनः प्राप्त (retrieve) कर रहा हूँ।" शोधकर्ताओं ने पाया कि तथ्यों के लिए शुद्धता की भविष्यवाणी करने में AI के आंतरिक मस्तिष्क तरंगों ने एक स्पष्ट लाभ दिखाया, जिसे बाहरी व्यक्ति नहीं देख सकते थे।
2. गणितीय तर्क (तर्क का परीक्षण - The "Logic" Test)
- उदाहरण: एक जटिल बीजगणित (algebra) की समस्या हल करना या बचत खातों के बारे में एक वर्ड प्रॉब्लम।
- परिणाम: नहीं, गुप्त संकेत गायब है।
- उपमा: इसे एक मैकेनिक की तरह समझें जो कार ठीक कर रहा है। यदि दो मैकेनिक एक ही खराब इंजन को देखते हैं, तो कठिनाई इंजन की संरचना में है, न कि किसी गुप्त स्मृति में। AI के पास गणित के बारे में ऐसा कोई विशेष "मुझे पता है कि मैं सही हूँ" वाला अहसास नहीं है। जो सुराग बताते हैं कि गणित सही है या नहीं, वे सतह पर ही दिखाई देते हैं (प्रश्न और तर्क के चरणों के रूप में)। एक बाहरी व्यक्ति जो समस्या को देख रहा है, वह AI की सफलता का उतना ही सटीक अनुमान लगा सकता है जितना कि AI स्वयं।
गुप्त संकेत कहाँ छिपा होता है?
शोधकर्ताओं ने यह भी देखा कि AI के "मस्तिष्क" (इसके प्रोसेसिंग लेयर्स) में यह गुप्त संकेत कहाँ दिखाई देता है।
- तथ्यों के लिए: संकेत शुरुआती परतों (जहाँ AI शब्दों को पढ़ता है) में छोटा होता है और जैसे-जैसे जानकारी मस्तिष्क में गहराई तक जाती है, यह मजबूत होता जाता है। यह एक स्मृति पुनर्प्राप्ति प्रक्रिया की तरह है जो AI के सोचने के साथ विकसित होती है।
- गणित के लिए: संकेत कभी वास्तव में प्रकट नहीं होता। गणित की "कठिनाई" शुरुआत से लेकर अंत तक, हर स्तर पर दिखाई देती है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि AI मॉडल में विशेषाधिकार प्राप्त ज्ञान होता है, लेकिन केवल उन तथ्यों के लिए जिन्हें उन्होंने याद किया है। वे जानते हैं कि वे किसी स्मृति को याद कर रहे हैं। हालाँकि, वे गणित या तर्क के लिए इस गुप्त ज्ञान को नहीं रखते; उन मामलों में, उनका आत्मविश्वास दुनिया के लिए उतना ही दृश्यमान है जितना कि स्वयं के लिए।
पिछले अध्ययनों में यह इसलिए छूट गया क्योंकि मॉडल बहुत अधिक सहमत थे, जिससे "एक तथ्य को जानने" और "एक समस्या को हल करने" के बीच का अंतर छिप गया। केवल उन क्षणों को देखकर जहाँ वे असहमत थे, शोधकर्ताओं ने अंततः सच्चाई को उजागर कर दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।