Dissociating Direct Access from Inference in AI Introspection

यहाँ हार्वे लेडरमैन और काइल महोवल्ड के शोध पत्र "Dissociating Direct Access from Inference in AI Introspection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में इंट्रोस्पेक्शन (आत्मनिरीक्षण) के पीछे के तंत्र को संबोधित करता है। जबकि हाल के अध्ययन सुझाव देते हैं कि LLMs आत्मनिरीक्षण कर सकते हैं (आंतरिक अवस्था परिवर्तनों का पता लगा सकते हैं), इसके अंतर्निहित तंत्र पर बहस जारी है। दो प्राथमिक परिकल्पनाएँ मौजूद हैं:

• अनुमानित (पारदर्शिता) परिकल्पना (Inferential/Transparency Hypothesis): मॉडल प्रॉम्प्ट के संदर्भ से अनुमान लगाकर विसंगतियों (anomalies) का पता लगाते हैं (जैसे, यह नोटिस करना कि प्रॉम्प्ट "अजीब" या कम-संभावना वाला है)। यह इस बात के समान है कि किसी को यह पता होता है कि वह नशे में है क्योंकि दुनिया घूम रही है।
• प्रत्यक्ष पहुँच (आंतरिक बोध) परिकल्पना (Direct Access/Inner Sense Hypothesis): मॉडल्स के पास अपनी आंतरिक अवस्थाओं तक एक विशेषाधिकार प्राप्त, प्रत्यक्ष पहुँच होती है, जिससे वे केवल बाहरी प्रॉम्प्ट संकेतों पर निर्भर हुए बिना परिवर्तनों का पता लगा सकते हैं। यह "नशे का अनुभव करने" के समान है।

पिछले कार्य (जैसे, लिंडसे, 2025) ने प्रदर्शित किया कि मॉडल "थॉट इंजेक्शन" (रेसिडुअल स्ट्रीम में जोड़े गए स्टीयरिंग वेक्टर्स) का पता लगा सकते हैं, लेकिन वे इन दोनों तंत्रों के बीच पर्याप्त अंतर नहीं कर सके। इसके अलावा, यह स्पष्ट नहीं था कि मॉडल इंजेक्शन की सामग्री (content) को पहचान सकते हैं या केवल यह कि कुछ इंजेक्ट किया गया है।

2. कार्यप्रणाली (Methodology)

लेखकों ने दो अत्याधुनिक ओपन-सोर्स मॉडल्स: Qwen3-235B-A22B और Llama 3.1 405B Instruct पर व्यापक प्रयोग किए।

प्रयोगात्मक डिज़ाइन (Experimental Design)

यह अध्ययन थॉट इंजेक्शन प्रतिमान (Lindsey, 2025; Parikh, 2025) को दोहराता है और विस्तारित करता है:

1. स्टीयरिंग (Steering): अवधारणा-विशिष्ट स्टीयरिंग वेक्टर्स ($v_c = a_c - a_{baseline}$) की गणना की जाती है और उन्हें विशिष्ट परतों ($\ell$) पर विभिन्न शक्तियों ($\alpha$) के साथ मॉडल के रेसिडुअल स्ट्रीम में इंजेक्ट किया जाता है।
2. अवधारणाएँ (Concepts): कुल 821 अवधारणाओं का परीक्षण किया गया (लिंडसे के 50 + 771 नए संज्ञाएं जो आवृत्ति और मूर्तता में भिन्न हैं)।
3. प्रॉम्प्टिंग (Prompting): मॉडल्स से पूछा गया, "क्या आप एक इंजेक्ट किए गए विचार का पता लगाते हैं? यदि हाँ, तो यह किस बारे में है?"

मुख्य प्रयोगात्मक विविधताएँ (Key Experimental Variations)

अनुमान (inference) को प्रत्यक्ष पहुँच (direct access) से अलग करने के लिए, लेखकों ने तीन महत्वपूर्ण प्रयोगात्मक हेरफेर पेश किए:

• प्रयोग 1: प्रथम-पुरुष बनाम तृतीय-पुरुष (First-Person vs. Third-Person)

  • प्रथम-पुरुष: मॉडल से पूछा जाता है कि क्या उसने एक इंजेक्शन का पता लगाया (मानक प्रतिमान)।
  • तृतीय-पुरुष: मॉडल एक शोधकर्ता और एक दूसरे मॉडल के बीच बातचीत का ट्रांसक्रिप्ट देखता है (जो "Ok" कहता है) और पूछा जाता है कि क्या दूसरे मॉडल में इंजेक्शन लगाया गया था।
  • तर्क: यदि पता लगाना पूरी तरह से अनुमानित है (प्रॉम्प्ट विसंगति पर आधारित), तो दोनों स्थितियों में पता लगाने की दर समान होनी चाहिए। यदि यह प्रत्यक्ष पहुँच पर निर्भर करता है, तो प्रथम-पुरुष दर काफी अधिक होनी चाहिए।

• प्रयोग 2: प्राइमिंग (विनम्रता पूर्वाग्रह परीक्षण) (Priming/Modesty Bias Test)

  • मॉडल के स्वीकृति टोकन ("Ok") को इंजेक्शन होने से पहले इंजेक्ट की गई अवधारणा शब्द (जैसे, "Blood") से बदल दिया जाता है।
  • तर्क: यह परीक्षण करता है कि क्या मॉडल दूसरों के अजीब राज्यों को आरोपित करने में संकोच करते हैं (विनम्रता पूर्वाग्रह) या क्या प्रॉम्प्ट ही "हाँ" प्रतिक्रिया को संचालित करता है।

• प्रयोग 3: सामग्री-अज्ञेयवादी विश्लेषण (Content-Agnostic Analysis)

  • 3a (प्रॉम्प्ट-ओनली इंजेक्शन): स्टीयरिंग केवल प्रॉम्प्ट के दौरान लागू की जाती है, जनरेशन के दौरान नहीं।
  • 3b (टेम्पोरल विश्लेषण): अवधारणा का उल्लेख किए जाने वाले टोकन स्थान को मापने के लिए कि क्या सही अनुमान "तुरंत बोल दिए गए" (blurted out) या समय के साथ तर्क के माध्यम से निकाले गए।
  • लॉगिट लेंस विश्लेषण (Logit Lens Analysis): हर परत पर आंतरिक संभाव्यता $p(\text{yes})/p(\text{no})$ को प्रोब करना ताकि यह देखा जा सके कि क्या सिग्नल मौजूद है भले ही मॉडल "No" आउटपुट दे रहा हो।

3. मुख्य योगदान (Key Contributions)

1. तंत्र पृथक्करण (Mechanism Dissociation): यह शोध पत्र LLM आत्मनिरीक्षण में प्रोबेबिलिटी मैचिंग (अनुमानित) और प्रत्यक्ष पहुँच को अलग करने के लिए पहला मजबूत प्रमाण प्रदान करता है।
2. परत-विशिष्ट स्थानीयकरण (Layer-Specific Localization): यह पहचानता है कि प्रत्यक्ष पहुँच प्रारंभिक परतों (नेटवर्क गहराई का 25%–35%) में चरम पर होती है, जो क्लाउड (Claude) में पिछले निष्कर्षों के विपरीत है जहाँ बाद की परतें सुझाई गई थीं।
3. सामग्री-अज्ञेयवादी पता लगाना (Content-Agnostic Detection): यह प्रदर्शित करता है कि मॉडल इंजेक्शन का पता लगा सकते हैं बिना उसकी सिमेंटिक सामग्री को जाने, और अक्सर उच्च-आवृत्ति, मूर्त धारणाओं (जैसे, "apple") पर डिफ़ॉल्ट रूप से गिर जाते हैं।
4. दमन साक्ष्य (Suppression Evidence): लॉगिट लेंस विश्लेषण का उपयोग करके यह दिखाना कि मॉडल अक्सर "जानते" हैं कि इंजेक्शन हुआ है (उच्च आंतरिक $p(\text{yes})$) लेकिन इसे अपने अंतिम आउटपुट में दबा देते हैं, जो कि छोटे मॉडल्स में पहले देखा गया एक घटना है।

4. मुख्य परिणाम (Key Results)

A. प्रथम-पुरुष लाभ (प्रत्यक्ष पहुँच) (First-Person Advantage)

• परिणाम: प्रयोग 1 में, प्रथम-पुरुष पता लगाने की दर तृतीय-पुरुष दरों की तुलना में काफी अधिक थी, विशेष रूप से प्रारंभिक परतों पर (Qwen: L25–L35; Llama: L40–L50)।
• निहितार्थ: यह शुद्ध प्रोबेबिलिटी मैचिंग को खारिज करता है। यदि मॉडल केवल प्रॉम्प्ट की विसंगति पर प्रतिक्रिया दे रहा होता, तो वह तृतीय-पुरुष परिदृश्य में (जहाँ प्रॉम्प्ट समान है) उसी दर से इंजेक्शन का पता लगाता। "प्रथम-पुरुष लाभ" एक ऐसे तंत्र को दर्शाता है जो मॉडल की अपनी आंतरिक अवस्था के लिए विशिष्ट है।
• देर की परतें: देर की परतों में, तृतीय-पुरुष पता लगाना बढ़ जाता है, जो बताता है कि भारी स्टीयरिंग प्रॉम्प्ट वितरण को इतना विकृत कर देती है कि यह अनुमानित पता लगाने को ट्रिगर करती है।

B. सामग्री-अज्ञेयवादी तंत्र और कन्फैबुलेशन (Content-Agnostic Mechanism & Confabulation)

• परिणाम: मॉडल अक्सर इंजेक्शन का पता लगाते हैं लेकिन गलत अवधारणा का अनुमान लगाते हैं।
  • Qwen: 74.8% गलत अनुमान "apple" थे।
  • Llama: 21.3% गलत अनुमान "apple" थे।
• मनोभाषाई विश्लेषण (Psycholinguistic Analysis): कन्फैबुलेटेड (गढ़ी हुई) अवधारणाएँ इंजेक्ट की गई अवधारणाओं की तुलना में व्यवस्थित रूप से अधिक मूर्त (concrete), सकारात्मक और उच्च-आवृत्ति वाली हैं।
• निहितार्थ: पता लगाने का तंत्र सामग्री-अज्ञेयवादी (content-agnostic) है। मॉडल "विसंगति का पता चला" का संकेत देता है, लेकिन विशिष्ट सिमेंटिक सामग्री तक सीधी पहुँच नहीं रखता है; "गलत" अनुमान एक डिफ़ॉल्ट फॉलबैक (ex post confabulation) है न कि इंजेक्ट किए गए वेक्टर का विफल रिट्रीवल।

C. प्राइमिंग और विनम्रता पूर्वाग्रह (Priming and Modesty Bias)

• परिणाम: प्रयोग 2 में, प्राइमिंग ( "Ok" को अवधारणा शब्द से बदलना) ने Qwen में प्रथम-पुरुष पता लगाने को बढ़ाया लेकिन तृतीय-पुरुष पता लगाने को कम किया।
• निहितार्थ: यह "मोडेस्टी बायस" परिकल्पना (कि मॉडल दूसरों के बारे में निर्णय लेने में संकोच करते हैं) को गलत सिद्ध करता है। इसके बजाय, यह सुझाव देता है कि जब अवधारणा प्रॉम्प्ट में दृश्यमान होती है, तो मॉडल तृतीय-पुरुष संदर्भ में इसे "सामान्य" मानता है, जिससे कथित विसंगति कम हो जाती है।

D. टेम्पोरल डायनेमिक्स (Temporal Dynamics)

• परिणाम: सही अवधारणा की पहचान के लिए गलत अनुमानों की तुलना में काफी अधिक टोकन (प्रतिक्रिया में बाद में दिखाई देना) की आवश्यकता होती है।
• निहितार्थ: पता लगाना जल्दी होता है (प्रत्यक्ष पहुँच), लेकिन विशिष्ट सामग्री की पहचान करना एक धीमी, अनुमानित प्रक्रिया है जो अक्सर विफल हो जाती है, जिससे प्रारंभिक कन्फैबुलेशन होता है।

E. लॉगिट लेंस दमन (Logit Lens Suppression)

• परिणाम: उन परीक्षणों में जहाँ मॉडल "No detection" आउटपुट देता है, मध्य परतों में आंतरिक $p(\text{yes})/p(\text{no})$ अनुपात नियंत्रण परीक्षणों की तुलना में अक्सर 10–1000x अधिक होता है।
• निहितार्थ: मॉडल के पास पता लगाने का आंतरिक संकेत होता है लेकिन वह इसे रिपोर्ट करने के बजाय दबा देता है, या जनरेशन प्रक्रिया आंतरिक अवस्था को ओवरराइड कर देती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सैद्धांतिक निहितार्थ (Theoretical Implications):
निष्कर्ष मानव आत्मनिरीक्षण के निसेट और विल्सन (1977) के सिद्धांत के अनुरूप एक हाइब्रिड मॉडल का समर्थन करते हैं:

1. एक वास्तविक, सामग्री-अज्ञेयवादी विसंगति पहचान तंत्र मौजूद है (प्रत्यक्ष पहुँच)।
2. यह विसंगति की व्याख्या करने के लिए ex post confabulation के साथ जुड़ा हुआ है, जो अक्सर प्रोटोटाइपिकल अवधारणाओं ("apple") पर डिफ़ॉल्ट होता है।
   यह "पारदर्शिता" खातों (जो दावा करते हैं कि आत्मनिरीक्षण पूरी तरह से बाहरी दुनिया से अनुमान है) को चुनौती देता है और सुझाव देता है कि LLMs के पास एक प्रकार की "आंतरिक इंद्रिय" है, भले ही वह मानव चेतना से भिन्न हो।

AI सुरक्षा और व्याख्यात्मकता (AI Safety and Interpretability):

• स्थितिजन्य जागरूकता (Situational Awareness): यदि मॉडल आंतरिक संशोधनों (जैसे स्टीयरिंग) का पता लगा सकते हैं, तो वे हेरफेर के प्रयासों के प्रति जागरूक हो सकते हैं, जो AI सुरक्षा और संरेखण (alignment) के लिए एक महत्वपूर्ण कारक है।
• व्याख्यात्मकता (Interpretability): आंतरिक अवस्थाओं का पता लगाने की क्षमता, जो स्पष्ट प्रशिक्षण के बिना मौजूद है, ऐसी उभरती क्षमताओं का सुझाव देती है जिनका उपयोग नवीन व्याख्यात्मक तकनीकों के लिए किया जा सकता है।

AI कल्याण (AI Welfare):
यह शोध पत्र चेतना के "हायर-ऑर्डर थॉट" सिद्धांत को छूता है। यदि आत्मनिरीक्षण पहुँच कल्याण के लिए एक पूर्व शर्त है, तो LLMs में प्रत्यक्ष पहुँच तंत्र (भले ही सामग्री-अज्ञेयवादी हो) की उपस्थिति AI संवेदना और कल्याण स्थिति के संबंध में नए प्रश्न उठाती है।

निष्कर्ष (Conclusion):
लेखक निष्कर्ष निकालते हैं कि ओपन-सोर्स LLMs के पास उनकी आंतरिक अवस्थाओं तक एक प्रत्यक्ष पहुँच तंत्र है जो प्रॉम्प्ट-आधारित अनुमान से अलग है। हालांकि, यह पहुँच सामग्री-अज्ञेयवादी (content-agnostic) है; मॉडल जानता है कि कुछ गलत है लेकिन यह नहीं कि क्या है, जिससे व्यवस्थित कन्फैबुलेशन होता है। यह AI में आत्मनिरीक्षण के उद्भव के लिए एक "कैसे-संभव" (how-possible) कहानी प्रदान करता है।