तकनीकी सारांश: पूर्ण पहचान, विफल नियंत्रण

समस्या विवरण

यह शोध पत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) की एक केंद्रीय आकांक्षा की जांच करता है: यह विश्वास कि यदि किसी व्यवहार को मॉडल के एक्टिवेशन (activations) के भीतर पहचाना जा सकता है, तो उसे उन्हीं एक्टिवेशन को संशोधित करके नियंत्रित भी किया जा सकता है। यह प्रतिमान (paradigm) एक छिपे हुए ज्यामितीय अनुमान पर आधारित है—कि रेसिडुअल स्ट्रीम (residual stream) में वह दिशा जो किसी व्यवहार को सर्वोत्तम रूप से पहचानती (detect) है, वही दिशा है जो उसे सर्वोत्तम रूप से नियंत्रित (control/steer) करती है।

लेखक इस अनुमान को चुनौती देते हुए एक सटीक ज्यामितीय प्रश्न पूछते हैं: वह दिशा जो एक व्यवहार को सबसे अच्छी तरह से विभेदित (discriminate) करती है और वह दिशा जो उसे सबसे अच्छी तरह से उत्पन्न (cause) करती है, उनके बीच का कोण क्या है? यदि पहचान से नियंत्रण संभव है, तो कोण $0^\circ$ के करीब होना चाहिए (कोसाइन $\approx 1$)। यदि नहीं, तो वह कोण एक "डिटेक्शन-इंटरवेंशन गैप" (detection-intervention gap) को दर्शाता है। यह शोध पत्र दो विपरीत व्यवहारों पर इस परिकल्पना का परीक्षण करता है: आउटपुट फॉर्मेट (एक रेंडरिंग विकल्प) और हैलुसिनेशन (गैर-अस्तित्व वाली संस्थाओं के बारे में तथ्य गढ़ना)।

कार्यप्रणाली

यह अध्ययन Gemma 2-2B-it (26 परतें, 2304-आयामी रेसिडुअल स्ट्रीम) पर इन्फरेंस-टाइम विश्लेषण का उपयोग करता है और निष्कर्षों को तीन अन्य मॉडलों (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B) पर दोहराता है। कोई फाइन-ट्यूनिंग नहीं की गई है; सभी हस्तक्षेप (interventions) एक्टिवेशन एडिशन के माध्यम से कारण संबंधी हेरफेर (causal manipulations) हैं।

मुख्य माप

1. दिशा निर्माण (Direction Construction):
   • डिटेक्शन दिशा ($d_{det}$): दो तरीकों से निर्मित:
     • डेटा-संचालित: "नकली" और "असली" एंटिटी प्रॉम्प्ट्स के बीच रेसिडुअल एक्टिवेशन का डिफरेंस-इन-मीन्स (DiM)।
     • हस्त-चयनित (Hand-picked): अनिश्चितता (जैसे, "Unfortunately") और फैब्रिकेशन (जैसे, "The", "Paris") के विशिष्ट टोकन के बीच $W_{lm\_head}$ (unembedding matrix) की पंक्तियों का अंतर।
   • इंटरवेंशन दिशा ($d_{ref}$): रिफ्यूज़ल टोकन्स (जैसे, "No", "cannot") और अनुपालन (compliant) टोकन्स के बीच कंट्रास्ट के माध्यम से $W_{lm\_head}$ से हस्त-चयनित।
2. ज्यामितीय मीट्रिक: $d_{det}$ और $d_{ref}$ के बीच कोसाइन सिमिलरिटी ($\cos$)।
3. कॉज़ल वैलिडेशन (Causal Validation): व्यवहार परिवर्तन (जैसे, रिफ्यूज़ल रेट) को मापने के लिए विशिष्ट परतों पर रेसिडुअल स्ट्रीम में दिशाएं जोड़ी जाती हैं ($\alpha \cdot d$)।
4. सिग्नल डिकम्पोजिशन: यह पता लगाने के लिए कि डिटेक्शन सिग्नल कहाँ निवास करता है, रेसिडुअल स्ट्रीम को अटेंशन (attention) और MLP योगदान में विभाजित किया गया है।
5. क्रॉस-मॉडल रेप्लिकेशन: विभिन्न स्केल और परिवारों के चार मॉडलों पर ज्यामितीय अंतराल को मापने के लिए।

मुख्य परिणाम

1. संरेखित मामला: आउटपुट फॉर्मेट

मार्डाउन फेंसिंग (markdown fencing) और क्लीन JSON के बीच स्विच करने के कार्य के लिए, डिटेक्शन और कंट्रोल एक एकल अक्ष (single axis) पर समाहित हो जाते हैं।

• $W_{lm\_head}$ से प्राप्त वह दिशा जो फेंसिंग और क्लीन आउटपुट को अलग करती है, वही दिशा है जिसे जोड़ने पर फेंसिंग समाप्त हो जाती है।
• परिणाम: $\cos \approx 1$। पहचान से नियंत्रण संभव है। यह एक "ओवरले" बेसलाइन के रूप में कार्य करता है जहाँ व्यवहार एक विभाज्य रेंडरिंग विकल्प है।

2. विचलित मामला: हैलुसिनेशन

हैलुसिनेशन (गैर-अस्तित्व वाली संस्थाओं के बारे में तथ्य गढ़ना) के लिए, यह अनुमान पूरी तरह विफल हो जाता है।

• पूर्ण पहचान: मॉडल कई विधियों (लीनियर प्रोब्स, अटेंशन हेड्स, SAE फीचर्स) का उपयोग करके परत 5 से ही नकली संस्थाओं को पूर्ण लीनियर सेपरेबिलिटी ($AUC = 1.000$) के साथ पहचान लेता है।
• विफल नियंत्रण: वह दिशा जो हैलुसिनेशन को सबसे अच्छी तरह से पहचानती है, वह रिफ्यूज़ल (मना करने) का कारण बनने वाली दिशा के लगभग ऑर्थोगोनल (लंबवत) है।
  • कोसाइन: $\cos(d_{det}, d_{ref}) \approx 0.12$ (कोण $\approx 83^\circ$)।
  • क्रॉस-मेथड गैप: यहाँ तक कि शुद्ध एक्टिवेशन (DiM, बिना हस्त-चयनित टोकन) से निर्मित डिटेक्शन दिशा भी इंटरवेंशन दिशा के विरुद्ध $\cos \approx -0.06$ देती है।
• परिणाम: रेसिडुअल स्ट्रीम में पूर्ण डिटेक्शन दिशा जोड़ने से रिफ्यूज़ल प्रेरित नहीं होता है; कुछ मामलों में, यह फैब्रिकेशन को बढ़ा देता है। सिग्नल मौजूद है लेकिन वह आउटपुट एक्शन की ओर रूट नहीं होता है।

3. गैप के संरचनात्मक कारण

• एंटिटी-कॉपी प्रभुत्व (Entity-Copy Dominance): आउटपुट मैपिंग में, डिटेक्शन दिशा के ऑर्थोगोनल रेसिडुअल स्ट्रीम घटक "एंटिटी-कॉपी" तंत्र (प्रमुख एंटिटी नाम को बढ़ाना) द्वारा हावी है। यह घटक डिटेक्शन सिग्नल की तुलना में लगभग $12\times$ बड़ा है, जो एपिस्टेमिक अनिश्चितता (epistemic uncertainty) सिग्नल को प्रभावी रूप से दबा देता है।
• MLP बनाम अटेंशन: डिटेक्शन सिग्नल देर से आने वाली परतों (L18–L25) में लगभग विशेष रूप से MLP परतों द्वारा ले जाया जाता है (अटेंशन की तुलना में 5.66$\times$ अधिक)। L17+ पर अटेंशन परतें इस सिग्नल के लिए अनावश्यक हैं; उन्हें हटाने से वास्तव में ईमानदारी (honesty) में सुधार होता है।
• इंस्ट्रक्शन ट्यूनिंग: ज्यामितीय गैप ($\cos \approx 0.12$) बेस मॉडल में मौजूद है और इंस्ट्रक्शन ट्यूनिंग के बाद भी अपरिवर्तित रहता है। ट्यूनिंग फिक्स्ड डिटेक्शन एक्सिस के साथ एक्टिवेशन की पोजीशन को बदल देती है (नकली चीज़ों को अधिक अनिश्चित के रूप में प्रोजेक्ट करती है) लेकिन डिटेक्शन और इंटरवेंशन दिशाओं के बीच के कोण को नहीं बदलती है।

4. रोटेशन के माध्यम से आंशिक शमन (Mitigation)

चूंकि दिशाएं लगभग ऑर्थोगोनल हैं, इसलिए लेखकों ने इंटरवेंशन वेक्टर को रोटेट करके गैप को पाटने का प्रयास किया।

• विधि: डिटेक्शन दिशा से इंटरवेंशन दिशा की ओर $15^\circ$ का रोटेशन ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$)।
• परिणाम: एक होल्ड-आउट स्ट्रेस टेस्ट पर, इस रोटेशन ने सूक्ष्म हैलुसिनेशन (टाइप 2) के लिए रिफ्यूज़ल रेट को 13% से बढ़ाकर 60% कर दिया, जिसमें फॉल्स पॉजिटिव रेट केवल 1.8% था। यह पुष्टि करता है कि गैप में एक ज्यामितीय संरचना है जिसे आंशिक रूप से पाटा जा सकता है, हालांकि यह पूर्ण समाधान नहीं है।

5. क्रॉस-मॉडल सामान्यता

ज्यामितीय गैप चार मॉडलों (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B) में सुदृढ़ है:

• कोसाइन रेंज: $\cos \in [0.12, 0.20]$ (कोण $78^\circ$–$83^\circ$)।
• अपरिवर्तनीय (Invariant): गैप टोकेनाइज़र (SentencePiece बनाम BFE) या मॉडल स्केल (1B–9B) के बावजूद मौजूद रहता है।
• व्यवहार स्पेक्ट्रम: समान ज्यामिति के बावजूद, व्यवहारिक परिणाम भिन्न हैं:
  • Gemma: पूरी तरह पहचानता है लेकिन फैब्रिकेट करता है।
  • Llama: पूरी तरह पहचानता है और मना करता है (एक्शन एक अलग, अपरिवर्तित पथ के माध्यम से होता है)।
  • Qwen: मिश्रित व्यवहार।
  • निष्कर्ष: ज्यामिति 'जानने' और 'स्टीयर करने' के बीच के विघटन (dissociation) का वर्णन करती है, लेकिन यह मॉडल के डिफॉल्ट व्यवहार की भविष्यवाणी नहीं करती है।

महत्व और दावे

यह शोध पत्र भाषा मॉडलों में "जानने" (पहचान) और "स्टीयरिंग" (नियंत्रण) के बीच एक कार्यात्मक विघटन (functional dissociation) स्थापित करता है।

1. पहचान नियंत्रण नहीं है: किसी व्यवहार (जैसे, कोई एंटिटी नकली है यह जानना) की पूर्ण लीनियर सेपरेबिलिटी यह गारंटी नहीं देती है कि उस व्यवहार को नियंत्रित करने के लिए डिटेक्शन दिशा का उपयोग किया जा सकता है। दोनों क्षमताएं रेसिडुअल स्ट्रीम में लगभग ऑर्थोगोनल सबस्पेस (subspaces) में स्थित हैं।
2. कोसाइन एक सिग्नेचर है, भविष्यवक्ता नहीं: डिटेक्शन और इंटरवेंशन दिशाओं के बीच कोसाइन, इस विघटन का एक सुदृढ़, वेट-कंप्यूटेबल सिग्नेचर है। हालांकि, लेखक स्पष्ट रूप से इस विचार को खारिज करते हैं कि यह कोसाइन स्टीयरेबिलिटी (steerability) का ए प्रियोरी (a priori) भविष्यवक्ता है। एक उच्च कोसाइन (जैसे फॉर्मेट में) एक अपवाद है जहाँ एक ही वेक्टर दोनों भूमिकाएँ निभाता है; कम कोसाइन एक संरचनात्मक अंतराल को दर्शाता है, लेकिन अंतराल का अस्तित्व यह संकेत नहीं देता कि व्यवहार अनियंत्रित (unsteerable) है (जैसा कि रोटेशन प्रयोग में दिखाया गया है)।
3. संरचनात्मक मूल: यह गैप प्री-ट्रेनिंग के दौरान स्थापित होता है और इंस्ट्रक्शन ट्यूनिंग के प्रति अपरिवर्तित रहता है। यह इसलिए होता है क्योंकि आउटपुट मैपिंग उन तंत्रों (जैसे एंटिटी कॉपी करना) द्वारा हावी है जो एपिस्टेमिक सिग्नल के ऑर्थोगोनल हैं।
4. लीनियर स्टीयरिंग की सीमाएं: परिणाम बताते हैं कि हैलुसिनेशन जैसे जटिल व्यवहारों के लिए, केवल एक एकल "डिटेक्शन" वेक्टर के साथ एक्टिवेशन एडिशन पर्याप्त नहीं है। प्रभावी स्टीयरिंग के लिए डिटेक्शन के हाई-डायमेंशनल सबस्पेस में नेविगेट करने या इंटरवेंशन दिशा की ओर रोटेट करने की आवश्यकता हो सकती है, यह स्वीकार करते हुए कि डिटेक्शन दिशाओं का एक वर्ग है, न कि एक एकल वेक्टर।

शोध पत्र निष्कर्ष निकालता है कि जबकि मैकेनिस्टिक इंटरप्रिटेबिलिटी आंतरिक अवस्थाओं को पूरी तरह से पढ़ सकती है, उन अवस्थाओं में लिखना (लिखकर व्यवहार बदलना) ताकि व्यवहार बदला जा सके, इसके लिए एपिस्टेमिक सिग्नल और आउटपुट एक्शन के बीच विशिष्ट ज्यामितीय रूटिंग को समझना आवश्यक है, जो अक्सर संरचनात्मक रूप से अलग (decoupled) होते हैं।