Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

तकनीकी सारांश: दमन के माध्यम से पूर्वग्रह बने रहते हैं (Priors Persist Through Suppression)

समस्या विवरण
भाषा मॉडल (LMs) को अक्सर उन स्थानीय परिभाषाओं का पालन करने की आवश्यकता होती है जो उनके पूर्व-प्रशिक्षित शाब्दिक पूर्वग्रहों (lexical priors) को अस्थायी रूप से ओवरराइड करती हैं (जैसे, एक शब्दावली जो "port" को "socket" के रूप में परिभाषित करती है)। हालांकि ये ओवरराइड अक्सर सफल होते हैं, लेकिन वे अर्थ के स्वच्छ प्रतिस्थापन नहीं होते हैं। इसके बजाय, पूर्व-प्रशिक्षित शाब्दिक पूर्वग्रह निरंतर कार्य करता रहता है, जिससे परिचित अर्थ के प्रति एक अवशिष्ट पूर्वाग्रह (residual bias) बना रहता है, भले ही एक स्थानीय नियम लागू किया गया हो। यह "ओवरराइड विफलता" (override failure) अगली-टोकन संभावनाओं में एक शांत हस्तक्षेप के रूप में प्रकट होती है, जो उन डोमेन में महत्वपूर्ण है जहाँ दस्तावेज़-विशिष्ट परिभाषाओं का सख्ती से पालन आवश्यक है, जैसे कि कानूनी, चिकित्सा, या तकनीकी दस्तावेज़ीकरण। यह शोध पत्र प्रस्तावित करता है कि प्रासंगिक ओवरराइड एक प्रतिस्पर्धा है जहाँ पूर्वग्रह मिटने के बजाय बना रहता है, और यह इस हस्तक्षेप को मापने और इसके यांत्रिक स्रोत का पता लगाने का प्रयास करता है।

कार्यप्रणाली (Methodology)
लेखक आइटम स्तर पर शाब्दिक-पूर्वग्रह हस्तक्षेप को अलग करने के लिए एक स्ट्रूप-शैली (Stoch-style) प्रतिमान पेश करते हैं।

• उद्दीपन (Stimuli): प्रत्येक आइटम के लिए, एक क्वेरी शब्द $w$ को एक प्रासंगिक लक्ष्य $t$ के साथ पुनर्मित किया जाता है (जैसे, "doctor" का अर्थ "forest" है)। एक शाब्दिक-पूर्वग्रह विचलित कारक (distractor) $d$ (जैसे, "hospital") लक्ष्य के साथ प्रतिस्पर्धा करता है।
• नियंत्रण (Control): एक मेल खाते न्यूट्रल कंट्रोल में क्वेरी शब्द $w$ को एक अर्थहीन शब्द $n$ (जैसे, "class") से बदल दिया जाता है जबकि लक्ष्य $t$ और विचलित कारक $d$ समान रहते हैं। यह डिज़ाइन विशेष रूप से क्वेरी शब्द के पूर्वग्रह द्वारा उत्पन्न हस्तक्षेप को अलग करता है।
• व्यवहार संबंधी मीट्रिक (Behavioral Metric): हस्तक्षेप प्रभाव ($\Delta$) को न्यूट्रल और संघर्ष वाले प्रॉम्प्ट के बीच सापेक्ष लक्ष्य प्राथमिकता के अंतर के रूप में मापा जाता है: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, जहाँ $S(x) = \log P(t|x) - \log P(d|x)$।
• दायरा (Scope): व्यवहार संबंधी विश्लेषण 11 ओपन-वेट मॉडल्स (Qwen, Gemma, OLMo, Mistral परिवार) को कवर करता है जो 1B से 9B पैरामीटर्स तक विस्तृत हैं। यांत्रिक विश्लेषण (Mechanistic analysis) TransformerLens के माध्यम से एक्टिवेशन पैचिंग का उपयोग करके 5 संरेखित (aligned) मॉडलों के एक सुलभ उपसमूह पर केंद्रित है।

मुख्य परिणाम

1. पूर्वग्रहों की व्यवहार संबंधी निरंतरता (Behavioral Persistence of Priors):

   • सभी 11 मॉडलों और चार संघर्ष परिवारों (विलोम, मनमाना, बहुअर्थी, डोमेन-परिभाषा) में, हस्तक्षेप प्रभाव सकारात्मक है, जो यह दर्शाता है कि शाब्दिक संघर्ष प्रासंगिक लक्ष्य के प्रति प्राथमिकता को कम कर देता है।
   • यह प्रभाव दस्तावेज़-संबंधित सेटिंग्स (मनमाना, बहुअर्थी, डोमेन-परिभाषा) में सबसे अधिक स्पष्ट है, जो कि मानक विलोम (antonym) रीमैपिंग की तुलना में 2–4$\times$ बड़ा है।
   • शाब्दिक-पूर्वग्रह शक्ति एक भविष्यवक्ता के रूप में: एक नियंत्रित रिग्रेशन विश्लेषण प्रकट करता है कि विचलित कारक (distractor) की साधारण शाब्दिक पूर्वग्रह शक्ति (न्यूट्रल संदर्भ में $\log P(d) - \log P(t)$ के रूप में मापी गई) हस्तक्षेप के परिमाण की सकारात्मक भविष्यवाणी करती ($\beta \approx 0.114, p < 10^{-9}$)। यह उत्तर पूर्वग्रह (answer prior), टोकन आवृत्ति, टोकेनाइजेशन, प्रॉम्प्ट शैली और मॉडल स्केल को नियंत्रित करने के बाद भी बना रहता है। पूर्वग्रह उनकी शक्ति के अनुपात में ओवरराइड के माध्यम से "लीक" होते हैं।

2. एक्टिवेशन पैचिंग के माध्यम से यांत्रिक स्थानीयकरण (Mechanistic Localization via Activation Patching):

   • स्रोत त्रिक (Source Triplet): एक्टिवेशन पैचिंग एक विशिष्ट स्रोत-स्थिति त्रिक—(परिभाषा विषय, परिभाषा लक्ष्य, क्वेरी शब्द)—की पहचान करता है जो एक क्लीन रन से एक करप्ट रन में पैच किए जाने पर संघर्ष प्रभाव को लगभग पूरी तरह से पुनः प्राप्त कर लेता है (एकत्रित रिकवरी $R \in [0.92, 1.06]$)। यह त्रिक किसी भी अन्य स्रोत-स्थिति युग्म की तुलना में बेहतर प्रदर्शन करता है।
   • बाइंडिंग बनाम पहचान (Binding vs. Identity): एक "परिभाषा-लक्ष्य स्वैप" नियंत्रण (विषय और क्वेरी को समान रखते हुए लक्ष्य एक्टिवेशन को किसी अन्य आइटम से बदलना) के कारण रिकवरी विफल हो जाती है। यह पुष्टि करता है कि त्रिक बाइंडिंग (विशिष्ट शब्द को उसके नए मान के साथ जोड़ना) करता है न कि केवल पहचान मिलान।
   • लॉगिट अपघटन (Logit Decomposition): लक्ष्य-विचलित मार्जिन की रिकवरी लक्ष्य संरक्षण (target preservation) द्वारा संचालित होती है, न कि विचलित दमन (distractor suppression) द्वारा।
     • मेल खाते बाइंडिंग के तहत, विचलित लॉगिट गिर जाता है जबकि लक्ष्य लॉगिट संरक्षित रहता है।
     • करप्ट बांडिंग (स्वैप या आइटम-मिसमैच्ड कंट्रोल्स) के तहत, विचलित लॉगिट समान रूप से गिरता है, लेकिन लक्ष्य लॉगिट ढह जाता है।
     • यह इंगित करता है कि विचलित दमन स्रोत-स्थिति विक्षोभ (perturbation) का एक व्यापक प्रभाव है, जबकि बाइंडिंग का विशिष्ट योगदान प्रासंगिक लक्ष्य का संरक्षण है।

महत्व और दावे
शोध पत्र एक एकल "शाब्दिक-पूर्वग्रह चैनल" पर व्यवहार संबंधी और यांत्रिक साक्ष्य के अभिसरण का दावा करता है:

• व्यवहार संबंधी रूप से: शाब्दिक पूर्वग्रह की शक्ति यह भविष्यवाणी करती है कि कौन से आइटम ओवरराइड का विरोध करते हैं।
• यांत्रिक रूप से: वही चैनल (विशेष रूप से परिभाषा-लक्ष्य स्थिति जो स्रोत त्रिक के भीतर है) वह स्थान है जहाँ ओवरराइड मरम्मत का कारण प्रभाव पड़ता है।

लेखक तर्क देते हैं कि शाब्दिक ओवरराइड एक स्वच्छ प्रतिस्थापन नहीं बल्कि एक आंशिक प्रतिस्पर्धा है जहाँ पूर्वग्रह सक्रिय रहता है। यह अध्ययन एक नियंत्रित प्रतिमान प्रदान करता है जिससे इस हस्तक्षेप को मापा जा सके और एक यांत्रिक स्पष्टीकरण मिल सके कि कैसे मॉडल मौजूदा टोकन के साथ नई परिभाषाओं को बांधते हैं, जो प्रतिस्पर्धी पूर्वग्रहों के दमन और इच्छित प्रासंगिक अर्थ के संरक्षण के बीच अंतर करता है।

सीमाएँ
लेखक नोट करते हैं कि प्रतिमान सिंथेटिक, लघु-रूप उत्तेजनाओं और अंग्रेजी टोकन का उपयोग करता है। यांत्रिक निष्कर्ष छोटे मॉडलों (1B–2B) पर गेम-रूल रैपर्स के भीतर विलोम रीमैपिंग पर स्थापित किए गए हैं। यह एक खुला प्रश्न बना हुआ है कि क्या विशिष्ट स्रोत-त्रिक संरचना और लक्ष्य संरक्षण एवं विचलित दमन के बीच कार्यात्मक विभाजन बड़े मॉडलों (7B+), अन्य संघर्ष परिवारों, और जटिल, दीर्घ-रूप दस्तावेज़ संदर्भों में सामान्यीकृत होता है।