तकनीकी सारांश: क्या लार्ज लैंग्वेज मॉडल्स उत्तर की स्थिति की योजना बनाते हैं?

समस्या विवरण

शैक्षिक मूल्यांकन, पठन बोध और विजुअल क्वेश्चन अनस्विंग (visual question answering) के लिए मल्टीपल-चॉइस क्वेश्चन (MCQs) उत्पन्न करने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) और विजन-लैंग्वेज मॉडल्स (VLMs) का तेजी से उपयोग किया जा रहा है। आदर्श रूप से, उत्पन्न MCQs में सही उत्तर विकल्पों (A, B, C, D) में समान रूप से वितरित होने चाहिए ताकि निष्पक्ष मूल्यांकन सुनिश्चित हो सके। हालांकि, अनुभवजन्य अवलोकन संकेत देते हैं कि ये मॉडल व्यवस्थित पोजीशनल बायस (स्थिति पूर्वाग्रह) प्रदर्शित करते हैं, जो विशिष्ट उत्तर स्थितियों (जैसे, विकल्प A की ओर "प्राइमेसी बायस" या B/C की ओर "सेंटर बायस") को असमान रूप से प्राथमिकता देते हैं।

जबकि पूर्व शोध ने स्थापित किया है कि LLMs इन्फरेंस चरण के दौरान चयन पूर्वाग्रह (selection bias) से ग्रस्त होते हैं (उत्तर देते समय विशिष्ट विकल्प पहचानकर्ताओं को प्राथमिकता देना), यह स्पष्ट नहीं है कि क्या इसी तरह के पूर्वाग्रह स्वयं जेनरेशन (उत्पत्ति) प्रक्रिया के दौरान भी उत्पन्न होते हैं। विशेष रूप से, यह अज्ञात है कि क्या LLMs द्वारा MCQs के निर्माण के दौरान सुसंगत पोजीशनल प्राथमिकताएं दिखाई देती हैं और क्या ये प्राथमिकताएं आंतरिक प्रतिनिधित्वों (internal representations) द्वारा संचालित होती हैं जो विकल्पों को उत्पन्न करने से पहले विकल्प की स्थिति को स्पष्ट रूप से "योजनाबद्ध" (plan) करते हैं।

कार्यप्रणाली (Methodology)

लेखक स्थिति पूर्वाग्रह, इसके अंतर्निहित तंत्र और संभावित नियंत्रणीयता की जांच करने के लिए तीन घटकों वाला एक ढांचा प्रस्तावित करते हैं:

1. नियंत्रित MCQ जेनरेशन कार्य:
   अध्ययन तीन अलग-अलग जेनरेशन परिदृश्यों में 10 LLMs और 5 VLMs का मूल्यांकन करता है:

   • ज्ञान-आधारित MCQ (K-MCQ): पांच विषयों (गणित, रसायन विज्ञान, इतिहास, भूगोल, जीव विज्ञान) में प्रश्न उत्पन्न करना।
   • पठन बोध MCQ (RC-MCQ): समाचार लेखों के आधार पर प्रश्न उत्पन्न करना।
   • विजन-लैंग्वेज MCQ (VL-MCQ): COCO डेटासेट के विवरण से प्राप्त अमूर्त छवियों के आधार पर प्रश्न उत्पन्न करना।
     लेखक आउटपुट फॉर्मेट (विकल्प A–D) को मानकीकृत करते हैं और सही उत्तर को स्पष्ट रूप से निर्दिष्ट करते हैं ताकि देखा गया पूर्वाग्रह कार्य-संबंधी कलाकृतियों (task artifacts) के बजाय मॉडल से उत्पन्न हो।

2. निहित योजना (Implicit Planning) के लिए प्रोबिंग:
   यह निर्धारित करने के लिए कि क्या उत्तर की स्थिति जेनरेशन के दौरान एनकोड की जाती है, लेखक प्रश्न स्टेम (question stem) के टोकन-लेवल हिडन रिप्रेजेंटेशन पर हल्के क्लासिफायर (MLP प्रोब्स) को प्रशिक्षित करते हैं। लक्ष्य विकल्पों को उत्पन्न करने से पहले, प्रश्न स्टेम के हिडन स्टेट्स ($H^{(l)}_x$) से अंततः सही उत्तर की स्थिति ($y \in \{1, \dots, K\}$) की भविष्यवाणी करना है। यह इस परिकल्पना का परीक्षण करता है कि मॉडल एक निहित फॉरवर्ड प्लानिंग (implicit forward planning) करता है।

3. एक्टिवेशन स्टीयरिंग (हस्तक्षेप):
   आंतरिक प्रतिनिधित्व और उत्तर की स्थिति के बीच एक कारण संबंध (causal link) स्थापित करने के लिए, लेखक डिकोडिंग के समय एक्टिवेशन स्टीयरिंग लागू करते हैं। वे दो विधियों का उपयोग करके स्टीयरिंग वेक्टर्स का निर्माण करते हैं:

   • मीन-डिफरेंस (Mean-Difference): एक स्रोत स्थिति (जैसे, A) और एक लक्ष्य स्थिति (जैसे, B) से जुड़े औसत हिडन स्टेट्स के बीच वेक्टर अंतर की गणना करना।
   • क्लासिफायर-आधारित (Classifier-Based): स्रोत और लक्ष्य स्थितियों के बीच अंतर करने के लिए प्रशिक्षित लॉजिस्टिक रिग्रेशन क्लासिफायर के वेट वेक्टर का उपयोग करना।
     इन वेक्टर्स को विशिष्ट लेयर्स और टोकन पोजीशन (जैसे, स्टेम का पेनल्टीमेट टोकन) पर हिडन स्टेट्स में जोड़ा जाता है ताकि जेनरेशन ट्रेजेक्टरी को मैनिपुलेट किया जा सके।

मुख्य परिणाम

1. व्यवस्थित पोजीशनल बायस (Systematic Position Bias)

तीनों कार्यों और विविध मॉडल परिवारों (Llama, Qwen, DeepSeek, और Gemini सहित) में, मॉडल एक संरचित स्थिति पूर्वाग्रह प्रदर्शित करते हैं।

• मॉडल-विशिष्ट पैटर्न: Llama मॉडल लगातार विकल्प "A" (प्राइमेसी बायस) को प्राथमिकता देते हैं, जबकि Qwen और DeepSeek वेरिएंट अक्सर "B" को पसंद करते हैं, और Gemini मॉडल "B" और "C" की ओर झुकाव दिखाते हैं।
• अल्प-प्रतिनिधित्व (Underrepresentation): लगभग सभी मॉडल्स में विकल्प "D" व्यवस्थित रूप से कम प्रतिनिधित्व वाला है।
• पहचानकर्ता का प्रभाव: स्पष्ट विकल्प पहचानकर्ताओं (A/B/C/D) को हटाने से पूर्वाग्रह समाप्त नहीं होता है; इसके बजाय, यह अक्सर पहले स्थान के प्रति प्राथमिकता को बढ़ा देता है, जिससे पता चलता है कि जबकि पहचानकर्ता संकेत प्रदान करते हैं, पूर्वाग्रह आंतरिक क्रम वरीयताओं (intrinsic ordering preferences) द्वारा भी संचालित होता है।

2. निहित योजना का प्रमाण (Evidence of Implicit Planning)

प्रोबिंग प्रयोगों से पता चलता है कि प्रश्न स्टेम के हिडंड रिप्रेजेंटेशन, सही उत्तर की स्थिति के भविष्य कहनेवाला संकेतों (predictive signals) को एनकोड करते हैं।

• पूर्वानुमान क्षमता (Predictability): स्टेम रिप्रेजेंटेशन पर प्रशिक्षित क्लासिफायर रैंडम और मेजॉरिटी बेसलाइन्स से काफी ऊपर मैक्रो-F1 स्कोर प्राप्त करते हैं, जो यह दर्शाता है कि उत्तर की स्थिति की जानकारी जेनरेशन प्रक्रिया के शुरुआती चरणों में ही एनकोड हो जाती है।
• लेयर-वाइज इमर्जेंस: भविष्य कहनेवाला संकेत अंतिम लेयर्स तक सीमित होने के बजाय कई लेयर्स में वितरित होते हैं। कुछ मॉडल्स (जैसे, Qwen3-30B-Thinking) में, मध्यवर्ती लेयर्स (24–36) में मजबूत संकेत उभरते हैं।
• टोकन पोजीशन: भविष्य कहनेवाला प्रदर्शन आमतौर पर स्टेम के बाद के टोकन के लिए अधिक होता है, विशेष रूप से अंतिम टोकन के लिए, जो यह सुझाव देता है कि जैसे-जैसे कॉन्टेक्स्टल इंटीग्रेशन गहरा होता है, पोजीशनल जानकारी अधिक सुलभ हो जाती है।

3. एक्टिवेशन स्टीयरिंग के माध्यम से नियंत्रणशीलता (Controllability)

हस्तक्षेप प्रयोगों से सिद्ध होता है कि उत्तर की स्थितियों को कारणवश मैनिपुलेट किया जा सकता है।

• प्रभावशीलता: एक स्रोत स्थिति (A) से लक्ष्य स्थिति (B) की ओर हिडन स्टेट्स को स्टीयर करना उत्पन्न उत्तरों के वितरण को सफलतापूर्वक बदल देता है।
• इष्टतम इंजेक्शन (Optimal Injection): प्रश्न स्टेम के पेनल्टीमेट टोकन (अंतिम से पहले वाला टोकन) पर किए गए हस्तक्षेप, अंतिम टोकन (जो अक्सर एक विराम चिह्न होता है) की तुलना में अधिक मजबूत और स्थिर प्रभाव देते हैं।
• लेयर सेंसिटिविटी: मीन-डिफरेंस विधि मध्यवर्ती लेयर्स (जैसे, लेयर्स 11–15) में चरम प्रभावशीलता दिखाती है, जो 22% से अधिक का बदलाव (A→B) प्राप्त करती है।
• ट्रेड-ऑफ (समझौता): जबकि स्टीयरिंग लक्ष्य स्थिति को बदल सकती है, यह एक ट्रेड-ऑफ भी लाती है। हस्तक्षेपों से "ऑफ-टारगेट" शिफ्ट (जैसे, A→C/D) हो सकते हैं, और कुछ मामलों में 'सिमेंटिक ड्रिफ्ट' (अर्थ संबंधी विचलन) भी हो सकता है जहाँ नए स्थान को समायोजित करने के लिए प्रश्न के अर्थ या विकल्प स्पेस में परिवर्तन हो जाता है।

4. शमन रणनीतियाँ (Mitigation Strategies)

• प्रॉम्प्टिंग: सही उत्तरों के वितरण को "संतुलित" करने के निर्देश देने से पूर्वाग्रह कम होता है, विशेष रूप से बड़े या रीजनिंग-ओरिएंटेड मॉडल्स (जैसे, DeepSeek-Reasoner, Gemini-3-Pro) में। हालांकि, छोटे मॉडल्स इन वैश्विक वितरण संबंधी बाधाओं का पालन करने में संघर्ष करते हैं, और पूर्वाग्रह पूरी तरह से समाप्त नहीं होता है।

महत्व और दावे

यह पेपर LLMs में निहित पोजीशनल प्लानिंग (implicit positional planning) का अध्ययन करने के लिए एक व्यावहारिक ढांचे के रूप में दावा करता है। इसके प्राथमिक योगदान हैं:

1. अनुभवजन्य साक्ष्य: यह प्रदर्शित करना कि MCQ जेनरेशन में पोजीशनल बायस व्यवस्थित, मॉडल-विशिष्ट है, और स्पष्ट विकल्प पहचानकर्ताओं के बिना भी बना रहता है।
2. मैकेनिस्टिक अंतर्दृष्टि: यह प्रमाण प्रदान करना कि उत्तर की स्थितियाँ केवल आकस्मिक नहीं हैं, बल्कि संभवतः मॉडल के हिडन रिप्रेजेंटेशन में एनकोड की गई एक निहित नियोजन रणनीति का हिस्सा हैं। प्रश्न स्टेम से उत्तर की स्थिति की भविष्यवाणी करने की क्षमता यह बताती है कि मॉडल विकल्पों को उत्पन्न करने से पहले स्थिति का "निर्णय" लेता है।
3. कारण हेरफेर (Causal Manipulation): यह स्थापित करना कि आंतरिक प्रतिनिधित्व को उत्तर की स्थिति को प्रभावित करने के लिए स्टीयर किया जा सकता है, जो लेटेंट प्लानिंग सिग्नल्स और आउटपुट डिस्ट्रीब्यूशन के बीच एक कारण संबंध की पुष्टि करता है।
4. विश्वसनीयता निहितार्थ: यह उजागर करना कि विश्वसनीय MCQ निर्माण के लिए केवल प्रॉम्प्ट इंजीनियरिंग से अधिक की आवश्यकता है; इसके लिए जेनरेशन की आंतरिक गतिशीलता को समझने और संभावित रूप से नियंत्रित करने की आवश्यकता है ताकि निष्पक्ष मूल्यांकन उपकरण सुनिश्चित किए जा सकें।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि उनके निष्कर्ष "योजना-जैसी तंत्र" (planning-like mechanisms) का सुझाव देते हैं, लेकिन यह स्पष्ट प्रतीकात्मक योजना (explicit symbolic planning) का निर्णायक प्रमाण नहीं है। वे हस्तक्षेप की प्रभावशीलता की निर्भरता और जबरन पोजीशनल परिवर्तन के कारण होने वाले संभावित सिमेंटिक असंगतता जैसी सीमाओं को भी स्वीकार करते हैं।