तकनीकी सारांश: LLM आत्म-चिंतन (Self-Reflection) को क्या संचालित करता है? सशस्त्र संघर्ष पूर्वानुमान में अनिश्चितता रूटिंग का एक नियंत्रित एब्लेशन अध्ययन

1. समस्या विवरण

यद्यपि एजेंटिक लार्ज लैंग्वेज मॉडल (LLM) सिस्टम में तर्क (reasoning), योजना (planning) और संवाद को बेहतर बनाने के लिए आत्म-चिंतन (self-reflection) को एक व्यापक रूप से अपनाए जाने वाले डिज़ाइन पैटर्न के रूप में उपयोग किया जाता है, लेकिन प्रदर्शन लाभों को चलाने वाले विशिष्ट घटक को अभी भी ठीक से नहीं समझा गया है। मानक आत्म-चिंतन प्रॉम्प्ट आमतौर पर मॉडलों को अनिश्चितता का आकलन करने और पूर्वानुमानों को संशोधित करने के लिए कहते हैं, लेकिन वे इस बात पर संरचना का अभाव रखते हैं कि विशिष्ट निष्कर्षों के प्रति कैसे प्रतिक्रिया दी जाए। यह एकरूपता एक विफलता मोड (failure mode) बनाती है जहाँ एक मॉडल जो विरल साक्ष्य (sparse evidence) का निदान कर रहा है, उसे वही सामान्य निर्देश ("चिंतन करें और संशोधित करें") प्राप्त होता है जो एक विरोधाभासी स्रोतों का निदान करने वाले मॉडल को मिलता है।

यह शोध "डिजनरेशन-ऑफ-थॉट" (Degeneration-of-Thought) की समस्या को संबोधित करता है, जहाँ अनियंत्रित आत्म-चिंतन गलत प्रतिबद्धताओं (incorrect commitments) को तोड़ने में विफल रहता है। मुख्य शोध प्रश्न यह है: LLM आत्म-चिंतन का कौन सा घटक वास्तव में प्रदर्शन लाभ को संचालित करता है? लेखक परिकल्पना करते हैं कि लाभ नैदानिक स्कैफोल्डिंग (diagnostic scaffolding - संरचित प्रश्न), वर्गीकरण शब्दावली (taxonomy vocabulary - अनिश्चितता के प्रकारों को नाम देना), या एक्शन रूटिंग (action routing - निदान को विशिष्ट सुधारात्मक कार्यों से जोड़ना) से उत्पन्न हो सकते हैं।

2. कार्यप्रणाली

लेखक एक नियंत्रित छह-स्थिति एब्लेशन अध्ययन प्रस्तुत करते हैं जिसे LLM आत्म-चिंतन के चार घटकों को अलग करने के लिए डिज़ाइन किया गया है: साक्ष्य एक्सपोज़र (evidence exposure), नैदानिक स्कैफोल्डिंग (diagnostic scaffolding), वर्गीकरण शब्दावली (taxonomy vocabulary), और एक्शन रूटिंग (action routing)।

प्रयोगात्मक सेटअप

• कार्य: बाइनरी सशस्त्र संघर्ष वृद्धि पूर्वानुमान (Binary armed conflict escalation forecasting)। एक संरचित साक्ष्य (ACLED आंकड़े, सामाजिक-आर्थिक संकेतक, ML एन्सेम्बल स्कोर) के 60-दिवसीय अवलोकन विंडो के आधार पर, मॉडल भविष्यवाणी करता है कि क्या अगले 14 दिनों में मृत्यु दर बेसलाइन से 130% से अधिक हो जाएगी।
• डेटा: पांच देशों (सूडान, इथियोपिया, सोमालिया, म्यांमार, यूक्रेन) में 310 परीक्षण मामले, जिसमें 21.0% सकारात्मक वृद्धि दर है। एक माध्यमिक सामान्यीकरण सेट (generalization set) 12 अनदेखे देशों को कवर करता है।
• बैकबोन: प्राथमिक प्रयोग Llama-3.3-70B का उपयोग करते हैं; प्रतिकृति (replication) के लिए GPT-4o का उपयोग किया जाता है।
• मेट्रिक्स: मेजॉरिटी-वोट F1 स्कोर (प्राथमिक), ब्रियर स्कोर (द्वितीयक, पोस्ट-हॉक कैलिब्रेटेड)।

छह एब्लेशन स्थितियाँ

अध्ययन छह स्थितियों की एक श्रृंखला (A → E → B → F → D → C) बनाता है, जहाँ प्रत्येक चरण ठीक एक वास्तुशिल्प परिवर्तन पेश करता है:

1. A (बेसलाइन): सिंगल-शॉट पूर्वानुमान, कोई मॉनिटर नहीं।
2. E (नो-क्वेश्चन): बिना संरचित नैदानिक प्रश्नों (Q1–Q5) के मॉनिटर; स्वतंत्र रूप से चिंतन करता है।
3. B (जेनेरिक रिफ्लेक्शन): Q1–Q5 के साथ मॉनिटर लेकिन बिना टाइप किए गए रूटिंग के; एक्शन स्पेस बाइनरी है (एग्जिट या जेनेरिक comparative_reasoning)।
4. F (वोकैबुलरी-ओनली): Q1–Q5 और पूर्ण सात-प्रकार की टैक्सोनॉमी के साथ मॉनिटर। मॉडल एक प्रकार निर्दिष्ट करता है, लेकिन प्रत्येक गैर-CONFIDENT निदान एक ही निश्चित क्रिया (comparative_reasoning) की ओर रूट होता है। यह एक्शन स्पेस को स्थिर रखते हुए टैक्सोनॉमी शब्दावली के मूल्य को अलग करता है।
5. D (रैंडम टैक्सोनॉमी): Q1–Q5 और टाइप किए गए रूटिंग के साथ मॉनिटर, लेकिन अनिश्चितता का प्रकार यादृच्छिक रूप से चुना गया है। यह स्वयं रूटिंग संरचना के मूल्य को अलग करता है।
6. C (टाइप्ड मॉनिटर): पूर्ण प्रणाली। मॉनिटर एक विशिष्ट प्रकार निर्दिष्ट करता है, और एक नियतात्मक नियंत्रण नीति ($\pi_{control}$) उस प्रकार को एक विशिष्ट सुधार क्रिया से जोड़ती है (जैसे, अपर्याप्त साक्ष्य के लिए Request sources, वितरण बदलाव के लिए Context recalibration)।

सात-प्रकार की अनिश्चितता टैक्सोनॉमी (Seven-Type Uncertainty Taxonomy)

टैक्सोनॉमी नैदानिक मानदंडों को लक्षित सुधार क्रियाओं के साथ जोड़ती है:

• INSUFFICIENT_EVIDENCE $\to$ स्रोत मांगें (Request sources)
• CONFLICTING_SOURCES $\to$ तुलनात्मक तर्क (Comparative reasoning)
• DISTRIBUTION_SHIFT $\to$ संदर्भ पुन: अंशांकन (Context recalibration)
• LOW_QUALITY_DATA $\to$ स्रोतों का पुन: भारण (Reweight sources)
• TEMPORAL_INCONSISTENCY $\to$ हालिया प्राथमिकता (Recency prioritization)
• MODEL_AMBIGUITY $\to$ विकल्प नमूना लेना (Sample alternatives)
• CONFIDENT $\to$ एग्जिट (Exit)

3. मुख्य परिणाम

मुख्य निष्कर्ष (Llama-3.3-70B)

• नैदानिक स्कैफोल्डिंग कोई मूल्य नहीं जोड़ता: स्थिति E (नो-क्वेश्चन, F1=0.297) स्थिति B (जेनेरिक रिफ्लेक्शन के साथ Q1–Q5, F1=0.296; $p=1.000$) से सांख्यिकीय रूप से अविभेदित है। संरचित प्रश्न लाभ नहीं देते हैं।
• टैक्सोनॉमी शब्दावली कोई मूल्य नहीं जोड़ती: स्थिति F (वोकैबुलरी-ओनली, F1=0.304) स्थिति B (F1=0.296; $\Delta$F1 = +0.008, ओवरलैपिंग CIs) से सांख्यिकीय रूप से अविभेदित है। बिना विभेदित क्रियाओं के पूर्ण टैक्सोनॉमी प्रस्तुत करने से कोई लाभ नहीं होता है।
• टाइप्ड एक्शन रूटिंग लाभ प्रदान करता है:
  • स्थिति D (रैंडम टैक्सोनॉमी, F1=0.338) जेनेरिक रिफ्लेक्शन से बेहतर प्रदर्शन करती है, जो सुझाव देता है कि किसी भी विशिष्ट क्रिया के प्रति प्रतिबद्धता बनाना फायदेमंद है।
  • स्थिति C (टाइप्ड मॉनिटर, F1=0.379) स्थिति D से बेहतर प्रदर्शन करती है।
  • शब्दावली को नियंत्रित करते हुए (C बनाम F), टाइप किए गए रूटिंग के योगदान का रूढ़िवादी अनुमान $\Delta$F1 = +0.075 है।
  • सिंगल-शॉट बेसलाइन (A) पर समग्र लाभ बूटस्ट्रैप CI द्वारा महत्वपूर्ण है ($\Delta$F1 = +0.101, 95% CI [+0.020, +0.185])।

देश-स्तरीय विश्लेषण

लाभ उन संरचनात्मक रूप से नवीन संघर्षों पर केंद्रित हैं जहाँ बेसलाइन डिजेनरेट (degenerate) है:

• म्यांमार: बेसलाइन (A) F1 = 0.000। वोकैबुलरी-ओनली (F) 0.162 तक रिकवर करता है (जेनेरिक रिफ्लेक्शन के समान)। रैंडम रूटिंग (D) 0.316 तक उछलता है। टाइप्ड रूटिंग (C) 0.353 तक पहुँचता है।
• यूक्रेन: बेसलाइन (A) F1 = 0.167। जेनेरिक रिफ्लेक्शन (B) 0.091 तक गिर जाता है। टाइप्ड रूटिंग (C) 0.500 तक रिकवर करता है।
• सूडान: केवल शब्दावली से मामूली लाभ दिखाता है, जो सुझाव देता है कि जब पैरामीट्रिक प्रायर (parametric prior) पहले से ही अच्छी तरह से कैलिब्रेटेड होता है, तो शब्दावली मूल्य जोड़ सकती है, लेकिन रूटिंग बहुत कम जोड़ता है।

क्रॉस-बैकबोन प्रतिकृति (GPT-4o)

वोकैबुलरी-रूटिंग अपघटन बैकबोन में भी दोहराया जाता है, लेकिन टाइप्ड रूटिंग का पूर्ण लाभ नहीं। GPT-4o पर, वोकैबुलरी-ओनली स्थिति (F, F1=0.304) जेनेरिक रिफ्लेक्शन (B, F1=0.272; $p=0.773$) से अविभेदित है, जो पुष्टि करता है कि टैक्सोनॉमी शब्दावली कोई मूल्य नहीं जोड़ती है। हालाँकि, जबकि एक्शन रूटिंग (D, F1=0.345) जेनेरिक रिफ्लेक्शन से काफी बेहतर प्रदर्शन करता है ($p=0.025$), पूर्ण टाइप्ड मॉनिटर (C, F1=0.328) स्थिति D से बेहतर प्रदर्शन नहीं करता है; बल्कि, यह D और B के बीच स्थित है। इस प्रकार, जबकि वह तंत्र (जिसमें "वोकैबुलरी कोई मूल्य नहीं जोड़ती" है) बना रहता है, Llama-3.3-70B में देखा गया टाइप्ड रूटिंग का विशिष्ट लाभ GPT-4o पर दोहराया नहीं गया।

सामान्यीकरण (Generalization)

12 अनदेखे देशों पर, टाइप्ड मॉनिटर लगातार बेसलाइन या जेनेरिक रिफ्लेक्शन से बेहतर प्रदर्शन नहीं करता है। कुछ मामलों में, जेनेरिक रिफ्लेक्शन टाइप्ड मॉनिटर से बेहतर प्रदर्शन करता है। यह सुझाव देता है कि फिक्स्ड एक्शन मैपिंग ($\pi_{control}$) विशिष्ट संघर्ष प्रकारों के लिए कैलिब्रेटेड हैं और स्वचालित रूप से तब स्थानांतरित नहीं होते हैं जब रूटिंग धारणाएं आउट-ऑफ-डिस्ट्रीब्यूशन (out of distribution) होती हैं।

4. मुख्य योगदान

1. एक सात-प्रकार की एक्शन-प्रिस्क्रिप्शन टैक्सोनॉमी: एक नियतात्मक नियंत्रण नीति ($\pi_{control}$) जो एपिस्टेमिक अवस्थाओं को विशिष्ट सुधार क्रियाओं से जोड़ती है, जो केवल अनिश्चितता वर्गीकरण से आगे बढ़कर है।
2. प्रथम छह-स्थिति एब्लेशन: एक शब्दावली-मैच की गई नियंत्रण (स्थिति F) का उपयोग करके आत्म-चिंतन घटकों का एक कठोर अलगाव, जो सिद्ध करता है कि केवल शब्दावली पर्याप्त नहीं है।
3. तंत्र की पहचान: यह निष्कर्ष कि न तो नैदानिक स्कैफोल्डिंग ($p=1.000$) और न ही टैक्सोनॉमी शब्दावली ($\Delta$F1 = +0.008) लाभ को संचालित करते हैं; टाइप्ड एक्शन रूटिंग ही प्रदर्शन सुधार के लिए जिम्मेदार एकमात्र तंत्र है (विशेष रूप से Llama-3.3-70B पर, जबकि वोकैबुलरी-रूटिंग अपघटन GPT-4o पर भी बना रहता है)।

5. महत्व और दावे

शोध यह दावा करता है कि "रूटिंग" घटक—विशेष रूप से निदान किए गए अनिश्चितता प्रकारों को विशिष्ट सुधारात्मक क्रियाओं के साथ नियतात्मक मैपिंग—LLM में मेटाकॉग्निटिव लाभों का महत्वपूर्ण चालक है। लेखक तर्क देते हैं कि केवल मॉडल से चिंतन करने के लिए कहना या उसे अनिश्चितता प्रकारों की शब्दावली प्रदान करना अप्रभावी है यदि मॉडल को अपने निदान के आधार पर विभिन्न डाउनस्ट्रीम व्यवहारों के लिए प्रतिबद्ध होने के लिए मजबूर नहीं किया जाता है।

अध्ययन बताता है कि टाइप्ड एक्शन रूटिंग मेटाकॉग्निटिव फोरकास्टिंग एजेंटों के लिए एक आशाजनक डिज़ाइन सिद्धांत है, विशेष रूप से संरचनात्मक रूप से नवीन संदर्भों (जैसे म्यांमार, यूक्रेन) में डिजेनरेट प्रायर को तोड़ने के लिए। हालाँकि, लेखक इन दावों के दायरे के बारे में विनम्र हैं:

• लाभ वहां अधिक स्पष्ट हैं जहां बेसलाइन कमजोर है; जहां पैरामीट्रिक प्रायर पहले से ही अच्छी तरह से कैलिब्रेटेड है, वहां लाभ कम हो जाता है।
• वर्तमान प्रणाली वास्तविक टूल उपयोग (जैसे वास्तविक रिट्रीवल) के बजाय प्रॉम्प्ट-इंजीनियर्ड रीजनिंग रणनीतियों पर निर्भर करती है, जो वास्तविक दुनिया के साक्ष्य विरोधाभासों के रिज़ॉल्यूशन को सीमित करती है।
• टैक्सोनॉमी और कंट्रोल पॉलिसी संघर्ष पूर्वानुमान के लिए विशिष्ट डिज़ाइन आर्टिफैक्ट्स हैं और बिना अनुकूलन के अन्य डोमेन में सामान्यीकृत नहीं हो सकते हैं।
• टाइप्ड रूटिंग बनाम रैंडम रूटिंग का विशिष्ट लाभ Llama-3.3-70B पर देखा गया था लेकिन GPT-4o पर दोहराया नहीं गया, जहाँ टाइप्ड मॉनिटर ने बेसलाइन और रैंडम रूटिंग के बीच प्रदर्शन किया।

कार्य यह निष्कर्ष निकालता है कि हालांकि आत्म-चिंतन मूल्यवान है, इसकी प्रभावकारिता पूरी तरह से इस बात पर निर्भर करती है कि क्या विभिन्न एपिस्टेमिक अवस्थाओं को अलग-अलग सुधारात्मक क्रियाओं की ओर रूट किया जाता है, न कि केवल नैदानिक प्रश्नों या एक संरचित शब्दावली की उपस्थिति पर।