तकनीकी सारांश: स्कैफोल्डिंग द स्ट्रैटेजिस्ट (Scaffolding the Strategist)

समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने गणितीय और तार्किक बेंचमार्क में दक्षता प्रदर्शित की है, लेकिन उनकी रणनीतिक आर्थिक तर्क क्षमता (strategic economic reasoning)—विशेष रूप से डोमेन ज्ञान को एकीकृत करने, प्रतिस्पर्धी कार्यों का पूर्वानुमान लगाने और समझ को ठोस रणनीतिक निर्णयों में अनुवादित करने की क्षमता—अभी भी अपर्याप्त रूप से समझी गई है। मौजूदा गेम-थ्योरेटिक बेंचमार्क (जैसे, GTBench, EconArena) मुख्य रूप से डिस्क्रीट एक्शन स्पेस और समवर्ती-मूव (simultaneous-move) खेलों पर निर्भर करते हैं, जिससे निरंतर रणनीति स्पेस (continuous strategy spaces), मल्टी-स्टेज बैकवर्ड इंडक्शन, और प्रति-सहज संतुलन (counterintuitive equilibria) अनछुए रह जाते हैं।

एक महत्वपूर्ण, अनसुलझा आयाम तर्क हस्तक्षेपों (reasoning interventions/scaffolding) और मॉडल आर्किटेक्चर के बीच की अंतःक्रिया है। रीजनिंग-ऑप्टिमाइज्ड मॉडल्स के उदय के साथ, जिनमें अंतर्निहित चेन-ऑफ-थॉट (chain-of-thought) क्षमताएं हैं, यह स्पष्ट नहीं है कि क्या बाहरी स्कैफोल्डिंग (जैसे, चरण-दर-चरण तर्क के लिए प्रॉम्प्टिंग) अतिरिक्त मूल्य प्रदान करती है, घटते प्रतिफल (diminishing returns) देती है, या आंतरिक विचार-विमर्श में बाधा डालती है। इसके अलावा, "घोषणात्मक-प्रक्रियात्मक अंतराल" (declarative–procedural gap)—जहाँ मॉडल सही सिद्धांतों को स्पष्ट तो कर सकते हैं लेकिन उन्हें निष्पादित करने में विफल रहते हैं—विभिन्न आर्किटेक्चरल क्लासों में जांच की आवश्यकता है।

कार्यप्रणाली

लेखक होटलिंग के लीनियर सिटी मॉडल (Hotelling, 1929) का उपयोग एक डायग्नोस्टिक वाहन के रूप में करते हैं। इस ढांचे का चयन इसलिए किया गया क्योंकि इसमें मल्टी-स्टेप रणनीतिक तर्क की आवश्यकता होती है, यह एक एकीकृत संरचना के भीतर डक्टिव (deductive) और एब्डक्टिव (abductive) तर्क उपप्रकारों को अलग करता है, गैर-मानक पैरामीटराइजेशन के माध्यम से ट्रेनिंग-डेटा कंटामिनेशन का प्रतिरोध करता है, और यह स्वाभाविक रूप से इस अंतर को उजागर करता है कि रणनीति जानने और उसे निष्पादित करने के बीच क्या अंतर है।

प्रयोगात्मक डिजाइन

• मॉडेल्स: OpenAI के दो आर्किटेक्चर का मूल्यांकन किया गया:
  • GPT-4.1-mini: एक मानक निर्देश-अनुसरण करने वाला मॉडल।
  • GPT-5-mini: एक रीजनिंग-ऑप्टिमाइज्ड मॉडल जिसमें अंतर्निहित विचार-विमर्श क्षमताएं हैं।
• कार्य: आठ प्रश्न दो घटकों में व्यवस्थित हैं:
  • घटक A (डक्टिव/Deductive): पांच प्रश्न जिनमें आधारों (premises) से फॉरवर्ड डेरिवेशन की आवश्यकता होती है (जैसे, पैरामीटर संवेदनशीलता, स्थान परिवर्तन, लागत संरचना पहचान)।
  • घटक B (एब्डक्टिव/Abductive): तीन प्रश्न जिनमें सर्वोत्तम स्पष्टीकरणों के लिए प्रेक्षणों से निष्कर्ष निकालने की आवश्यकता होती है (जैसे, प्रतिस्पर्धी अनुमान, रणनीति परिवर्तन का पता लगाना)।
• शर्तें (Conditions): प्रत्येक प्रश्न का पांच स्थितियों में परीक्षण किया गया:
  1. बेसलाइन (Baseline): कोई स्कैफोल्डिंग नहीं।
  2. कमिटमेंट (Commitment): मॉडल को हल करने से पहले विश्लेषणात्मक सिद्धांतों को बताना और उन पर प्रतिबद्ध होना चाहिए (प्रिमाइज़-लॉकिंग)।
  3. विरोधाभास का पता लगाना (Contradiction Detection): मॉडल को अपने तर्क श्रृंखला में आंतरिक विरोधाभासों की पहचान करनी चाहिए और उन्हें हल करना चाहिए।
  4. सिद्धांतिक पृथक्करण (Principled Separation): एक तीन-चरणीय पाइपलाइन जिसमें मॉडल को सिद्धांत बताने, भविष्यवाणियां उत्पन्न करने और फिर निर्णय लेने (घोषित-फिर-निष्पादित करें) की आवश्यकता होती है।
  5. एडवर्सरियल स्ट्रेस-टेस्ट (Adversarial Stress-Test): मॉडल को अपने स्वयं के निष्कर्षों के विरुद्ध तर्क देने और अपने बचाव या संशोधन के लिए प्रेरित किया जाता है।
• मूल्यांकन: अध्ययन ने 720 प्रतिक्रियाएं उत्पन्न कीं (2 मॉडल × 5 स्थितियां × 3 प्रॉम्प्ट फ्रेमिंग × 3 पुनरावृत्ति × 8 प्रश्न)। प्रतिक्रियाओं को GPT-5.2 द्वारा 0–10 के पैमाने पर स्कोर किया गया (निष्कर्ष सटीकता + तर्क की गुणवत्ता), जिसे मानव निर्णय ($\kappa = 0.97$) के विरुद्ध कैलिब्रेट किया गया।

प्रमुख योगदान

1. क्रॉसओवर इंटरैक्शन: पेपर स्कैफोल्डिंग प्रकार और मॉडल आर्किटेक्चर के बीच एक सांख्यिकीय रूप से महत्वपूर्ण क्रॉसओवर इंटरैक्शन ($p = 0.002, d = 1.69$) का दस्तावेजीकरण करता है। ऐसे हस्तक्षेप जो एक मानक मॉडल में सुधार करते हैं, वे एक रीजनिंग मॉडल को खराब कर देते हैं, और इसके विपरीत।
2. एडवर्सरियल स्ट्रेस-टेस्ट पैराडॉक्स: अध्ययन दिखाता है कि एडवर्सरियल आत्म-परीक्षण सार्वभौमिक रूप से प्रदर्शन को कम करता है, जिसमें रीजनिंग मॉडल मानक मॉडल की तुलना में 2.6 गुना अधिक नुकसान उठाता है। यह गिरावट बेसलाइन कठिनाई के साथ नकारात्मक रूप से सह-संबंधित है ($R^2 = 0.36$), जो इंगित करता है कि सही उत्तरों के बारे में "बहुत अधिक सोचना" संदेह और त्रुटियां पैदा करता है।
3. घोषणात्मक–प्रक्रियात्मक अंतराल का परिमाणीकरण: लेखक उस अंतराल को मापते हैं जहाँ एक सही रणनीति की पहचान करने और उसे निष्पादित करने के बीच अंतर होता है। वे पाते हैं कि सिद्धांतिक पृथक्करण (principled separation) इस अंतर को पूरी तरह से पाट देता है (घोषणात्मक और प्रक्रियात्मक दरों दोनों को 25.9% तक पहुंचा देता है), जबकि कोई भी हस्तक्षेप मानक मॉडल को इस अंतर को पाटने में मदद नहीं करता है।
4. डायग्नोस्टिक फ्रेमवर्क का सत्यापन: पेपर हस्तक्षेप $\times$ आर्किटेक्चर इंटरैक्शन को अलग करने के लिए कंटामिनेशन-रेसिस्टेंट "माइक्रोवर्ल्ड" के रूप में हॉटलिंग स्पेशियल कॉम्पिटिशन को मान्य करता है।

परिणाम

द क्रॉसओवर इंटरैक्शन

• कमिटमेंट स्कैफोल्डिंग: इसने मानक मॉडल (GPT-4.1-mini) को +0.21 अंक से सुधारा, लेकिन रीजनिंग मॉडल (GPT-5-mini) को −0.63 अंक से खराब कर दिया।
  • व्याख्या: मानक मॉडल में आंतरिक विचार-विमर्श की कमी होती है, इसलिए बाहरी प्रिमाइज़-लॉकिंग आवश्यक संरचना प्रदान करती है। रीजनिंग मॉडल पहले से ही आंतरिक विचार-विमर्श करता है; बाहरी प्रतिबद्धता को मजबूर करना हस्तक्षेप पैदा करता है (जो "वर्बल ओवरशैडोइंग" प्रभाव के समानांतर है)।
• सिद्धांतिक पृथक्करण (Principled Separation): इसने विपरीत पैटर्न दिखाया। इसने मानक मॉडल को −0.40 अंक से खराब किया लेकिन रीजनिंग मॉडल को +0.31 अंक से सुधारा।
  • व्याख्या: रीजनिंग मॉडल चरण-दर-चरण गेटिंग (phase-gating) से लाभान्वित होता है जो उसके आंतरिक विचार-विमर्श को व्यवस्थित करता है। मानक मॉडल के पास इस संरचना का लाभ उठाने के लिए आवश्यक तर्क गहराई की कमी होती है, जिससे बिना किसी लाभ के प्रोसेसिंग ओवरहेड होता है।
• निरंतरता: ये क्रॉसओवर पैटर्न 8 में से 7 प्रश्नों में बने रहे।

एडवर्सरियल स्ट्रेस-टेस्टिंग

• स्ट्रेस-टेस्टिंग के तहत दोनों मॉडल्स को प्रदर्शन में गिरावट का सामना करना पड़ा।
• रीजनिंग मॉडल ने काफी अधिक नुकसान झेला ($−1.47$ बनाम $−0.57$; $p = 0.038$)।
• क्षति बेसलाइन कठिनाई के व्युत्क्रम (inversely) सह-संबंधित थी: सबसे आसान समस्याएं (जहाँ मॉडल पहले से ही सही थे) सबसे अधिक गिरावट से प्रभावित हुईं, जो सुझाव देती है कि सही सहज निर्णयों पर आत्म-आलोचना करने से त्रुटि उत्पन्न होती है।

घोषणात्मक–प्रक्रियात्मक अंतराल

• मानक मॉडल: लगभग 30% समय सही रणनीतियों की पहचान की लेकिन उन्हें 0% समय निष्पादित किया। किसी भी हस्तक्षेप ने प्रक्रियात्मक शुद्धता को 3.7% से ऊपर नहीं सुधारा।
• रीजनिंग मॉडल: सेपरेशन प्रोटोकॉल के तहत, अंतराल पूरी तरह से समाप्त हो गया (घोषणात्मक और प्रक्रियात्मक दरें दोनों 25.9% तक पहुंच गईं)। कमिटमेंट के तहत, अंतराल बढ़ गया (घोषणात्मक 33.3% बनाम प्रक्रियात्मक 11.1%)।

महत्व और दावे

पेपर दावा करता है कि रीजनिंग हस्तक्षेपों के प्रभाव समान नहीं होते हैं; उनका प्रभाव क्रिटिकली और प्रेडिक्टेबलीली मॉडल आर्किटेक्चर पर निर्भर करता है।

• डिज़ाइन सिद्धांत: लेखक स्कैफोल्डिंग के लिए एक मार्गदर्शक सिद्धांत प्रस्तावित करते हैं: "वह प्रदान करें जिसकी आर्किटेक्चर में कमी है; उसे डुप्लिकेट न करें जो उसके पास पहले से ही है।"
  • क्षमता-सीमित मॉडल्स (मानक) के लिए, स्कैफोल्डिंग तर्क क्षमता का विकल्प नहीं हो सकती।
  • संगठनात्मक रूप से सीमित मॉडल्स (रीजनिंग-ऑप्टिमाइज्ड) के लिए, स्कैफोल्डिंग का चुनाव मॉडल के चुनाव जितना ही महत्वपूर्ण है।
• मूल्यांकन के लिए निहितार्थ: अध्ययन इस धारणा के प्रति आगाह करता है कि आत्म-आलोचना (एडवर्सरियल स्ट्रेस-टेस्टिंग) सार्वभौमिक रूप से मजबूती (robustness) में सुधार करती है, यह दिखाते हुए कि यह विशेष रूप से उन्नत मॉडल्स के लिए ज्ञात समस्याओं पर हानिकारक हो सकती है।
• सीमाएं: लेखक स्वीकार करते हैं कि अध्ययन एक ही प्रदाता के दो मालिकाना मॉडल्स का उपयोग करता है, जो अन्य मॉडल परिवारों के लिए सामान्यीकरण (generalizability) को सीमित करता है। वे यह भी नोट करते हैं कि आठ प्रश्न एक एकल आर्थिक डोमेन में फैले हुए हैं, और अन्य रणनीतिक संदर्भों में सामान्यीकरण अभी भी खुला है।

पेपर निष्कर्ष निकालता है कि "घोषणात्मक–प्रक्रियात्मक अंतराल" के मूल कारण विभिन्न आर्किटेक्चर में गुणात्मक रूप से भिन्न होते हैं: मानक मॉडल्स में एक मौलिक क्षमता सीमा बनाम रीजनिंग मॉडल्स में एक संगठनात्मक समस्या जिसे उपयुक्त स्कैफोल्डिंग द्वारा हल किया जा सकता है।