💬 NLP

Foresight Optimization for Strategic Reasoning in Large Language Models

यह शोध पत्र फॉरसाइट पॉलिसी ऑप्टिमाइज़ेशन (FoPO) को प्रस्तुत करता है, जो मल्टी-एजेंट वातावरण के भीतर लार्ज लैंग्वेज मॉडल्स में रणनीतिक तर्क और निर्णय लेने की क्षमता को बढ़ाने के लिए पॉलिसी ऑप्टिमाइज़ेशन में अपोनेंट मॉडलिंग को एकीकृत करने वाली एक नवीन विधि है, जो विविध मॉडल्स और परिदृश्यों में महत्वपूर्ण प्रदर्शन सुधार और मजबूत सामान्यीकरण प्रदर्शित करता है।

मूल लेखक: Jiashuo Wang, Jiawen Duan, Jian Wang, Kaitao Song, Chunpu Xu, Johnny K. W. Ho, Fenggang Yu, Wenjie Li, Johan F. Hoorn

प्रकाशित 2026-04-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiashuo Wang, Jiawen Duan, Jian Wang, Kaitao Song, Chunpu Xu, Johnny K. W. Ho, Fenggang Yu, Wenjie Li, Johan F. Hoorn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त के साथ शतरंज (Chess) या वेयरवोल्फ (Werewolf) जैसा कोई खेल खेल रहे हैं। जीतने के लिए, आपको केवल अपनी अगली चाल के बारे में ही नहीं सोचना है; आपको यह भी सोचना होगा, "अगर मैं यहाँ अपना नाइट (Knight) चलता हूँ, तो मेरा प्रतिद्वंद्वी इसके जवाब में क्या करेगा? और अगर वे ऐसा करते हैं, तो मुझे आगे क्या करना चाहिए?"

आगे देखने, दूसरों के व्यवहार का अनुमान लगाने और उसके अनुसार अपनी चालें योजनाबद्ध करने की इस क्षमता को रणनीतिक तर्क (Strategic Reasoning) कहा जाता है।

वर्तमान में, लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे के AI दिमाग हैं—सवाल पूछने और कहानियाँ लिखने में बहुत अच्छे हैं। लेकिन जब बात गेम खेलने या अन्य AI के साथ बातचीत (negotiation) करने की आती है, तो वे अक्सर अल्पदृष्टि वाले खिलाड़ियों (myopic players) की तरह व्यवहार करते हैं: वे केवल अगले तात्कालिक कदम को देखते हैं और यह भूल जाते हैं कि उनके कार्यों से उनके प्रतिद्वंद्वी का व्यवहार कैसे बदल जाएगा। वे "प्रतिक्रियात्मक" (reactive) रूप से खेलते हैं, न कि "रणनीतिक" (strategic) रूप से।

यह शोध पत्र FoPO (Foresight Policy Optimization) नामक एक नई प्रशिक्षण विधि पेश करता है ताकि इसे ठीक किया जा सके। यहाँ इसका विवरण सरल उपमाओं (analogies) के माध्यम से दिया गया है:

1. समस्या: "टनल विजन" वाला खिलाड़ी

एक मानक AI खिलाड़ी को घने कोहरे में चल रहे हाइकर (हाइकर/पैदल यात्री) के रूप में देखें। वे अपने ठीक सामने वाले रास्ते को देख सकते हैं (अपना अगला वाक्य या चाल), लेकिन वे पहाड़ की चोटी या मोड़ पर छिपे जाल को नहीं देख पाते। वे एक कदम उठाते हैं, इनाम पाते हैं, और फिर दूसरा कदम उठाते हैं, बिना यह समझे कि उनका एक कदम दूसरे हाइकर को ऐसी स्थिति में धकेल सकता है जो बाद में उनके लिए हानिकारक हो।

2. समाधान: "चेस ग्रैंडमास्टर" अपग्रेड

शोधकर्ताओं ने FoPO बनाया, जो AI को एक क्रिस्टल बॉल (जादुई दृष्टि) देता है। केवल यह पूछने के बजाय कि, "अभी मेरे लिए सबसे अच्छी चाल क्या है?", FoPO AI को यह पूछने के लिए प्रशिक्षित करता है:

"अगर मैं यह चाल चलता हूँ, तो मेरा प्रतिद्वंद्वी मुझे काउंटर करने के लिए अपनी रणनीति कैसे बदलेगा? और यह जानते हुए कि वे बदलेंगे, बाद में जीतने के लिए मुझे अभी क्या करना चाहिए?"

यह एक शतरंज खिलाड़ी की तरह है जो केवल एक प्यादा काटने के लिए मोहरा नहीं चलता; वह तीन चाल आगे चलकर जाल बिछाने के लिए उसे चलता है, यह जानते हुए कि प्रतिद्वंद्वी की प्रतिक्रिया क्या होगी।

3. उन्होंने इसे कैसे सिखाया: "अभ्यास अरीना" (The Practice Arena)

आप एक ग्रैंडमास्टर को केवल किताब पढ़कर नहीं सिखा सकते; उन्हें हजारों गेम खेलने की आवश्यकता होती है। शोधकर्ताओं ने AI को प्रशिक्षित करने के लिए दो विशिष्ट "अभ्यास अरीना" (डेटासेट्स) बनाए:

सहकारी RSA (Cooperative RSA - "ब्लाइंड डेट" गेम): कल्पना करें कि आप और आपका साथी एक ऐसे कमरे में एक विशिष्ट वस्तु खोजने की कोशिश कर रहे हैं जहाँ बहुत सारी मिलती-जुलती चीजें हैं। आप केवल एक बार में एक विशेषता (feature) के माध्यम से उसका वर्णन कर सकते हैं (जैसे, "यह नीला है")।
- रणनीति: आपको यह अनुमान लगाना होगा कि आपके साथी को सबसे तेज़ी से चीज़ को पहचानने के लिए किस जानकारी की आवश्यकता है। यदि आप कहते हैं "नीला", लेकिन वहाँ 10 नीली चीजें हैं, तो आपने एक टर्न बर्बाद कर दिया। यदि आप कहते हैं "नीला और चिकना", तो आप उन्हें तेज़ी से जीतने में मदद करते हैं।
- सबक: यह AI को यह पूर्वानुमान (anticipate) लगाने में प्रशिक्षित करता है कि दूसरे व्यक्ति को किस जानकारी की आवश्यकता है।
प्रतिस्पर्धी टैबू (Competitive Taboo - "माइंड रीडर" गेम): एक व्यक्ति (Attacker) दूसरे (Defender) को एक गुप्त शब्द (जैसे "Apple") बोले बिना उसे बोलने के लिए trick करने की कोशिश करता है। Defender उस शब्द को बोलने से पहले उसे पहचानने की कोशिश करता है।
- रणनीति: Attacker को सोचना होगा, "अगर मैं फलों के बारे में बात करता हूँ, तो वे 'Apple' समझ सकते हैं। लेकिन अगर मैं लाल चीजों के बारे में बात करता हूँ, तो वे 'Red' समझ सकते हैं। ऐसा क्या है जिससे वे फिसल जाएँ?" Defender को सोचना होगा, "वह फलों के बारे में क्यों बात कर रहा है? क्या वह मुझे बेवकूफ बनाने की कोशिश कर रहा है?"
- सबक: यह AI को हेरफेर (manipulation) का पूर्वानुमान लगाने और उससे बचने में प्रशिक्षित करता है।

4. जादुई सामग्री: "फॉरसाइट करेक्शन" (The Foresight Correction)

मानक AI प्रशिक्षण (जिसे PPO कहा जाता है) में, AI प्रयास और त्रुटि (trial and error) से सीखता है: "मैंने X किया, मुझे इनाम मिला। मैं फिर से X करूँगा।"

FoPO गणित में एक विशेष "करेक्शन टर्म" जोड़ता है। यह एक कोच की तरह है जो प्रशिक्षण के दौरान AI के कान में फुसफुसाता है:

"रुको! अगर तुम X करते हो, तो तुम्हारा प्रतिद्वंद्वी X से नफरत करने लगेगा और Y पर स्विच कर जाएगा। यदि वे Y पर स्विच करते हैं, तो तुम हार जाओगे। इसलिए, केवल X मत करो; इसके बजाय Z करो, जो उन्हें ऐसी स्थिति में रहने के लिए मजबूर करता है जहाँ तुम जीत सको।"

यह AI को यह समझने की अनुमति देता है कि वह किसी स्थिर दीवार के खिलाफ नहीं, बल्कि एक गतिशील प्रतिद्वंद्वी के खिलाफ खेल रहा है जो खुद भी सीख रहा है।

5. परिणाम: नौसिखिए से प्रो तक

शोधकर्ताओं ने परीक्षण के लिए विभिन्न AI मॉडल (जैसे Llama और Qwen) का उपयोग किया।

FoPO से पहले: AI सरल खेलों में ठीक थे लेकिन जटिल, उतार-चढ़ाव वाली बातचीत में भ्रमित हो जाते थे। वे अक्सर स्पष्ट चालों में फंस जाते थे।
FoPO के बाद: AI सहयोग (कुशलता से मिलकर काम करना) और प्रतिस्पर्धा (प्रतिद्वंद्वियों को मात देना) दोनों में बहुत बेहतर हो गए।
सबसे अच्छी बात: यहाँ तक कि जब उन्होंने इन "प्रशिक्षित" AI को नए, अनदेखे खेलों (जैसे किसी अन्य प्रकार की बातचीत) में डाला, तो वे पुराने तरीकों से प्रशिक्षित AI की तुलना में बेहतर प्रदर्शन करते रहे। उन्होंने वास्तव में आगे सोचने का कौशल सीखा था, न कि केवल एक विशिष्ट खेल के नियमों को रटा था।

सारांश

यह शोध पत्र AI को एक प्रतिक्रियाशील रोबोट बनने के बजाय एक रणनीतिक विचारक बनने के लिए सिखाने के बारे में है। उन्हें आगे देखने और यह समझने के लिए प्रशिक्षित करके कि उनके कार्य दूसरों को कैसे प्रभावित करते हैं, शोधकर्ताओं ने ऐसे AI एजेंट बनाए हैं जो अधिक स्मार्ट, अनुकूलन योग्य (adaptable) और भविष्य की जटिल, मल्टी-प्लेयर दुनिया के लिए तैयार हैं।

एक वाक्य में: उन्होंने AI को केवल अगले कदम को देखना बंद करके पूरा खेल खेलना सिखाया।

यहाँ शोध पत्र "Foresight Optimization for Strategic Reasoning in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने सामान्य तर्क (general reasoning) में महत्वपूर्ण प्रगति दिखाई है, वे मल्टी-एजेंट वातावरण में रणनीतिक तर्क (strategic reasoning) करने में संघर्ष करते हैं। रणनीतिक तर्क के लिए निम्नलिखित क्षमताओं की आवश्यकता होती है:

अपने समकक्षों (प्रतिद्वंद्वियों या भागीदारों) के व्यवहार का पूर्वानुमान लगाना।
इस बात पर विचार करना कि ये पूर्वानुमान उनके अपने निर्णयों को कैसे प्रभावित करते हैं।
इस दूरदर्शिता (foresight) के आधार पर इष्टतम रणनीतियाँ तैयार करना।

मौजूदा रीजनिंग संवर्धन विधियाँ (जैसे, चेन-ऑफ-थॉट, मानक रीइन्फोर्समेंट लर्निंग जैसे PPO) मुख्य रूप से तात्कालिक स्व-हित या स्थिर कार्य पूर्णता के लिए अनुकूलित होती हैं। उनमें स्पष्ट दूरदर्शिता मॉडलिंग (explicit foresight modeling) का अभाव है, जिससे वे यह समझने में विफल रहती हैं कि एजेंट का वर्तमान पॉलिसी अपडेट, काउंटरपार्ट के भविष्य के पॉलिसी अपडेट को कैसे प्रभावित करेगा। यह सीमा सहकारी (cooperative) और प्रतिस्पर्धी (competitive) परिदृश्यों में प्रभावी निर्णय लेने में बाधा डालती है।

2. कार्यप्रणाली (Methodology)

लेखक फोरसाइट पॉलिसी ऑप्टिमाइज़ेशन (Foresight Policy Optimization - FoPO) का प्रस्ताव करते हैं, जो एक नया एल्गोरिदम है जिसे LLMs की पॉलिसी ऑप्टिमाइज़ेशन प्रक्रिया में सीधे 'अपोनेंट मॉडलिंग' (opponent modeling) सिद्धांतों को एकीकृत करने के लिए डिज़ाइन किया गया है।

A. मुख्य एल्गोरिदम: FoPO

FoPO मानक पॉलिसी ऑप्टिमाइज़ेशन (विशेष रूप से प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन, PPO) को एक फोरसाइट-आधारित सुधार पद (foresight-based correction term) पेश करके संशोधित करता है।

मानक PPO: एजेंट की पॉलिसी ( $\pi_1$ ) को केवल अपने स्वयं के एडवांटेज अनुमान के आधार पर अपडेट करता है, और अपडेट के दौरान काउंटरपार्ट की पॉलिसी ( $\pi_2$ ) को स्थिर मानता है।
FoPO: यह पहचानता है कि काउंटरपार्ट एजेंट के कार्यों के जवाब में अपनी पॉलिसी को बाद में अनुकूलित करेगा। यह स्वयं के एजेंट और काउंटरपार्ट के ग्रेडिएंट अपडेट को आपस में जोड़ता है।
गणितीय सूत्र (Mathematical Formulation): एजेंट 1 के लिए अपडेट नियम में एक तीसरा पद शामिल है जो "फोरसाइट गेन" (foresight gain) का प्रतिनिधित्व करता है:
$\theta_{t+1} \leftarrow \theta_t + \alpha \nabla_\theta [r_1 \hat{A}^{clip}_1] - \alpha\beta \nabla_\theta KL + \alpha\eta \underbrace{(O_1 \nabla_\theta r_2)^\top}_{\text{Sensitivity}} \underbrace{(\nabla_\theta r_1 \nabla_\theta O_2)}_{\text{Influence}}$
- काउंटरपार्ट पर प्रभाव (Influence on Counterpart): यह मापता है कि स्वयं की पॉलिसी में परिवर्तन काउंटरपार्ट के लर्निंग ग्रेडिएंट को कैसे प्रभावित करता है।
- काउंटरपार्ट के प्रति संवेदनशीलता (Sensitivity to Counterpart): यह मापता है कि काउंटरपार्ट की पॉलिसी में बदलाव के जवाब में स्वयं के ऑब्जेक्टिव में कितना परिवर्तन आता है।
दक्षता (Efficiency): पारंपरिक गेम-थ्योरेटिक अपोनेंट मॉडलिंग के विपरीत, जिसमें गणनात्मक रूप से अत्यधिक जटिल सेकंड-ऑर्डर डेरिवेटिव्स (मिक्स्ड हेसियन टर्म्स) की आवश्यकता होती है, FoPO एक ग्रेडिएंट-ट्रंकेटेड एप्रोक्सिमेशन (gradient-truncated approximation) का उपयोग करता है। यह इसे बड़े न्यूरल नेटवर्क के लिए कम्प्यूटेशनल रूप से व्यवहार्य बनाता है।

B. प्रशिक्षण ढांचा: सेल्फ-प्ले (Self-Play)

मॉडल्स को सेल्फ-प्ले रीइन्फोर्समेंट लर्निंग ढांचे का उपयोग करके प्रशिक्षित किया जाता है:

भूमिका इंस्टेंशिएशन (Role Instantiation): एक ही LLM पॉलिसी ( $\pi_\theta$ ) को अलग-अलग भूमिका-विशिष्ट प्रॉम्प्ट्स का उपयोग करके विभिन्न एजेंटों (जैसे, स्पीकर/लिसनर या अटैकर/डिफेंडर) के रूप में स्थापित किया जाता है।
तीन-चरणीय प्रशिक्षण:
- सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह सुनिश्चित करता है कि एजेंट खेल के नियमों और भूमिकाओं का पालन करें।
- ट्रैजेक्टरी कलेक्शन (Trajectory Collection): एजेंट एक-दूसरे के विरुद्ध खेलते हैं। रिवार्ड्स बातचीत के अंत में दिए जाते हैं और बाद के कार्यों को अधिक भार देने के लिए एक डिके फैक्टर (decay factor) का उपयोग करके बैकवर्ड में प्रसारित किए जाते हैं।
- RL ऑप्टिमाइज़ेशन: एजेंटों को संचयी रिवार्ड्स को अधिकतम करने के लिए FoPO (या PPO जैसे बेसलाइन) का उपयोग करके अपडेट किया जाता है।

C. डेटासेट: सहकारी RSA और प्रतिस्पर्धी Taboo

रणनीतिक तर्क के लिए उपयुक्त प्रशिक्षण डेटा की कमी को दूर करने के लिए, लेखकों ने नियंत्रित जटिलता वाले दो नए डेटासेट तैयार किए हैं:

सहकारी RSA (Rational Speech Acts):
- लक्ष्य: एक स्पीकर और लिसनर न्यूनतम टर्न में एक लक्ष्य वस्तु की पहचान करने के लिए सहयोग करते हैं।
- तंत्र: स्पीकर को लिसनर की अनुमान दक्षता (inference efficiency) को अधिकतम करने के लिए रणनीतिक रूप से विशेषताओं का चयन करना चाहिए; लिसनर को स्पीकर की तर्कसंगतता का अनुमान लगाना चाहिए।
- रिवार्ड: टर्न की संख्या पर आधारित; कम टर्न होने पर उच्च रिवार्ड मिलता है।
प्रतिस्पर्धी Taboo:
- लक्ष्य: एक अटैकर डिफेंडर को एक लक्ष्य शब्द बोलने के लिए प्रेरित करने की कोशिश करता है; डिफेंडर उस शब्द को बोलने से पहले अनुमान लगाने की कोशिश करता है।
- तंत्र: इसमें प्रतिद्वंद्वी के विश्वास और संदेह का मॉडलिंग करना आवश्यक है।
- रिवार्ड: विजेता के लिए +1, हारने वाले के लिए -1, टाई के लिए 0।

3. प्रमुख योगदान

FoPO एल्गोरिदम: एक नवीन अनुकूलन विधि जो एजेंट पॉलिसियों की परस्पर निर्भरता को स्पष्ट रूप से मॉडल करती है, जिससे LLMs को काउंटरपार्ट की प्रतिक्रियाओं का पूर्वानुमान लगाने और अनुकूलित होने में सक्षम बनाया जा जाता है।
नए बेंचमार्क: Cooperative RSA और Competitive Taboo डेटासेट का परिचय, जिन्हें शतरंज या पोकर जैसे खेलों की अत्यधिक डोमेन जटिलता के बिना रणनीतिक तर्क क्षमताओं को अलग करने के लिए डिज़ाइन किया गया है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग प्रदर्शित करते हैं कि FoPO विभिन्न मॉडल आकारों (Llama-3-8B, Qwen3-14B) में मानक बेसलाइन्स (PPO, GRPO, ArCHer, In-Context Tuning) से काफी बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalization): FoPO के साथ प्रशिक्षित मॉडल $\gamma$ -Bench पर मजबूत आउट-ऑफ-डोमेन सामान्यीकरण दिखाते हैं, जो विविध रणनीतिक तर्क कार्यों का एक समूह है, जो दूरदर्शिता क्षमता की हस्तांतरणीयता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम

इन-डोमेन प्रदर्शन:
- Cooperative RSA पर, FoPO-प्रशिक्षित मॉडल्स ने उच्च बातचीत रिवार्ड प्राप्त किए, विशेष रूप से लिसनर के रूप में कार्य करते समय (जो स्पीकर के इरादे के बेहतर अनुमान को दर्शाता है)।
- Competitive Taboo पर, FoPO मॉडल्स ने PPO और अन्य बेसलाइन्स की तुलना में अटैकर और डिफेंडर दोनों के लिए काफी उच्च जीत दर हासिल की।
- उल्लेखनीय रूप से, मानक GRPO रिवार्ड डिस्ट्रीब्यूशन समस्याओं के कारण Cooperative RSA पर विफल रहा, जबकि FoPO स्थिर रहा।
आउट-ऑफ-डोमेन सामान्यीकरण:
- जब $\gamma$ -Bench (नीलामी, बातचीत और युद्ध जैसे कार्यों को कवर करता है) पर मूल्यांकन किया गया, तो क्यूरेटेड FoPO डेटासेट पर प्रशिक्षित मॉडल लगातार मानक डेटासेट या बेसलाइन्स पर प्रशिक्षित मॉडल्स से बेहतर रहे।
- दोनों (सहकारी और प्रतिस्पर्धी) डेटासेट पर प्रशिक्षित मॉडल्स ने सर्वश्रेष्ठ औसत प्रदर्शन किया, जो यह सुझाव देता है कि दोनों प्रकार के इंटरैक्शन मोटिव्स (सहयोग और प्रतिस्पर्धा) के संपर्क में आने से मजबूत रणनीतिक तर्क विकसित होता है।
एब्लेशन और संवेदनशीलता (Ablation & Sensitivity): पाया गया कि फोरसाइट वेट ( $\eta$ ) विभिन्न मानों की एक श्रृंखला में स्थिर था, जिसमें $\eta=0.1$ इष्टतम परिणाम देता है।

5. महत्व और भविष्य का प्रभाव

यह कार्य LLMs को स्थिर तर्क से गतिशील, दूरदर्शिता-संचालित रणनीतिक तर्क की ओर ले जाकर एक महत्वपूर्ण अंतर को पाटता है।

सैद्धांतिक प्रगति: यह प्रदर्शित करता है कि LLMs बाहरी सिम्बोलिक सॉल्वर या जटिल गेम-थ्योरेटिक इंजन पर निर्भर किए बिना प्रतिद्वंद्वी की लर्निंग डायनेमिक्स का अनुमान लगाना सीख सकते हैं।
व्यावहारिक अनुप्रयोग: यह दृष्टिकोण बातचीत, सहयोग और प्रतिस्पर्धा (जैसे, स्वायत्त ट्रेडिंग एजेंट, राजनयिक बॉट्स, या सहयोगात्मक कोडिंग असिस्टेंट) से जुड़े वास्तविक दुनिया के मल्टी-एजेंट सिस्टम के लिए अत्यंत महत्वपूर्ण है।
भविष्य की दिशाएं: लेखक स्पष्ट विश्व अवस्थाओं (world states), मल्टी-पार्टी इंटरैक्शन वाले जटिल वातावरणों के साथ इस ढांचे को विस्तारित करने और रणनीतिक तर्क को दीर्घकालिक योजना और 'थ्योरी ऑफ माइंड' जैसी अन्य संज्ञानात्मक क्षमताओं के साथ एकीकृत करने का सुझाव देते हैं।

संक्षेप में, FoPO LLMs को यह समझने की क्षमता प्रदान करने के लिए एक स्केलेबल और कुशल तंत्र प्रदान करता है कि उनके कार्य दूसरों के भविष्य के व्यवहार को कैसे आकार देते हैं, जो अधिक परिष्कृत और मानव जैसे AI एजेंटों की ओर एक महत्वपूर्ण कदम है।