🤖 AI

SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution

SAVOIR एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे को प्रस्तुत करता है जो सामाजिक संवाद में क्रेडिट असाइनमेंट समस्या को हल करने के लिए शापली मानों (Shapley values) और अपेक्षित उपयोगिता (expected utility) का लाभ उठाता है, जिससे SOTOPIA बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है और व्यक्तिगत कथनों की रणनीतिक क्षमता को प्रभावी ढंग से कैप्चर करके प्रोप्रायटरी मॉडलों से बेहतर प्रदर्शन किया जाता है।

मूल लेखक: Xiachong Feng, Yi Jiang, Xiaocheng Feng, Deyi Yin, Libo Qin, Yangfan Ye, Lei Huang, Weitao Ma, Yuxuan Gu, Chonghan Qin, Bing Qin, Lingpeng Kong

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiachong Feng, Yi Jiang, Xiaocheng Feng, Deyi Yin, Libo Qin, Yangfan Ye, Lei Huang, Weitao Ma, Yuxuan Gu, Chonghan Qin, Bing Qin, Lingpeng Kong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त के साथ पोकर का एक जटिल, उच्च-दांव वाला खेल या एक राजनयिक बातचीत (diplomatic negotiation) खेल रहे हैं। आप कुछ कहते हैं, वे कुछ वापस कहते हैं, और अंततः, या तो आप हाथ जीत जाते हैं, कोई सौदा कर लेते हैं, या बातचीत फीकी पड़कर खत्म हो जाती है।

अब, कल्पना कीजिए कि आप एक रोबोट हैं जो इस खेल में माहिर होने की कोशिश कर रहा है। सबसे बड़ी समस्या यह है: आपको कैसे पता चलेगा कि आपने कौन सा विशिष्ट वाक्य बोला था जो "जीतने वाला कदम" (winning move) था?

यदि आप केवल अंतिम परिणाम (जीत या हार) को देखते हैं, तो आप सोच सकते हैं, "ओह, मैं इसलिए जीता क्योंकि मैं अंत में बहुत ज़ोर से चिल्लाया था!" लेकिन हो सकता है कि आप इसलिए जीते हों क्योंकि आप तीन मोड़ पहले विनम्र थे, या आपने दो मिनट पहले सूक्ष्मता से किसी समाधान का संकेत दिया था। अंतिम स्कोर यह नहीं बताता कि आप क्यों जीते।

यही वह समस्या है जिसे SAVOIR पेपर हल करने की कोशिश करता है। यहाँ इसका सरल शब्दों में विवरण दिया गया है:

1. समस्या: "दृष्टि-दोष" (Hindsight) का जाल

वर्तमान AI मॉडल सामाजिक कौशल सीखने के लिए बातचीत के अंत को देखते हैं और पूछते हैं, "मैंने ऐसा क्या कहा जिससे हम जीत गए?"

खामी: यह एक कोच की तरह है जो एक सॉकर खिलाड़ी से कहता है, "तुमने गोल किया, इसलिए 10 सेकंड पहले तुमने जो किक मारी थी वह बेहतरीन थी!" लेकिन क्या होगा अगर आपके गोल करने का असली कारण यह था कि आपने 30 सेकंड पहले गेंद को बिल्कुल सही तरीके से पास किया था?
मौजूदा AI केवल अंतिम स्कोर के आधार पर अनुमान लगाता है कि कौन से वाक्य अच्छे थे। यह एक "सर्वश्रेष्ठ अनुमान" है जो अक्सर उन सूक्ष्म, रणनीतिक कदमों को चूक जाता है जो वास्तव में मायने रखते हैं।

2. समाधान: SAVOIR (एक "भविष्य-सुरक्षित" कोच)

लेखकों ने SAVOIR नामक एक नया ढांचा बनाया है (जिसका अर्थ है ShApley Value fOr SocIal RL)। इसे एक सुपर-स्मार्ट कोच के रूप में समझें जो केवल स्कोरबोर्ड को नहीं देखता; बल्कि वह हर चाल की क्षमता को देखता है।

वे गणित और गेम थ्योरी से दो मुख्य तरकीबों का उपयोग करते हैं:

तरकीब A: "क्या होगा अगर?" परिदृश्य (Expected Utility)

यह पूछने के बजाय कि "इस वाक्य ने अंतिम स्कोर पर क्या किया?", SAVOIR पूछता है, "यदि मैं यह वाक्य कहता हूँ, तो एक अच्छे भविष्य की कितनी संभावना है?"

उपमा: कल्पना कीजिए कि आप एक शतरंज के खिलाड़ी हैं। एक बुरा खिलाड़ी बोर्ड को देखता है और कहता है, "मैंने यहाँ अपना प्यादा चला, और मैं जीत गया, इसलिए वह एक अच्छा कदम था।"
SAVOIR का दृष्टिकोण: यह हजारों "क्या होगा अगर?" वाले भविष्य सिम्युलेट करता है। "अगर मैं यह अच्छी बात कहता हूँ, तो शायद दूसरा व्यक्ति मुझ पर भरोसा करेगा, और फिर हम बाद में एक सौदा कर सकेंगे।" यह एक वाक्य के तत्काल परिणाम के बजाय उसके रणनीतिक सामर्थ्य (strategic potential) को महत्व देता है। यह एक बीज बोने और उस पेड़ को महत्व देने जैसा है जो वह बन सकता है, न कि केवल उस पत्ते को जो उसने आज गिराया है।

तरकीब B: निष्पक्ष बँटवारा (Shapley Values)

एक बार जब AI को बातचीत का "भविष्य का मूल्य" पता चल जाता है, तो उसे यह पता लगाना होता है कि बोले गए सभी वाक्यों के बीच श्रेय (credit) को कैसे विभाजित किया जाए। यहीं पर Shapley Values काम आती हैं।

उपमा: कल्पना कीजिए कि दोस्तों का एक समूह (वाक्य) मिलकर एक केक (सफल बातचीत) बना रहा है।
- मित्र A आटा लाया।
- मित्र B अंडे लाया।
- मित्र C ने मिश्रण तैयार किया।
- मित्र D ने केक पकाया।
- यदि केक स्वादिष्ट है, तो आप श्रेय को कैसे बाँटेंगे?
पुराना तरीका: "मित्र D ने केक पकाया, इसलिए उन्हें 90% श्रेय मिलता है।" (यह अनुचित है; बिना आटे के, केक नहीं बन सकता था)।
SAVOIR का तरीका: यह हर संभव संयोजन का परीक्षण करने के लिए एक गणितीय सूत्र का उपयोग करता है। "क्या होगा अगर हमारे पास आटा और अंडे होते लेकिन मिश्रण नहीं होता? क्या होगा अगर मिश्रण होता लेकिन बेकिंग नहीं होती?" यह गणना करता है कि प्रत्येक वाक्य ने हर संभावित समूह में कितना अतिरिक्त मूल्य जोड़ा।
परिणाम: प्रत्येक वाक्य को उसकी सटीक भूमिका के आधार पर "उचित हिस्सा" मिलता है कि उसने टीम को जिताने में कितनी मदद की, चाहे उन्हें बोलने का क्रम कुछ भी रहा हो।

3. परिणाम: छोटा रोबोट, बड़ा दिमाग

शोधकर्ताओं ने इसे एक प्रसिद्ध सामाजिक बुद्धिमत्ता परीक्षण SOTOPIA पर परखा।

आश्चर्य: उन्होंने इस पद्धति का उपयोग करके एक अपेक्षाकृत छोटे AI मॉडल (7 बिलियन पैरामीटर्स) को प्रशिक्षित किया।
जीत: यह छोटा मॉडल विशाल, महंगे "रीज़निंग" (तर्क करने वाले) मॉडल्स (जैसे कि वे जो तर्क संबंधी पहेलियों को सुलझाने के लिए लंबा समय लेते हैं) को हरा गया और यहाँ तक कि शीर्ष-स्तरीय प्रोप्रायटरी मॉडल्स जैसे GPT-4o के बराबर भी पहुँच गया।
सबक: सामाजिक मेलजोल में अच्छा होना "ज़ोर से सोचने" या लंबी गणितीय समस्याओं को हल करने के बारे में नहीं है। यह बारीकियों, समय (timing), और रणनीति को समझने के बारे में है। "रीज़निंग" मॉडल्स बहुत अधिक विश्लेषण करने में व्यस्त थे, जबकि SAVOIR ने सामाजिक शिष्टाचार की कला को सीखा।

सारांश

SAVOIR एक AI को एक अनुभवी राजनयिक की तरह सिखाने जैसा है:

आगे देखना: वाक्यों को उनके द्वारा बनाए गए अच्छे भविष्य के आधार पर महत्व देना, न कि केवल पिछले परिणामों के आधार पर।
बिल का निष्पक्ष बँटवारा करना: यह सुनिश्चित करने के लिए गणित का उपयोग करना कि प्रत्येक वाक्य को टीम की सफलता में उसके विशिष्ट योगदान के लिए श्रेय मिले।

परिणाम? एक ऐसा AI जो एक अनुभवी राजनयिक की गरिमा के साथ जटिल मानवीय बातचीत को संचालित करना जानता है, जो यह सिद्ध करता है कि सामाजिक स्थितियों में, रणनीति, भारी-भरकम सोच (brute-force thinking) पर भारी पड़ती है।

यहाँ शोध पत्र "SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र भाषा एजेंटों (language agents) को सामाजिक बुद्धिमत्ता (social intelligence) प्रदर्शित करने के लिए प्रशिक्षित करने की चुनौती का समाधान करता है—अर्थात सामाजिक लक्ष्यों को प्राप्त करने के लिए जटिल, बहु-चरणीय (multi-turn) पारस्परिक संवादों को संचालित करने की क्षमता। जबकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक आशाजनक दृष्टिकोण है, यह एक गंभीर क्रेडिट असाइनमेंट समस्या (credit assignment problem) से ग्रस्त है: यह निर्धारित करना कि व्यक्तिगत कथनों (utterances) ने संवाद के अंतिम परिणाम में कैसे योगदान दिया।

मौजूदा विधियाँ (जैसे Sotopia-RL) एपिसोड-स्तरीय पुरस्कारों को व्यक्तिगत टर्न (turns) में वितरित करने के लिए बड़े भाषा मॉडल (LLMs) पर एक अनुमानित (heuristic) पद्धति का उपयोग करती हैं। इन दृष्टिकोणों में दो मौलिक दोष हैं:

सैद्धांतिक आधार का अभाव: क्रेडिट वितरण अनुमानित है, जिसमें निष्पक्षता या सटीकता की कोई गारंटी नहीं है।
पूर्वव्यापी पूर्वाग्रह (Retrospective Bias): वे कथनों का मूल्यांकन उनके द्वारा देखे गए परिणाम में दिए गए योगदान के आधार पर करते हैं। यह रणनीतिक क्षमता (strategic potential) को पकड़ने में विफल रहता है, जहाँ एक कथन तात्कालिक संदर्भ में मामूली लग सकता है लेकिन भविष्य के अनुकूल पथों को खोल सकता है (भावी मूल्य/prospective value)।

2. कार्यप्रणाली: SAVOIR ढांचा (Methodology: The SAVOIR Framework)

लेखक SAVOIR (ShApley Value fOr SocIal RL) प्रस्तावित करते हैं, जो क्रेडिट असाइनमेंट समस्या को हल करने के लिए सहकारी गेम थ्योरी (cooperative game theory) पर आधारित एक ढांचा है। यह दो पूरक सिद्धांतों को एकीकृत करता है:

A. भावी मूल्यांकन के लिए अपेक्षित उपयोगिता (Expected Utility for Prospective Valuation)

"इस कथन ने अंतिम परिणाम में क्या योगदान दिया?" पूछने के बजाय, SAVOIR पूछता है, "इस कथन के दिए जाने के बाद भविष्य की अंतःक्रियाओं का अपेक्षित मूल्य क्या है?"

तंत्र: कथनों के एक उपसमूह (एक गठबंधन $S$ ) के लिए, ढांचा संवाद इतिहास का पुनर्निर्माण करता है और मोंटे कार्लो रोलआउट्स (Monte Carlo rollouts) (एक पार्टनर पॉलिसी के साथ भविष्य के संवादों का अनुकरण) करता है।
मूल्य फलन ( $v(S)$ ): इसका मूल्य सिम्युलेटेड भविष्य के पथों की अपेक्षित उपयोगिता है, जिसे SOTOPIA बेंचमार्क के बहु-आयामी स्कोरिंग सिस्टम (लक्ष्य, विश्वसनीयता, संबंध, आदि) का उपयोग करके गणना किया जाता है।
लाभ: यह एक कथन की रणनीतिक क्षमता को पकड़ता है, उन कार्यों को पुरस्कृत करता है जो अनुकूल स्थितियाँ बनाने के लिए आधार तैयार करते हैं, भले ही तात्कालिक पुरस्कार कम हो।

B. निष्पक्ष क्रेडिट एट्रिब्यूशन के लिए शापली मान (Shapley Values for Fair Credit Attribution)

एक बार गठबंधनों (coalitions) का मूल्य स्थापित हो जाने के बाद, ढांचे को इस कुल मूल्य को व्यक्तिगत कथनों के बीच निष्पक्ष रूप से वितरित करना होता है।

तंत्र: SAVOIR शापली मानों (Shapley values) का उपयोग करता है, जो सहकारी गेम थ्योरी में दक्षता (efficiency), समरूपता (symmetry), और सीमांतता (marginality) के सिद्धांतों को संतुष्ट करने वाला अद्वितीय समाधान है।
गणना: किसी कथन $i$ के लिए शापली मान $\phi_i$ , कथनों के सभी संभावित क्रमों में उसके सीमांत योगदान का भारित औसत (weighted average) है।
अनुकूलन (Optimization): चूंकि सटीक शापली मानों की गणना करना कम्प्यूटेशनल रूप से कठिन है ( $2^n$ उपसमूह), लेखक KernelSHAP का उपयोग करते हैं। यह समस्या को एक भारित रैखिक प्रतिगमन (weighted linear regression) के रूप में पुनर्गठित करता है, जो सीमित रोलआउट्स के साथ कुशलतापूर्वक मानों का अनुमान लगाने के लिए चरम आकार के गठबंधनों (बहुत छोटे या बहुत बड़े) को प्राथमिकता देता है।

C. प्रशिक्षण पाइपलाइन (Training Pipeline)

डेटा संग्रह: एजेंट सामाजिक अंतःक्रिया के एपिसोड उत्पन्न करने के लिए स्वयं-खेल (self-play) में संलग्न होते हैं।
पुरस्कार मॉडलिंग: SAVOIR एल्गोरिदम इन एपिसोड के लिए सूक्ष्म, कथन-स्तरीय पुरस्कार ( $\hat{\phi}_i$ ) की गणना करता है।
नीति प्रशिक्षण: एक रिवॉर्ड मॉडल ( $R_\theta$ ) को इन SAVOIR स्कोरों की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। इसके बाद एजेंट नीति को सीखे गए रिवॉर्ड मॉडल का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और फिर ऑनलाइन RL (GRPO) के माध्यम से अनुकूलित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक ढांचा: SAVOIR का परिचय, जो अपेक्षित उपयोगिता (भावी रणनीतिक मूल्यांकन के लिए) और शापली मानों (तार्किक, निष्पक्ष क्रेडिट वितरण के लिए) को सामाजिक RL में संयोजित करने वाला पहला ढांचा है।
सर्वश्रेष्ठ प्रदर्शन (State-of-the-Art Performance): यह प्रदर्शित किया गया कि SAVOIR के साथ प्रशिक्षित एक 7B पैरामीटर मॉडल (Qwen2.5-7B) SOTOPIA बेंचमार्क पर मालिकाना मॉडलों (GPT-4o, Claude-3.5-Sonnet) के बराबर या उनसे बेहतर प्रदर्शन करता है।
तर्क बनाम सामाजिक बुद्धिमत्ता पर अंतर्दृष्टि: यह खुलासा किया कि लार्ज रीजनिंग मॉडल्स (जैसे, OpenAI-o1, DeepSeek-R1) सामाजिक कार्यों पर लगातार खराब प्रदर्शन करते हैं। यह सुझाव देता है कि सामाजिक बुद्धिमत्ता उन विश्लेषणात्मक क्षमताओं से भिन्न है जिनमें ये मॉडल उत्कृष्ट हैं।
मानवीय सत्यापन: विशेषज्ञ मानवीय मूल्यांकन ने पुष्टि की कि SAVOIR अधिक रणनीतिक प्रतिक्रियाएं उत्पन्न करता है और इसका रिवॉर्ड मॉडल क्रेडिट निष्पक्षता और भविष्य की क्षमता के संबंध में मानवीय अंतर्ज्ञान के साथ बेहतर तालमेल रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क: SOTOPIA (दोनों "All" और "Hard" स्प्लिट्स) पर दो सेटिंग्स के साथ मूल्यांकन किया गया: स्वयं-खेल (Self-Play) और GPT-4o-एज़-पार्टनर।
प्रदर्शन:
- SOTOPIA-Hard (GPT-4o पार्टनर) पर, SAVOIR ने 7.18 का गोल स्कोर प्राप्त किया, जो सबसे मजबूत बेसलाइन (Sotopia-RL) से 7.5% अधिक है।
- स्वयं-खेल (Self-Play) में, SAVOIR (7.93) ने DSI (7.31) और Sotopia-RL (7.81) को पछाड़ दिया।
- 7B SAVOIR मॉडल ने GPT-4o (Self-Play All में 8.19 बनाम 8.43) और Claude-3.5-Sonnet को पीछे छोड़ दिया।
एब्लेशन अध्ययन (Ablation Studies):
- अपेक्षित उपयोगिता (Expected Utility) को हटाने (केवल अंतिम परिणामों का उपयोग करने) से प्रदर्शन में कमी आई।
- शापली मानों (Shapley Values) को हटाने (अनुमानित एट्रिब्यूशन का उपयोग करने) से भी प्रदर्शन में कमी आई।
- दोनों का संयोजन सर्वोत्तम परिणाम देता है, जो यह सिद्ध करता है कि दोनों घटक अलग-अलग सीमाओं (मूल्य अनुमान बनाम वितरण) को संबोधित करते हैं।
स्केलिंग: रिवॉर्ड मॉडल प्रशिक्षण डेटा को 2K से बढ़ाकर 7.5K एपिसोड करने से गोल स्कोर में 15.2% की वृद्धि हुई, जो दर्शाता है कि यह विधि डेटा के साथ अच्छी तरह से स्केल होती है।

5. महत्व और निहितार्थ (Significance and Implications)

प्रतिमान परिवर्तन (Paradigm Shift): SAVOIR सामाजिक RL को पूर्वव्यापी, अनुमानित पुरस्कार असाइनमेंट से भावी, सिद्धांत-आधारित मूल्यांकन की ओर ले जाता है। यह एजेंटों को "सोशल सेवोर-फेयर" (social savoir-faire) सीखने में सक्षम बनाता है—अर्थात भविष्य की सफलता को सक्षम करने के लिए उपयुक्त रूप से कार्य करने की कला।
सामाजिक बुद्धिमत्ता की प्रकृति: तर्क-प्रधान मॉडल्स का कम प्रदर्शन यह बताता है कि सामाजिक अंतःक्रिया के लिए एक गुणात्मक रूप से भिन्न कौशल (अंतर्ज्ञान, तालमेल बनाना, रणनीतिक स्थिति बनाना) की आवश्यकता होती है, जो केवल बढ़ी हुई कम्प्यूटेशनल गहराई या चेन-ऑफ-थॉट रीजनिंग का परिणाम नहीं है।
भविष्य की दिशाएं: यह कार्य गेम थ्योरी और AI को जोड़ता है, जो मल्टी-एजेंट सिस्टम में क्रेडिट असाइनमेंट के लिए एक मजबूत गणितीय आधार प्रदान करता है। यह सामाजिक बुद्धिमत्ता को और अधिक सामान्य बनाने के लिए विविध भागीदारों और क्रॉस-सांस्कृतिक मूल्यांकन के साथ करिकुलम लर्निंग की आवश्यकता पर बल देता है।

निष्कर्षतः, SAVOIR यह प्रदर्शित करता है कि गेम थ्योरी के माध्यम से सामाजिक चालों के "मूल्य" को गणितीय रूप से औपचारिक बनाकर, छोटे, विशिष्ट मॉडल जटिल सामाजिक वातावरणों में विशाल, सामान्य-उद्देश्य वाले रीजनिंग मॉडल्स से बेहतर प्रदर्शन कर सकते हैं।