💬 NLP

Distilling Bayesian Belief States into Language Models for Auditable Negotiation

यह शोध पत्र BOND को प्रस्तुत करता है, जो एक LLM-आधारित बेयसियन शिक्षक के स्पष्ट प्रतिद्वंद्वी-विश्वास अनुमान (opponent-belief inference) को एक छोटे 8B छात्र मॉडल में संकुचित (distill) करने वाला एक ढांचा है, जो अत्याधुनिक बेसलाइनों की तुलना में बेहतर बातचीत प्रदर्शन और ऑडिट करने योग्य विश्वास ट्रैकिंग प्राप्त करता है।

मूल लेखक: Zongqi Cui, Baihan Lin

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zongqi Cui, Baihan Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हाई-स्टेक्स पोकर गेम देख रहे हैं। आप एक खिलाड़ी को एक चाल चलते हुए देखते हैं, लेकिन आपको पता ही नहीं कि उसने वह चाल क्यों चली। क्या उसने इसलिए ब्लफ किया क्योंकि उसे लगा कि आप कमजोर हैं? या उसने इसलिए फोल्ड किया क्योंकि उसे पता था कि उसके पास हारने वाला हाथ है? या वह बस अंदाज़ा लगा रहा था?

AI नेगोसिएशन (मोलभाव) की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) उन पोकर खिलाड़ियों की तरह हैं। वे बहुत धाराप्रवाह तरीके से बातचीत कर सकते हैं और सौदे कर सकते हैं, लेकिन उनकी "सोचने की प्रक्रिया" एक ब्लैक बॉक्स के अंदर छिपी होती है। हम यह नहीं देख सकते कि दूसरे व्यक्ति की प्राथमिकताओं के बारे में उनका क्या विश्वास है, जिससे उनके निर्णयों पर भरोसा करना या उन्हें डीबग करना कठिन हो जाता है।

यह पेपर एक नया सिस्टम पेश करता है जिसे BOND (Bayesian Opponent-belief Negotiation Distillation) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, इसे सरल उपमाओं का उपयोग करके यहाँ समझाया गया है:

1. समस्या: "ब्लैक बॉक्स" नेगोशिएटर

वर्तमान AI नेगोशिएटर्स जादूगरों की तरह हैं। वे टोपी से खरगोश बाहर निकालते हैं (एक सौदा करते हैं), लेकिन आप न तो खरगोश देख सकते हैं और न ही टोपी। यदि AI कहता है, "मैं आपको जलाऊँ (firewood) दूँगा," तो आप नहीं जानते कि क्या वह सोचता है कि आपको जलाऊँ पसंद है, या वह बस वही दोहरा रहा है जो उसने पहले सुना था। यह AI को "अनऑडिटेबल" (अनेखा योग्य) बनाता है—आप इसकी गणित की जाँच नहीं कर सकते।

2. समाधान: "टीचर-स्टूडेंट" टीम

लेखकों ने AI की सोच को दृश्यमान बनाने के लिए दो-भागों वाला एक सिस्टम बनाया है।

टीचर (गणितज्ञ): यह एक स्मार्ट AI है जो एक जासूस की तरह काम करता है। यह बातचीत को सुनता है और पूछता है, "दूसरे व्यक्ति की बातों के आधार पर, इसकी क्या संभावना है कि वे सबसे अधिक भोजन, पानी या जलाऊ (firewood) को महत्व देते हैं?"
- केवल अनुमान लगाने के बजाय, टीचर हर एक वाक्य के बाद अपने विश्वासों को अपडेट करने के लिए एक गणितीय पद्धति (बेयसियन इन्फरेंस) का उपयोग करता है। यह छह संभावित तरीकों का एक रनिंग स्कोरकार्ड रखता है जिनसे विरोधी वस्तुओं को प्राथमिकता दे सकता है।
- परिणाम: टीचर जानता है कि वह दूसरे व्यक्ति के बारे में क्या सोचता है, और वह आपको वह स्कोरकार्ड दिखा सकता है।
स्टूडेंट (अभिनेता): टीचर गणित में बहुत अच्छा है लेकिन धीमा और महंगा है। इसलिए, लेखकों ने टीचर के दिमाग को एक छोटे, तेज़ AI जिसे स्टूडेंट कहा जाता है, में "डिस्टिल" (कंप्रेस) कर दिया है।
- स्टूडेंट, टीचर की तरह कार्य करना सीखता है। लेकिन यहाँ एक जादुई ट्रिक है: जब स्टूडेंट बोलता है, तो वह केवल यह नहीं कहता, "मैं आपका प्रस्ताव स्वीकार करता हूँ।" बल्कि वह अपनी आंतरिक स्कोरकार्ड को दुनिया के सामने फुसफुसाता भी है।
- यह एक टैग आउटपुट करता है जैसे: <posterior> मुझे 80% यकीन है कि आपको पानी चाहिए, 15% जलाऊ, 5% भोजन </posterior>।
- यह AI की विश्वास अवस्था को ऑडिटेबल बनाता है। आप देख सकते हैं कि कार्य करने से पहले उसने क्या सोचा था।

3. प्रयोग: कैंपसाइट गेम

इसका परीक्षण करने के लिए, उन्होंने CaSiNo नामक एक डेटासेट का उपयोग किया, जो दो लोगों के बीच एक कैंपसाइट के लिए मोलभाव करने का अनुकरण (simulate) करता है। उन्हें तीन वस्तुओं को विभाजित करना होता है: भोजन, पानी और जलाऊ।

प्रत्येक व्यक्ति के पास एक गुप्त प्राथमिकता सूची होती है (जैसे, "मुझे पानी सबसे ज्यादा चाहिए, फिर जलाऊ, फिर भोजन")।
AI का काम दूसरे व्यक्ति की गुप्त सूची का पता लगाना और एक निष्पक्ष सौदा करना है।

4. परिणाम: पारदर्शिता के लिए छोटा होना बेहतर है

पेपर ने कुछ आश्चर्यजनक बातें पाईं:

टीचर विरोधी की प्राथमिकताओं का अनुमान लगाने में बहुत अच्छा था (एक "ब्रायर स्कोर" 0.085, जो बहुत कम और अच्छा है)।
स्टूडेंट (छोटा, तेज़ मॉडल) ने टीचर की सोच की नकल करने में बहुत अच्छी तरह से महारत हासिल की। इसने 0.114 का स्कोर प्राप्त किया।
बड़ा प्रतियोगी: उन्होंने इसकी तुलना 70-बिलियन पैरामीटर वाले एक विशाल AI ("70B बेसलाइन") से की। हालांकि बड़ा AI अंतिम सही सौदा करने में थोड़ा बेहतर था, लेकिन वह यह समझाने में बहुत खराब था कि उसने ऐसा क्यों किया। उसके आंतरिक अनुमान भ्रमित और अनकैलिब्रेटेड थे (स्कोर 0.194)।
निष्कर्ष: पारदर्शिता के लिए छोटा 8-बिलियन पैरामीटर वाला स्टूडेंट विजेता है। यह आसानी से चलाने के लिए पर्याप्त छोटा है लेकिन इतना स्मार्ट है कि वह अपने "कामकाज" को स्पष्ट रूप से दिखा सके।

5. पकड़: "फुसफुसाहट" बनाम "क्रिया"

पेपर में एक छोटी सी खामी भी मिली। जबकि स्टूडेंट यह रिपोर्ट करने में बहुत अच्छा है कि वह क्या मानता है, वह हमेशा उन विश्वासों के आधार पर कार्य नहीं करता है।

कल्पना कीजिए कि एक छात्र सवाल का सही उत्तर देने के लिए हाथ उठाता है (विश्वास) लेकिन फिर परीक्षा में गलत उत्तर लिख देता है (क्रिया)।
लेखकों ने पाया कि AI ने अपने विश्वासों को सटीक रूप से "फुसफुसाने" के बारे में तो सीख लिया, लेकिन उस फुसफुसाहट और उसके अंतिम निर्णय के बीच का संबंध कभी-कभी कमजोर था। यह ऐसा है जैसे AI ने रिपोर्ट कार्ड को पूरी तरह से भरना सीख लिया, लेकिन कभी-कभी उस रिपोर्ट कार्ड का उपयोग अपने अगले कदम को निर्देशित करने के लिए करने में भूल गया।

सारांश

BOND एक ऐसा फ्रेमवर्क है जो एक AI नेगोशिएटर को अपना होमवर्क दिखाने के लिए मजबूर करता है। केवल आपको एक सौदा देने के बजाय, यह आपको बताता है, "मुझे लगता है कि आपको X चाहिए, इसलिए मैं Y की पेशकश कर रहा हूँ।"

यह क्यों मायने रखता है: यह एक रहस्यमयी "ब्लैक बॉक्स" AI को एक पारदर्शी भागीदार में बदल देता है जहाँ आप उसके विश्वासों को देख सकते हैं, यह जाँच सकते हैं कि वे गलत हैं या नहीं, और समझ सकते हैं कि उसने गलती क्यों की।
सीमा: पेपर स्वीकार करता है कि हालांकि AI अब पारदर्शी है, लेकिन इसने अभी तक उन विश्वासों का उपयोग करके पूर्ण निर्णय लेने की कला में पूरी तरह से महारत हासिल नहीं की है। यह "ऑडिटेबल" AI की ओर एक कदम है, जहाँ आप सिस्टम पर इसलिए भरोसा कर सकते हैं क्योंकि आप उसके परिणामों को ही नहीं, बल्कि उसके तर्क को भी देख सकते हैं।

तकनीकी सारांश: ऑडिट करने योग्य बातचीत के लिए बेयसियन विश्वास अवस्थाओं का भाषा मॉडलों में आसवन (Distilling Bayesian Belief States into Language Models for Auditable Negotiation)

समस्या विवरण

बातचीत करने वाले एजेंटों (negotiation agents) को प्रतिद्वंद्वी के छिपे हुए मूल्यों का अनुमान लगाने, संवाद के दौरों के माध्यम से इन विश्वासों को अपडेट करने और अनिश्चितता के तहत क्रियाएं चुनने की आवश्यकता होती है। जबकि एंड-टू-एंड लार्ज लैंग्वेज मॉडल्स (LLMs) प्रवाहपूर्ण बातचीत उत्पन्न कर सकते हैं, उनके आंतरिक प्रतिनिधित्व आमतौर पर प्रतिद्वंद्वी के विश्वासों के प्रति निहित (implicit) और अपारदर्शी होते हैं। पारदर्शिता की यह कमी यह अंतर करना कठिन बना देती है कि किसी एजेंट की क्रिया एक स्थिर, अपडेटेड मॉडल से उपजी है या केवल सतही संवाद नकल (dialogue imitation) से। इसके विपरीत, पारंपरिक बेयसियन संज्ञानात्मक मॉडल स्पष्ट प्रायर्स (priors), संभावनाओं (likelihoods) और पोस्टीरियर्स (posteriors) प्रदान करते हैं, लेकिन वे अक्सर हाथ से डिज़ाइन किए गए लाइकलीहुड फंक्शन्स पर निर्भर होते हैं जो मुक्त-रूप, रणनीतिक बातचीत की भाषा के अनुकूल नहीं होते। मुख्य चुनौती LLMs के भाषाई लचीलेपन को बेयसियन निष्कर्ष (Bayesian inference) की व्याख्यात्मकता के साथ जोड़ना है ताकि एक ऐसा वार्ताकार एजेंट बनाया जा सके जो प्रभावी भी हो और ऑडिट करने योग्य (auditable) भी।

कार्यप्रणाली: BOND फ्रेमवर्क

लेखक BOND (Bayesian Opponent-belief Negotiation Distillation) प्रस्तावित करते हैं, जो भाषा व्याख्या, विश्वास संशोधन और क्रिया चयन को अलग करने वाला एक मॉड्यूलर फ्रेमवर्क है। यह प्रणाली CaSiNo वार्तालाप डोमेन में संचालित होती है, जहाँ दो प्रतिभागी तीन वस्तुओं (भोजन, जल, जलाऊ लकड़ी) पर निजी प्राथमिकता क्रमों के साथ बातचीत करते हैं। हाइपोथीसिस स्पेस छह संभावित प्राथमिकता क्रमों ( $\Theta$ , जहाँ $|\Theta|=6$ ) से बना है।

1. बेयसियन शिक्षक (The Bayesian Teacher)

शिक्षक एजेंट एक "ब्लैक-बॉक्स पॉलिसी" के बजाय एक "लाइकलीहुड एस्टिमेटर" के रूप में कार्य करता है। इसके आर्किटेक्चर में चार चरण शामिल हैं:

भाषा स्कोरिंग (Language Scoring): एक LLM (Llama-3.1-8B-Instruct with LoRA) देखे गए संवाद संदर्भ की प्रत्येक छह संभावित प्रतिद्वंद्वी प्राथमिकता क्रमों के साथ अनुकूलता को स्कोर करता है। ये स्कोर लाइकलीहुड जैसे संकेत के रूप में कार्य करते हैं।
बेयसियन अपडेट (Bayesian Update): एक बेयसियन मॉड्यूल इन स्कोरों को छह क्रमों पर एक पोस्टीरियर वितरण में परिवर्तित करता है, जिसका सूत्र है:
$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$
जहाँ $\tilde{L}_t$ तापमान-स्केल्ड (temperature-scaled) और क्लिप्ड लाइकलीहुड स्कोर है। प्रायर (prior) प्रारंभ में यूनिफॉर्म होता है।
मेन्यू स्कोरिंग (Menu Scoring): एजेंट व्यवहार्य आवंटनों (allocations) को सूचीबद्ध करता है और उन्हें अपने स्वयं के उपयोगिता (utility) और पोस्टीरियर पर मार्जिनलाइज किए गए प्रतिद्वंद्वी की अपेक्षित उपयोगिता के आधार पर स्कोर करता है।
निर्णय (Decision): एजेंट मेन्यू स्कोर के आधार पर क्रिया चुनता है (स्वीकार, अस्वीकार, काउंटर-ऑफर, आदि)।

2. छात्र में आसवन (Distillation to the Student)

लेखक इस बेयसियन शिक्षक को एक छोटे 8B छात्र मॉडल में आसवित (distill) करते हैं। मानक एंड-टू-एंड एजेंटों के विपरीत, छात्र को एक संरचित, टैग किया गया आउटपुट उत्सर्जित करने के लिए प्रशिक्षित किया जाता है जिसमें शामिल है:

<posterior>: छह प्रतिद्वंद्वी प्राथमिकता क्रमों पर एक सामान्यीकृत संभाव्यता वितरण।
<selected_intent>: चुना गया इरादा (जैसे, सबमिट, स्वीकार, अस्वीकार)।
<selected_content>: यदि लागू हो तो विशिष्ट आवंटन।
<utterance>: प्राकृतिक भाषा प्रतिक्रिया।

यह डिज़ाइन विश्वास अवस्था (belief state) को बाहरी बनाता है, जिससे हर मोड़ पर इसे स्कोर और निरीक्षण किया जा सकता है।

3. मूल्यांकन प्रोटोकॉल

इस प्रणाली का मूल्यांकन 150 CaSiNo संवादों (1,054 टर्न-स्तरीय भविष्यवाणियों) के होल्ड-आउट सेट पर किया गया है। मुख्य मेट्रिक्स हैं:

पोस्टीरियर ब्रायर स्कोर (Posterior Brier Score): वास्तविक प्रतिद्वंद्वी क्रम के विरुद्ध भविष्यित संभाव्यता वितरण के अंशांकन (calibration) को मापता है।
एसेप्ट प्रेडिक्शन (Accept Prediction F1): स्वीकार/अस्वीकार निर्णयों की सटीकता।
बिड समानता (Bid Similarity): भविष्यित आवंटन और मानव आवंटन के बीच कोसाइन समानता।
ऑडिटेबिलिटी डायग्नोस्टिक्स (Auditability Diagnostics): त्रुटियों को "विश्वास त्रुटियों" (गलत पोस्टीरियर) बनाम "पॉलिसी त्रुटियों" (पोस्टीरियर के आधार पर गलत क्रिया) में विभाजित करना और उन हस्तक्षेपों का विश्लेषण करना जहाँ पोस्टीरियर टैग को जबरदस्ती बदला गया।

मुख्य परिणाम

पोस्टीरियर अंशांकन और आसवन (Posterior Calibration and Distillation)

शिक्षक प्रदर्शन: बेयसियन शिक्षक छह प्रतिद्वंद्वी-प्राथमिकता परपिकों के लिए 0.085 का औसत ब्रायर स्कोर प्राप्त करता है, जो $5/36 \approx 0.139$ के यूनिफॉर्म रेफरेंस से काफी बेहतर है।
छात्र प्रदर्शन: आसवित 8B छात्र इस सिग्नल को काफी हद तक सुरक्षित रखता है, 0.114 का ब्रायर स्कोर प्राप्त करता है। यह भी यूनिफॉर्म रेफरेंस से काफी नीचे है, जो दर्शाता है कि छात्र सफलतापूर्वक कैलिब्रेटेड विश्वास अवस्था उत्सर्जित करना सीख गया है।
70B बेसलाइन के साथ तुलना: एक 70B स्ट्रक्चर्ड चेन-ऑफ-थॉट (CoT) बेसलाइन उच्च Accept-F1 (0.947 बनाम 0.908) प्राप्त करती है, लेकिन एक कैलिब्रेटेड पोस्टीरियर प्रदान करने में विफल रहती है। जब इसे सेल्फ-कंसिस्टेंसी के माध्यम से पोस्टीरियर उत्सर्पित करने के लिए मजबूर किया गया, तो 70B बेसलाइन 0.194 का ब्रायर स्कोर प्राप्त करती है, जो यूनिफॉर्म रेफरेंस से भी खराब और 8B छात्र से काफी खराब है।

ऑडिटेबिलिटी और त्रुटि अपघटन (Auditability and Error Decomposition)

त्रुटियों का पृथक्करण: 181 निर्णय मोड़ों का विश्लेषण प्रकट करता है कि विश्वास त्रुटियां और क्रिया त्रुटियां अलग करने योग्य हैं। उदाहरण के लिए, 67 मोड़ों में सही MAP (मैक्सिमम ए पोस्टेरिओरी) विश्वास था लेकिन एक असंगत क्रिया थी, जबकि 27 मोड़ों में गलत विश्वास था लेकिन उस गलत विश्वास के अनुरूप क्रिया थी।
हस्तक्षेप सीमाएं (Intervention Limits): जब पोस्टीरियर टैग को जबरदस्ती सही-प्रिफिक्स (correct-prefix) या गलत मान (adversarial-prefix) से बदला गया, तो छात्र की क्रिया केवल 1.5% से 1.8% मामलों में बदली। यह सुझाव देता है कि हालांकि छात्र विश्वासों को सटीक रूप से रिपोर्ट करना सीखता है, लेकिन रिपोर्ट किए गए पोस्टीरियर और क्रिया चयन के बीच का कारण संबंध (causal coupling) - यानी "पोस्टीरियर $\to$ प्लानर" निर्भरता - आसवित छात्र में शिक्षक की तुलना में कमजोर है।

एब्लेशन निष्कर्ष (Ablation Findings)

पूर्ण-संदर्भ बनाम वृद्धिशील (Full-Context vs. Incremental): शिक्षक पूरे संवाद संदर्भ को स्कोर करने पर निर्भर करता है। एक वृद्धिशील दृष्टिकोण (केवल नवीनतम कथन को स्कोर करना) विफल रहा, जिसने यूनिफॉर्म से भी खराब पोस्टीरियर उत्पन्न किए, जो इंगित करता है कि LLM का अटेंशन मैकेनिज्म टेम्पोरल साक्ष्य एकीकरण के लिए महत्वपूर्ण है।
टैग की भूमिका: प्रशिक्षण के दौरान पोस्टीरियर टैग को हटाना (Action-only student) परिणामस्वरूप थोड़े बेहतर निर्णय मेट्रिक्स (Accept-F1 0.921) की ओर ले गया, जो पुष्टि करता है कि पोस्टीरियर टैग का प्राथमिक मूल्य निरीक्षण क्षमता (inspectability) है, न कि निर्णय प्रदर्शन।

महत्व और दावे

यह पेपर यह दावा नहीं करता है कि आसवित छात्र जीतने वाले परिणामों के मामले में श्रेष्ठ नीति है; वास्तव में, 70B बेसलाइन निर्णय मेट्रिक्स पर बेहतर प्रदर्शन करती है। इसके बजाय, BOND का महत्व ऑडिटेबिलिटी में है:

बाहरीकृत विश्वास अवस्थाएं (Externalized Belief States): फ्रेमवर्क एक छोटे मॉडल में एक वैध, स्कोर करने योग्य विश्वास इंटरफ़ेस को सफलतापूर्वक आसवित करता है। छात्र हर मोड़ पर एक कैलिब्रेटेड पोस्टीरियर वितरण को उजागर करता है, जिससे शोधकर्ताओं को "गलत-विश्वास" विफलताओं और "सही-विश्वास/गलत-क्रिया" विफलताओं के बीच अंतर करने की अनुमति मिलती है।
ब्लैक-बॉक्स प्रदर्शन पर पारदर्शिता: यह कार्य प्रदर्शित करता है कि एक छोटा मॉडल (8B) एक ऐसा वैध विश्वास राज्य उजागर कर सकता है जो स्ट्रक्चर्ड प्रॉम्प्टिंग का उपयोग करने वाले बहुत बड़े मॉडल (70B) की तुलना में बेहतर ढंग से कैलिब्रेटेड है।
वर्तमान आसवन की सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) आसवन विश्वासों के रिपोर्टिंग को निर्णय लेने के लिए उनके कारण उपयोग की तुलना में अधिक प्रभावी ढंग से स्थानांतरित करता है। छात्र में कमजोर विश्वास-क्रिया जुड़ाव यह सुझाव देता है कि भविष्य के ऑडिट करने योग्य एजेंटों को यह सुनिश्चित करने के लिए कि क्रियाएं रिपोर्ट किए गए विश्वासों पर सख्ती से आधारित हों, कंस्ट्रेंड डिकोडिंग या सहायक प्लानिंग लॉस की आवश्यकता होगी।

संक्षेप में, BOND एक तरीका प्रदान करता है जिससे बातचीत करने वाले एजेंट के छिपे हुए प्रतिद्वंद्वी मॉडल को स्पष्ट, आसवित और स्कोर करने योग्य बनाया जा सके, जो यह समझने के लिए एक नया नैदानिक लेंस प्रदान करता है कि बातचीत करने वाले एजेंट क्यों और कहाँ विफल होते हैं।