🤖 AI

TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate

यह शोधपत्र Terms-Bench को प्रस्तुत करता है, जो एक बेयसियन-गेम (Bayesian-game) ढांचा है जो एक ज्ञात प्रतिपक्षी सिम्युलेटर (counterpart simulator) का उपयोग करके वार्तालाप मूल्यांकन को कुल सौदे-दर रैंकिंग से बदलकर अधिशेष निष्कर्षण (surplus extraction), विश्वास अंशांकन (belief calibration) और रणनीतिक अनुपालन (strategic compliance) में विशिष्ट एजेंट विफलताओं को सटीक रूप से पहचानने वाले सुधारात्मक नैदानिक विश्लेषण में परिवर्तित करता है।

मूल लेखक: Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मास्टर नेगोशिएटर (कुशल वार्ताकार) बनना सिखाने की कोशिश कर रहे हैं। अतीत में, शोधकर्ताओं ने इन रोबोट्स का परीक्षण अन्य रोबोट्स के साथ मोलभाव करवाकर किया था। वे केवल अंतिम परिणाम देखते थे: "क्या उन्होंने सौदा किया? हाँ या ना?"

इस दृष्टिकोण के साथ समस्या वैसी ही है जैसे किसी शेफ का न्याय केवल इस आधार पर करना कि ग्राहक ने भोजन खाया या नहीं, बिना भोजन का स्वाद चखे। यदि रोबोट ने सौदा तो कर लिया, लेकिन उचित कीमत मांगने में डरकर सारा मुनाफा लुटा दिया, तो पुराना परीक्षण अभी भी कहेगा: "बहुत अच्छा काम! सौदा हो गया!" यह इस तथ्य को नजरअंदाज कर देता था कि रोबोट वास्तव में काम के रणनीति वाले हिस्से में बहुत खराब था।

यह पेपर इन AI वार्ताकारों को परखने का एक नया, अधिक स्मार्ट तरीका पेश करता है, जिसे TERMS-BENCH कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "स्क्रिप्टेड प्रतिपक्षी" (सत्यापनकर्ता के रूप में वातावरण)

पुराने परीक्षणों में, रोबोट एक अन्य "ब्लैक बॉक्स" AI के विरुद्ध बातचीत करता था। आपको यह पता नहीं चलता था कि दूसरा AI क्या सोच रहा है, इसलिए आप यह नहीं बता सकते थे कि आपका रोबोट इसलिए विफल हुआ क्योंकि वह बुरा था, या इसलिए क्योंकि दूसरा AI अजीब था।

TERMS-BENCH में, शोधकर्ताओं ने एक सिम्युलेटेड प्रतिपक्षी (Simulated Opponent) बनाया है जो एक सख्त, अनुमानित अभिनेता की तरह है जो एक छिपी हुई स्क्रिप्ट का पालन करता है।

स्क्रिप्ट: प्रतिपक्षी के पास एक गुप्त "रिजर्वेशन प्राइस" (वह न्यूनतम कीमत जिस पर वह बेचेगा या अधिकतम जिस पर वह खरीदेगा), एक "अर्जेंसी लेवल" (वह कितना समय का दबाव महसूस करता है), और एक "व्यक्तित्व" (आक्रामक, मिलनसार, या तटस्थ) होता है।
ट्विस्ट: AI एजेंट इन रहस्यों को नहीं जानता। उसे ये अनुमान लगाने होते हैं कि प्रतिपक्षी क्या सोच रहा है।
सत्यापनकर्ता (Verifier): शोधकर्ता इन रहस्यों को जानते हैं। क्योंकि वे स्क्रिप्ट को जानते हैं, वे AI के प्रदर्शन को देखकर ठीक से बता सकते हैं कि वह क्यों विफल हुआ। क्या वह इसलिए विफल हुआ क्योंकि वह प्रतिपक्षी की कीमत का अनुमान नहीं लगा सका? क्या वह इसलिए विफल हुआ क्योंकि वह प्रतिपक्षी के मिलनसार लहजे से भ्रमित हो गया? या क्या उसने सही उत्तर जानते हुए भी गलत चाल चली?

2. प्रतिपक्षी के "छह व्यक्तित्व प्रकार"

AI को कठिन चुनौती देने के लिए, शोधकर्ताओं ने केवल एक प्रकार के प्रतिपक्षी का उपयोग नहीं किया। उन्होंने छह अलग-अलग "परिवारों" के प्रतिपक्षी बनाए, जो एक वीडियो गेम के विभिन्न पात्रों की तरह हैं:

ईमानदार वाला (Candid): जो जैसा है वैसा ही कहता है। यदि वह मिलनसार है, तो वह मिलनसार व्यवहार करता है।
मौन रहने वाला (Taciturn): इसमें ईमानदार वाले के समान ही आर्थिक नियम होते हैं, लेकिन यह बहुत कम बोलता है। यह परीक्षण करता है कि क्या AI संकेतों के बिना चीजों को समझ सकता है।
प्रतिक्रियाशील वाला (Expressive): यह AI के व्यवहार के आधार पर अपना व्यवहार बदलता है। यदि AI आक्रामक होता है, तो यह प्रतिपक्षी और भी अधिक आक्रामक हो जाता है।
रणनीतिकार (Strategic): यह 'रिएक्टिव' की तरह व्यवहार करता है लेकिन अपनी बातों में अपनी सच्ची भावनाओं को छिपा लेता है। यह भेष बदलने में माहिर है।
अराजक वाला (Stochastic): यह AI को घबराहट पैदा करने के लिए यादृच्छिक शोर (random noise) और भ्रमित करने वाले संकेत देता है।
बुलिंग वाला (Adversarial): यह हमेशा AI को डराने की कोशिश करता है।

इन सभी अलग-अलग "पात्रों" के खिलाफ AI का परीक्षण करके, शोधकर्ता सटीक रूप से पहचान सकते हैं कि AI में किस कौशल की कमी है।

3. "जादुई चश्मा" (ओरेकल इंटरवेंशन)

यह इस पेपर का सबसे चतुर हिस्सा है। कभी-कभी एक AI विफल हो जाता है, लेकिन हमें यह नहीं पता होता कि यह इसलिए हुआ क्योंकि वह मूर्ख है (प्रतिपक्षी को समझने में असमर्थ) या वह अकुशल है (उत्तर जानता है लेकिन गलत चाल चलता है)।

शोधकर्ता एक "जादुई चश्मे" के तरीके का उपयोग करते हैं:

बेस टेस्ट: AI सामान्य रूप से बातचीत करता है, प्रतिपक्षी के रहस्यों का अनुमान लगाता है।
"पोस्टीरियर" चश्मा: वे AI को एक चीट शीट देते हैं जो कहती है, "यहाँ वह सटीक संभावना है कि प्रतिपक्षी क्या सोच रहा है।" यदि AI फिर भी विफल होता है, तो इसका मतलब है कि वह जानकारी पर कार्य करने में बुरा है, न कि जानकारी प्राप्त करने में।
"रिवीलड टाइप" चश्मा: वे AI को प्रतिपक्षी की सटीक गुप्त कीमत और व्यक्तित्व बताते हैं। यदि AI फिर भी एक अच्छा सौदा नहीं कर पाता है, तो इसका मतलब है कि वह पूर्ण जानकारी होने पर भी सही चालें चलने में बहुत बुरा है।

यह विफलता को तीन भागों में विभाजित करने की अनुमति देता है:

इन्फरेंस फेलियर (Inference Failure): "आप प्रतिपक्षी की कीमत का अनुमान नहीं लगा सके।"
अनसर्टेन्टी फेलियर (Uncertainty Failure): "एक अच्छा अनुमान होने के बावजूद, आप कार्य करने के लिए बहुत अनिश्चित थे।"
कंट्रोल फेलियर (Control Failure): "आप उत्तर जानते थे, लेकिन आपने एक अकुशल चाल चली।"

4. उन्होंने क्या पाया

जब उन्होंने 13 सबसे स्मार्ट AI मॉडल्स (जैसे क्लॉड, GPT-5, और जेमिनी) का परीक्षण किया, तो उन्हें कुछ आश्चर्यजनक बातें पता चलीं:

"डील रेट" का झूठ: लगभग सभी AI मॉडल सौदा करने में बहुत अच्छे थे (95%+ सफलता दर)। लेकिन पुराने परीक्षण वहीं रुक जाते थे।
असली अंतर: जब उन्होंने देखा कि AI ने कितना मुनाफा कमाया, तो परिणाम बहुत अलग-अलग थे। कुछ मॉडल्स ने बेहतरीन सौदे किए; अन्य ने सौदे तो किए लेकिन लगभग सारा पैसा लुटा दिया।
"क्यू" (संकेत) का जाल: कई AI प्रतिपक्षी के लहजे से धोखा खा गए। यदि प्रतिपक्षी मिलनसार या दबाव डालने वाला लग रहा था, तो AI अक्सर बहुत अधिक पैसा छोड़ देता था, भले ही गणित कहता कि उसे ऐसा नहीं करना चाहिए।
अलग-अलग बाधाएं: कुछ AI प्रतिपक्षी के मन को समझने में खराब थे। अन्य अनुमान लगाने में तो अच्छे थे लेकिन अंतिम चाल चलने में कमजोर थे।

निष्कर्ष

यह पेपर तर्क देता है कि हमें केवल "सौदा हुआ" गिनना बंद करना चाहिए और यह निदान करना शुरू करना चाहिए कि सौदा कैसे किया गया। TERMS-BENCH एक AI वार्ताकारों के लिए मेडिकल स्कैन की तरह है। केवल यह कहने के बजाय कि "मरीज स्वस्थ है" (सौदा हुआ), यह आपको बताता है कि कौन सा अंग विफल हो रहा है (जैसे, "AI भावनात्मक संकेतों को पढ़ने में बुरा है" या "AI समय के दबाव को नहीं संभाल सकता")।

यह डेवलपर्स को यह जानने में मदद करता है कि उन्हें ठीक रूप से क्या सुधारना है: क्या उन्हें AI को कम भावुक होने के लिए प्रशिक्षित करने की आवश्यकता है? क्या उन्हें दबाव को अनदेखा करना सिखाने की आवश्यकता है? या उन्हें साहसी कदम उठाने के लिए सिखाने की आवश्यकता है? यह एक साधारण रैंकिंग सूची को एक विस्तृत निर्देश पुस्तिका में बदल देता है।

तकनीकी सारांश: TERMS-BENCH

समस्या विवरण (Problem Statement)

मोलभाव (Negotiation) आर्थिक विनिमय के एक केंद्रीय तंत्र के रूप में कार्य करता है और एजेंटिक लैंग्वेज मॉडल्स (LLMs) के लिए एक मानक परीक्षण स्थल (testbed) है, जिसके लिए छिपी हुई प्राथमिकताओं, रणनीतिक संचार और बाध्यकारी बाधाओं के तहत बहु-चरण (multi-turn) संपर्क की आवश्यकता होती है। हालाँकि, LLM नेगोशिएशन एजेंटों का मूल्यांकन करना एक अनूठी पद्धतिगत चुनौती प्रस्तुत करता है: गणित या कोड के विपरीत, मोलभाव में कोई अंतर्निहित सत्यापनकर्ता (intrinsic verifier) नहीं होता है। मौजूदा मूल्यांकन प्रतिमान LLM-बनाम-LLM इंटरैक्शन या डील रेट जैसे संचयी परिणाम मेट्रिक्स पर निर्भर करते हैं। यह दृष्टिकोण दो संरचनात्मक सीमाओं से ग्रस्त है:

एट्रिब्यूशन की अपारदर्शिता (Opacity of Attribution): क्योंकि प्रतिपक्षी (counterpart) एक अज्ञात लेटेंट प्राथमिकताओं वाला ब्लैक-बॉक्स पॉलिसी है, इसलिए परिणाम एजेंट की सक्षमता और प्रतिपक्षी की परिवर्तनशीलता को मिला देते हैं, जिससे विशिष्ट तर्क त्रुटियों (reasoning errors) के कारण विफलताओं का श्रेय देना असंभव हो जाता है।
नैदानिक सूक्ष्मता का अभाव (Loss of Diagnostic Granularity): भले ही मानव प्राथमिकता या बहु-घटक स्कोरिंग द्वारा मान्य मेट्रिक्स हों, वे प्रदर्शन को स्केलर रैंकिंग में समेट देते हैं, जिससे यह स्पष्ट नहीं हो पाता कि एजेंट वर्कफ़्लो में कहाँ सफल या विफल होता है (जैसे, इन्फरेंस बनाम कंट्रोल)।

परिणामस्वरूप, वर्तमान बेंचमार्क यह निदान करने में विफल रहते हैं कि एजेंट की विफलता अस्थिर तर्क, प्रॉम्प्ट संवेदनशीलता, या लेटेंट व्यवहार परिवर्तनशीलता के कारण है, जिससे विफलताएं चिकित्सकों (practitioners) के लिए अपारदर्शी बनी रहती हैं।

कार्यप्रणाली: TERMS-BENCH

लेखक TERMS-BENCH (टेस्टबेड फॉर इकोनॉमिक रीजनिंग इन मल्टी-टर्न स्ट्रैटेजी) पेश करते हैं, जो एक ऐसा ढांचा है जो स्वयं वातावरण को सत्यापनकर्ता (verifier) के रूप में निर्मित करता है। एक अन्य LLM को जज के रूप में उपयोग करने के बजाय, TERMS-BENCH प्रतिपक्षी के लेटेंट टाइप, पॉलिसी और पेऑफ स्ट्रक्चर को स्पष्ट रूप से निर्दिष्ट करता है, जिससे वातावरण मूल्यांकक के लिए दृश्यमान रहता है जबकि एजेंट के लिए छिपा रहता है।

1. फ्रेमवर्क फॉर्मूलेशन

TERMS-BENCH मोलभाव को एक विस्तृत-रूप (extensive-form), अपूर्ण-सूचना वाले बेयसियन गेम के रूप में मॉडल करता है:

वातावरण ( $\Gamma$ ): व्यवहार्य परिणामों के सेट, एजेंट ( $T_A$ ) और प्रतिपक्षी ( $T_B$ ) के लिए निजी टाइप स्पेस, यूटिलिटी फंक्शन और लेटेंट टाइप्स पर एक प्रायर ( $\mu$ ) द्वारा परिभाषित है। एक टाइप $t_i$ एक रिजर्वेशन वैल्यू ( $r_i$ ), आउटसाइड ऑप्शन ( $e_i$ ), अर्जेंसी ( $\kappa_i$ ), और स्ट्रैटेजिक स्टेंस ( $\eta_i$ ) को एनकोड करता है।
प्रोटोकॉल ( $P$ ): मूव ऑर्डरिंग, एक्शन स्पेस (नेचुरल लैंग्वेज के साथ आर्थिक कृत्य), सूचना प्रकटीकरण नियम और समाप्ति स्थितियों को निर्धारित करता है।
एजेंट पॉलिसी ( $\pi$ ): सूचना अवस्थाओं (इतिहास, निजी संदर्भ, विश्वास) को क्रियाओं (actions) में मैप करती है।

2. इंस्टेंशिएशन: द्विपक्षीय मूल्य मोलभाव (Bilateral Price Negotiation)

पेपर इस ढांचे को एक द्विपक्षीय मूल्य मोलभाव सेटिंग में लागू करता है जहाँ एक एजेंट एक सिम्युलेटर-संचालित प्रतिपक्षी के साथ एक स्केलर मूल्य पर मोलभाव करता है।

प्रतिपक्षी एक नैदानिक उपकरण के रूप में: प्रतिपक्षी एक निश्चित स्टोकेस्टिक कर्नेल $\pi_B$ द्वारा शासित है जो एक सैंपल्ड लेटेंट टाइप $t_B$ द्वारा पैरामीटराइज्ड है। एजेंट को देखे गए मूल्यों और संदेशों से $t_B$ का अनुमान लगाना चाहिए।
प्रतिपक्षी परिवार (Counterpart Families): विशिष्ट क्षमताओं को अलग करने के लिए, लेखक दो अक्षों के आधार पर छह प्रतिपक्षी व्यवहार परिवारों को परिभाषित करते हैं:
- आर्थिक प्रतिक्रियाशीलता (Economic Reactivity): व्यवहार एजेंट के हालिया प्रस्तावों बनाम लेटेंट टाइप पर कितना निर्भर करता है (जैसे, Type-Instrumental बनाम High-Reactivity)।
- संकेत विश्वसनीयता (Cue Reliability): क्या भाषाई संकेत (सेंटिमेंट, पोस्चर) लेटेंट स्टेंस को सटीक रूप से दर्शाते हैं (जैसे, Accurate बनाम Uninformative बनाम Noisy बनाम Pressuring)।
- मुख्य परिवार Candid, Taciturn, Expressive, और Strategic हैं, जबकि स्ट्रेस टेस्ट Stochastic और Adversarial हैं।

3. मूल्यांकन मेट्रिक्स और एट्रिब्यूशन

TERMS-BENCH, डील रेट से आगे बढ़कर एक बहु-अक्षीय नैदानिक ढांचे की ओर बढ़ता है:

टर्मिनल वैल्यू: ज़ोन ऑफ पॉसिबल एग्रीमेंट (ZOPA) द्वारा सामान्यीकृत सरप्लस एफिशिएंसी ( $SE^+_\pi$ )।
एग्रीमेंट कैलिब्रेशन: व्यवहार्य एपिसोड में सहमति की दर ( $AGR^+_\pi$ ) और अभव्यावहारिक एपिसोड में गलत सहमति की दर ( $FAGR^-_\pi$ )।
विरोधी मॉडलिंग (Opponent Modeling): रिजर्वेशन वैल्यू, अर्जेंसी और स्टेंस के संबंध में विश्वास त्रुटि।
प्रोटोकॉल अनुपालन: महत्वपूर्ण उल्लंघनों (प्राइस बाउंड्स, इंडिविजुअल रेशनैलिटी) की दर।

ओरेकल हस्तक्षेप (Oracle Interventions): विफलताओं का श्रेय देने के लिए, ढांचा एजेंट के प्रदर्शन की तीन स्थितियों के विरुद्ध तुलना करता है:

बेस (Base): एजेंट शून्य से टाइप का अनुमान लगाता है।
ओरेकल-पोस्टीरियर (Oracle-Posterior): एजेंट को प्रतिपक्षी के टाइप का सटीक बेयसियन पोस्टीरियर प्राप्त होता है।
रिवील्ड-टाइप (Revealed-Type): एजेंट को वास्तविक लेटेंट टाइप प्राप्त होता है।
मॉडल-बेस्ड ओरेकल (Model-Based Oracle): एक डायनेमिक-प्रोग्रामिंग रेफरेंस पॉलिसी ( $\pi^*$ ) जो निर्दिष्ट वातावरण के लिए बेयस-ऑप्टिमल है।

यह प्रदर्शन अंतराल को इन्फरेंस ( $\Delta_{inf}$ ), अनिश्चितता ( $\Delta_{unc}$ ), और कंट्रोल ( $\Delta_{ctrl}$ ) बाधाओं में विभाजित करने की अनुमति देता है।

मुख्य परिणाम

लेखकों ने 1,800 सीडेड एपिसोड में 13 फ्रंटियर LLM एजेंटों (Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, आदि सहित) और तीन फिक्स्ड-कन्सेसन बेसलाइन्स का मूल्यांकन किया।

हाई डील रेट सरप्लस एक्सट्रैक्शन को मास्क करता है: अधिकांश फ्रंटियर मॉडल व्यवहार्य एपिसोड में उच्च डील रेट ( $>97\%$ ) प्राप्त करते हैं, लेकिन वे सरप्लस एक्सट्रैक्शन में काफी भिन्न होते हैं। उदाहरण के लिए, Claude Opus 4.6 ने 0.694 की सरप्लस एफिशिएंसी हासिल की, जबकि Doubao-Seed-2.0-Pro ने उच्च डील रेट (99.9%) के बावजूद 0.522 की सरप्लस एफिशिएंसी प्राप्त की।
क्यू-यूज़ फेल्योर (Cue-Use Failure): एजेंटों ने म्यूट किए गए संकेतों की तुलना में सूचनात्मक संकेतों की उपस्थिति में लगातार कम सरप्लस निकाला ( $\alpha_{cue} < 0$ )। यह सुझाव देता है कि एजेंट "वार्म" संकेतों के लिए अधिक रियायत दे सकते हैं या "प्रेशर" संकेतों के तहत भंगुर व्यवहार प्रदर्शित कर सकते हैं, जिससे वे भाषाई संकेतों को आर्थिक रणनीति से अलग करने में विफल रहते हैं।
सूचना-क्रिया अंतराल (Information-Action Gap): फ्रंटियर मॉडल लेटेंट-टाइप इन्फरेंस को सरप्लस में बदलने में विफल रहे।
- पोस्टीरियर इंजेक्शन: एजेंटों को सटीक बेयसियन पोस्टीरियर प्रदान करने से कमजोर या असंगत रिटर्न मिला, जिससे शीर्ष मॉडलों के लिए केवल ~1% का अंतर भरा जा सका।
- विश्वास अंशांकन (Belief Calibration): विश्वास त्रुटियां समय के साथ बेहतर नहीं हुईं; कुछ मामलों में, वे बढ़ गईं, जिसमें स्टेंस इन्फरेंस त्रुटि का प्रमुख स्रोत था।
- इन्फरेंस पेनल्टी: एजेंट अक्सर उन परिवारों में खराब प्रदर्शन करते थे जहाँ लेटेंट-टाइप इन्फरेंस आर्थिक रूप से इंस्ट्रुमेंटल था, बजाय हाई-रिएक्टिविटी परिवारों के।
ओरेकल डीकंपोजिशन के माध्यम से विशिष्ट बाधाएं:
- GPT-4o-mini मुख्य रूप से कंट्रोल-लिमिटेड था (98% गैप), जो प्रकट जानकारी पर कार्य करने में संघर्ष कर रहा था।
- Claude Opus 4.7 और Grok 4.20 अनिश्चितता-लिमिटेड थे, जिसमें टाइप रिविलेशन के बाद भी बड़ा अंतर बना रहा।
- Claude Opus 4.6 ने एक मिश्रित प्रोफाइल दिखाया।
स्थिर सौदेबाजी के निशान (Stable Bargaining Fingerprints): एजेंटों ने स्थिर व्यवहारल टाइपोलॉजी (जैसे, "एंकर-एंड-होल्ड," "मिड/बैलेंस्ड") और सेल्फ-कंस्ट्रेंट प्रोफाइल प्रदर्शित किए जो प्रतिपक्षी परिवारों में सुसंगत थे, जो यह सुझाव देते हैं कि ये अंतर्निहित मॉडल गुण हैं न कि पर्यावरणीय आर्टिफैक्ट।
डेटा-ग्राउंडेड वैलिडेशन: जब अमेज़न कैटलॉग सांख्यिकी का उपयोग करके डेटा-ग्राउंडेड वेरिएंट पर परीक्षण किया गया, तो एजेंटों का रैंक ऑर्डरिंग काफी हद तक संरक्षित रहा (Spearman $\rho=0.90$ ), लेकिन "डिफिकल्टी मल्टीप्लायर" प्रभाव ने मजबूत और कमजोर मॉडलों के बीच प्रदर्शन अंतर को बढ़ा दिया। मजबूत मॉडलों ने सार्वजनिक प्रोडक्ट एंकर्स का प्रभावी ढंग से लाभ उठाया, जबकि कमजोर मॉडल व्यापक मूल्य श्रेणियों के साथ संघर्ष करते रहे।
व्यावसायिक प्रभाव: कई एपिसोड को जोड़ने वाले "बैंक रोल मोड" सिमुलेशन में, प्रति-अवधि की छोटी त्रुटियां महत्वपूर्ण सॉल्वेंसी विफलताओं में बदल गईं। सबसे मजबूत और सबसे कमजोर LLMs के बीच टर्मिनल बैलेंस का अंतर ~21 गुना था, जो सिंगल-एपिसोड सरप्लस एफिशिएंसी के ~14 गुना प्रसार से कहीं अधिक है।

महत्व और दावे

पेपर दावा करता है कि TERMS-BENCH मोलभाव मूल्यांकन को ब्लैक-बॉक्स रैंकिंग अभ्यास से बदलकर एक एजेंट-एट्रिब्यूटेबल डायग्नोस्टिक टूल के रूप में पुनर्गठित करता है। वातावरण को सत्यापनकर्ता बनाकर, यह सक्षम बनाता है:

स्केलेबल, मानव-एनोटेशन-मुक्त निदान: व्यक्तिपरक मानव न्यायाधीशों पर निर्भर रहने के बजाय विशिष्ट विफलता मोड (इन्फरेंस, अनिश्चितता, कंट्रोल) की पहचान करना।
छिपी हुई विफलताओं को उजागर करना: यह प्रकट करना कि उच्च डील रेट अक्सर सरप्लस एक्सट्रैक्शन, क्यू-सेंसिटिविटी और सेल्फ-कंस्ट्रेंट में महत्वपूर्ण कमियों को छिपा देती है।
चिकित्सकों के लिए कार्रवाई योग्य अंतर्दृष्टि: यह दिखाने के लिए एक नियंत्रित आधार प्रदान करना कि एजेंट कहाँ टूटते हैं और क्या मजबूत किया जाना चाहिए (जैसे, विश्वास अंशांकन बनाम रणनीतिक नियंत्रण में सुधार)।

लेखक इस कार्य को तैनात करने योग्य (deployable) नेगोशिएशन एजेंटों की दिशा में एक आवश्यक कदम के रूप में देखते हैं, यह नोट करते हुए कि हालांकि वर्तमान इंस्टेंशिएशन द्विपक्षीय मूल्य मोलभाव पर केंद्रित है, यह फ्रेमवर्क मल्टी-पार्टी और मल्टी-प्रोडक्ट सेटिंग्स के लिए सामान्यीकरण योग्य है। वे स्वीकार करते हैं कि वर्तमान दायरे से परे ट्रांसफर को मान्य करने के लिए मानव अध्ययन और समृद्ध मल्टी-इश्यू सेटिंग्स महत्वपूर्ण अगले कदम बने हुए हैं।