Sintesi Tecnica: TERMS-BENCH

Definizione del Problema

La negoziazione funge da meccanismo centrale per lo scambio economico e da banco di prova canonico per gli agenti linguistici agentici (LLM), richiedendo un'interazione multi-turno sotto preferenze nascoste, comunicazione strategica e vincoli vincolanti. Tuttavia, valutare gli agenti di negoziazione LLM presenta una sfida metodologica unica: a differenza della matematica o del codice, la negoziazione manca di un verificatore intrinseco. I paradigmi di valutazione esistenti si affidano a interazioni LLM-contro-LLM o a metriche di esito aggregate come il tasso di accordo (deal rate). Questo approccio soffre di due limiti strutturali:

1. Opacità dell'Attribuzione: Poiché la controparte è una policy black-box con preferenze latenti non specificate, gli esiti confondono la competenza dell'agente con la variabilità della controparte, impedendo l'attribuzione dei fallimenti a specifici errori di ragionamento.
2. Perdita di Granularità Diagnostica: Anche le metriche validate dalla preferenza umana o da punteggi multi-componente collassano le prestazioni in classifiche scalari, oscurando dove nell'iter di negoziazione un agente ha successo o fallisce (ad esempio, inferenza vs controllo).

Di conseguenza, gli attuali benchmark non riescono a diagnosticare se il fallimento di un agente derivi da un ragionamento instabile, dalla sensibilità al prompt o dalla variabilità comportamentale latente, lasciando i fallimenti opachi ai professionisti.

Metodologia: TERMS-BENCH

Gli autori introducono TERMS-BENCH (Testbed for Economic Reasoning in Multi-turn Strategy), un framework che costruisce l'ambiente stesso come il verificatore. Invece di utilizzare un altro LLM come giudice, TERMS-BENCH specifica esplicitamente il tipo latente, la policy e la struttura dei payoff della controparte, rendendo l'ambiente osservabile all'evaluatore pur rimanendo nascosto all'agente.

1. Formulazione del Framework

TERMS-BENCH modella la negoziazione come un gioco bayesiano a informazione incompleta in forma estesa:

• Ambiente ($\Gamma$): Definito da un insieme di esiti fattibili, spazi di tipi privati per l'agente ($T_A$) e la controparte ($T_B$), funzioni di utilità e una prior sul tipo latente ($\mu$). Un tipo $t_i$ codifica un valore di riserva ($r_i$), un opzione esterna ($e_i$), l'urgenza ($\kappa_i$) e una posizione strategica ($\eta_i$).
• Protocollo ($P$): Fissa l'ordine delle mosse, lo spazio delle azioni (atti economici accoppiati con linguaggio naturale), le regole di rivelazione delle informazioni e le condizioni di terminazione.
• Policy dell'Agente ($\pi$): Mappa gli stati informativi (storia, contesto privato, credenze) verso le azioni.

2. Istanziazione: Negoziazione del Prezzo Bilaterale

Il documento istanzia questo framework in un contesto di negoziazione del prezzo bilaterale dove un agente negozia un prezzo scalare con una controparte guidata da un simulatore.

• Controparte come Strumento Diagnostico: La controparte è governata da un kernel stocastico fisso $\pi_B$ parametrizzato da un tipo latente campionato $t_B$. L'agente deve inferire $t_B$ dai prezzi e dai messaggi osservati.
• Famiglie di Controparte: Per isolare specifiche capacità, gli autori definiscono sei famiglie di comportamento della controparte che variano lungo due assi:
  • Reattività Economica: Quanto il comportamento dipenda dalle offerte recenti dell'agente rispetto al tipo latente (ad esempio, Type-Instrumental vs High-Reactivity).
  • Affidabilità dei Segnali (Cue Reliability): Se i segnali linguistici (sentimento, postura) riflettono accuratamente la posizione latente (ad esempio, Accurate vs Uninformative vs Noisy vs Pressuring).
  • Le famiglie principali sono Candid (Sincera), Taciturn (Taciturna), Expressive (Espressiva) e Strategic (Strategica), con stress test Stochastic (Stocastica) e Adversarial (Avversaria).

3. Metriche di Valutazione e Attribuzione

TERMS-BENCH va oltre il tasso di accordo attraverso un framework diagnostico multi-asse:

• Valore Terminale: Efficienza del surplus ($SE^+_\pi$), normalizzata rispetto alla Zona di Possibile Accordo (ZOPA).
• Calibrazione dell'Accordo: Tassi di accordo in episodi fattibili ($AGR^+_\pi$) e accordi falsi in episodi non fattibili ($FAGR^-_\pi$).
• Modellazione dell'Opponente: Errore di credenza riguardo al valore di riserva, urgenza e posizione.
• Conformità al Protocollo: Tassi di violazioni critiche (limiti di prezzo, razionalità individuale).

Interventi Oracle: Per attribuire i fallimenti, il framework confronta le prestazioni dell'agente rispetto a tre condizioni:

1. Base: L'agente inferisce il tipo da zero.
2. Oracle-Posterior: L'agente riceve l'esatta distribuzione a posteriori bayesiana del tipo della controparte.
3. Revealed-Type: L'agente riceve il vero tipo latente.
4. Model-Based Oracle: Una policy di riferimento basata su programmazione dinamica ($\pi^*$) che è Bayes-ottimale per l'ambiente specificato.

Ciò consente di scomporre il divario di prestazione nei colli di bottiglia di Inferenza ($\Delta_{inf}$), Incertezza ($\Delta_{unc}$) e Controllo ($\Delta_{ctrl}$).

Risultati Chiave

Gli autori hanno valutato 13 agenti LLM di frontiera (inclusi Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, ecc.) e tre baseline a concessione fissa su 1.800 episodi seminati.

1. L'Alto Tasso di Accordo Maschera l'Estrazione di Valore: Mentre la maggior parte dei modelli di frontiera raggiunge tassi di accordo quasi saturi ($>97\%$ negli episodi fattibili), essi divergono significativamente nell'estrazione del surplus. Ad esempio, Claude Opus 4.6 ha ottenuto un'efficienza del surplus di 0,694, mentre Doubao-Seed-2.0-Pro ha ottenuto 0,522 nonostante un tasso di accordo più elevato (99,9%).
2. Fallimento nell'Uso dei Segnali (Cue-Use): Gli agenti hanno costantemente estratto meno surplus quando erano presenti segnali informativi rispetto a quando erano attenuati ($\alpha_{cue} < 0$). Ciò suggerisce che gli agenti possano cedere troppo a segnali "caldi" o esibire comportamenti fragili sotto segnali di "pressione", fallendo nel separare i segnali linguistici dalla strategia economica.
3. Gap tra Informazione e Azione: I modelli di frontiera hanno fallito nel convertire l'inferenza del tipo latente in surplus.
   • Iniezione della Posterior: Fornire la esatta posterior bayesiana agli agenti ha prodotto ritorni deboli o inconsistenti, chiudendo solo il ~1% del divario per i top modelli.
   • Calibrazione delle Credenze: Gli errori di credenza non sono migliorati nel tempo; in alcuni casi, sono aumentati, con l'inferenza della posizione che è stata la fonte dominante di errore.
   • Penalità di Inferenza: Gli agenti hanno spesso performato peggio nelle famiglie in cui l'inferenza del tipo latente era economicamente strumentale rispetto alle famiglie ad alta reattività.
4. Colli di Bottiglia Distinti tramite Decomposizione Oracle:
   • GPT-4o-mini era principalmente limitato dal controllo (98% del divario), faticando ad agire sulle informazioni rivelate.
   • Claude Opus 4.7 e Grok 4.20 erano limitati dall'incertezza, con grandi divari che rimanevano anche dopo la rivelazione del tipo.
   • Claude Opus 4.6 mostrava un profilo misto tra inferenza, incertezza e controllo.
5. Impronte Digitali di Negoziazione Stabili: Gli agenti hanno esibito tipologie comportamentali stabili (ad esempio, "ancora e mantieni", "medio/bilanciato") e profili di auto-vincolo (tassi di violazione IR rispetto alla disciplina di uscita) che sono coerenti tra le famiglie di controparte, suggerendo che queste siano proprietà intrinseche del modello piuttosto che artefatti ambientali.
6. Validazione Basata sui Dati: Quando testato su una variante basata sui dati utilizzando statistiche di catalogo Amazon, l'ordinamento dei ranghi degli agenti è stato ampiamente preservato (Spearman $\rho=0,90$), ma l'effetto del "moltiplicatore di difficoltà" ha amplificato il divario di prestazione tra modelli forti e deboli. I modelli più forti hanno sfruttato efficacemente gli ancoraggi di prodotto pubblici, mentre i modelli più deboli hanno faticato con intervalli di prezzo più ampi.
7. Impatto Commerciale: In una simulazione "Bankroll Mode" che concatenava più episodi, piccoli errori per periodo si sono cumulati in significativi fallimenti di solvibilità. La differenza nel saldo terminale tra il modello più forte e quello più debole è stata di circa 21 volte, superando di gran lunga la differenza di ~14 volte nell'efficienza del surplus del singolo episodio.

Significato e Rivendicazioni

Il documento sostiene che TERMS-BENCH riformula la valutazione della negoziazione da un esercizio di classificazione black-box a uno strumento diagnostico attribuibile all'agente. Rendendo l'ambiente il verificatore, esso consente:

• Diagnosi Scalabile Senza Annotazione Umana: Identificare modalità di fallimento specifiche (inferenza, incertezza, controllo) senza fare affidamento su giudici umani soggettivi.
• Smascherare Fallimenti Nascosti: Rivelare che gli alti tassi di accordo spesso mascherano carenze critiche nell'estrazione del surplus, nella sensibilità ai segnali e nell'autocontrollo.
• Insight Azionabili per i Professionisti: Fornire una base controllata per mostrare dove gli agenti si interrompono e cosa rafforzare (ad esempio, migliorare la calibrazione delle credenze rispetto al controllo strategico).

Gli autori posizionano questo lavoro come un passo necessario verso agenti di negoziazione implementabili, notando che sebbene l'attuale istanziazione si concentri sulla negoziazione del prezzo bilaterale, il framework è generalizzabile a contesti multi-party e multi-prodotto. Riconoscono che studi umani e setting con più issue rimangono passi successivi importanti per validare il trasferimento oltre l'attuale ambito.