Training Language Models for Bilateral Trade with Private Information

1. Il Problema

Il paper affronta la sfida di valutare e addestrare i modelli linguistici su larga scala (LLM) come agenti autonomi in scenari di negoziazione bilaterale sotto informazione incompleta. In questo contesto, un acquirente e un venditore, ciascuno con un prezzo di riserva privato (non noto all'altro), devono scoprire se esiste un accordo reciprocamente vantaggioso e a quale prezzo.

Due limitazioni principali impediscono l'uso diretto degli LLM generici per questo compito:

1. Fallimenti comportamentali sistematici: I modelli pre-addestrati tendono ad accettare accordi che generano utilità negativa (violando la razionalità individuale) e non riescono a mantenere obiettivi strategici coerenti sotto pressione, a causa di un disallineamento tra gli obiettivi di pre-addestramento (fluency, cortesia) e le esigenze della negoziazione strategica.
2. Problema di misurazione: Nel dialogo libero, è difficile distinguere se una menzione di prezzo sia un'offerta vincolante, un'ipotesi o un riferimento di mercato. Questo rende impossibile la valutazione automatizzata su larga scala di metriche come l'utilità, i tassi di concessione e lo stato dell'accordo.

2. Metodologia

Gli autori sviluppano un ambiente di negoziazione strutturato che risolve i problemi sopra citati separando la comunicazione in linguaggio naturale dalle azioni vincolanti.

A. Ambiente di Simulazione e Agenti

• Struttura: Un simulatore basato su eventi gestisce la negoziazione. Gli agenti interagiscono tramite chiamate a strumenti strutturati (tool calls) invece che solo testo libero.
• Azioni Strutturate: Gli agenti possono invocare funzioni come make offer (fare un'offerta), respond to offer (accettare/rifiutare), send message (messaggio in linguaggio naturale), search price (ricerca storica) e quit negotiation.
• Separazione Critica: Le offerte formali sono separate dai messaggi di testo. Questo permette al motore di simulazione di parsare automaticamente ogni offerta, accettazione o rifiuto, calcolando utilità e violazioni senza intervento umano.
• Metriche di Valutazione: Vengono definiti tre assi di valutazione:
  1. Razionalità Individuale (IR): Capacità di rispettare i vincoli di prezzo di riserva (non accettare prezzi che danno utilità negativa).
  2. Efficacia Strategica: Quanta parte dell'eccedenza (surplus) l'agente riesce a catturare.
  3. Efficienza Allocativa: Tasso di conclusione degli affari (Deal Rate) quando esiste un potenziale di guadagno (GFT - Gains From Trade).

B. Sperimentazione: Benchmark e Addestramento

Il paper utilizza il sistema per due scopi distinti:

1. Benchmark: Un torneo "round-robin" tra 5 modelli frontier (DeepSeek-V3, Gemini-2.5-Flash/Pro, GPT-4.1, o3) su 15.000 negoziazioni.
2. Addestramento: Un pipeline a due stadi per affinare modelli open-weight (Qwen3-8B e 14B):
   • Fase 1 (SFT - Supervised Fine-Tuning): Addestramento su traiettorie sintetiche generate da DeepSeek-R1 in auto-gioco (self-play).
   • Fase 2 (RL - Reinforcement Learning): Ottimizzazione tramite GRPO (Group Relative Policy Optimization) contro un avversario fisso (GPT-4.1). La ricompensa combina conformità al protocollo, coerenza comportamentale e cattura del surplus.

3. Contributi Chiave

1. Ambiente di Valutazione Strutturato: Introduzione di un framework che risolve il problema della misurazione separando le azioni vincolanti dal linguaggio naturale, permettendo metriche automatizzate e riproducibili.
2. Benchmark Sistematico: La prima valutazione estensiva di modelli frontier in negoziazione bilaterale, rivelando che le strategie di ancoraggio aggressivo (offrire molto sopra il costo) combinate con concessioni calibrate sono superiori alle strategie accomodanti.
3. Diagnosi della Tensione SFT-RL: Identificazione di un conflitto fondamentale nel processo di addestramento: l'SFT insegna selettività (catturare più surplus, anche a rischio di perdere affari), mentre il RL, con la struttura di ricompensa attuale, spinge verso la chiusura dell'affare, erodendo i guadagni strategici.

4. Risultati Principali

Risultati del Benchmark (Modelli Frontier)

• Strategia Vincente: Il modello o3 ha dominato, ottenendo sia la massima quota di surplus (fino al 77% come venditore) che il tasso di accordi più alto. La sua strategia consiste nell'ancorare molto aggressivamente (es. 3x il costo) e poi concedere in modo calibrato per chiudere l'affare, implementando una discriminazione di prezzo di primo grado.
• Fallimento delle Strategie Accomodanti: I modelli che concedono rapidamente (es. Gemini-2.5-Flash come acquirente) ottengono la quota di surplus più bassa e tassi di accordi inferiori, rivelando prematuramente la loro disponibilità a pagare.
• Coerenza tra Livelli di Prezzo: I modelli forti (o3, Gemini-Pro) mantengono performance costanti indipendentemente dal valore dell'oggetto. I modelli più deboli migliorano solo su oggetti di alto valore dove ampie "Zone of Possible Agreement" (ZOPA) compensano strategie subottimali.
• Razionalità: I modelli migliori rispettano quasi sempre i vincoli di razionalità individuale, ma alcuni (come o3 come acquirente) riescono a forzare gli avversari più deboli a violare i propri vincoli in scenari senza guadagni (NGFT).

Risultati dell'Addestramento (Qwen3)

• Tensione SFT vs RL:
  • SFT: Raddoppia la quota di surplus catturata rispetto al modello base, ma riduce drasticamente il tasso di accordi (il modello diventa troppo selettivo).
  • RL: Ripristina il tasso di accordi (recuperando la capacità di chiudere), ma fa crollare la quota di surplus ai livelli del modello base, perché la funzione di ricompensa non penalizza sufficientemente l'accettazione di accordi irrazionali rispetto al semplice "non chiudere".
• Generalizzazione delle Strategie: L'SFT insegna strategie proporzionali (ancorare e concedere in base al valore dell'oggetto) che si generalizzano bene anche contro avversari non visti durante l'addestramento (es. o3-mini), comprimendo la varianza del surplus tra diversi livelli di prezzo.
• Fragilità: Il modello più piccolo (8B) diventa più irrazionale dopo l'RL (accetta accordi con utilità negativa) rispetto al modello base, mentre il 14B mostra maggiore resilienza.

5. Significato e Implicazioni

Il paper dimostra che la negoziazione strategica è un banco di prova fondamentale per le capacità degli agenti LLM, richiedendo non solo la comprensione del linguaggio, ma anche il rispetto di vincoli numerici rigidi e l'ottimizzazione di obiettivi a lungo termine.

• Per la Ricerca: Evidenzia che la semplice scalabilità dei modelli non garantisce competenze strategiche; è necessaria un'adeguata ingegneria del prompt e dell'addestramento.
• Per l'Addestramento: Mette in luce la necessità di progettare strutture di ricompensa più sofisticate per l'RL, che distinguano esplicitamente tra "uscire razionalmente" (walk-away) e "accettare irrazionalmente", evitando che l'RL sacrifichi la razionalità per massimizzare la frequenza degli accordi.
• Per le Applicazioni: Fornisce un framework pronto all'uso per sviluppare agenti di negoziazione autonomi per e-commerce, catene di approvvigionamento e risoluzione delle controversie, con metriche di valutazione oggettive e automatizzate.

In sintesi, il lavoro stabilisce che la competenza strategica negli LLM si manifesta come coerenza attraverso i livelli di prezzo e la capacità di bilanciare selettività e chiusura degli affari, un equilibrio che l'attuale pipeline di addestramento SFT+RL fatica a mantenere senza modifiche alla struttura delle ricompense.