Riepilogo Tecnico: Distillazione degli Stati di Credenza Bayesiana nei Modelli Linguistici per una Negoziazione Auditabile

Enunciato del Problema

Gli agenti di negoziazione richiedono la capacità di inferire i valori nascosti di un avversario, aggiornare queste credenze nel corso dei turni di dialogo e selezionare azioni in condizioni di incertezza. Sebbene i Modelli Linguistici (LLM) end-to-end siano in grado di generare dialoghi di negoziazione fluenti, le loro rappresentazioni interne delle credenze dell'avversario sono tipicamente implicite e opache. Questa mancanza di trasparenza rende difficile distinguere se un'azione dell'agente derivi da un modello stabile e aggiornato dell'avversario o da una semplice imitazione superficiale del dialogo. Al contrario, i modelli cognitivi bayesiani tradizionali offrono prior, verosimiglianze e posteriori espliciti, ma spesso si basano su funzioni di verosimiglianza progettate a mano che non scalano verso un linguaggio di negoziazione strategico e libero. La sfida fondamentale consiste nel combinare la flessibilità linguistica degli LLM con l'interpretabilità dell'inferenza bayesiana per creare un agente di negoziazione sia efficace che auditabile.

Metodologia: Il Framework BOND

Gli autori propongono BOND (Bayesian Opponent-belief Negotiation Distillation), un framework modulare che separa l'interpretazione linguistica, la revisione delle credenze e la selezione delle azioni. Il sistema opera nel dominio di negoziazione CaSiNo, dove due partecipanti negoziano su tre oggetti (Cibo, Acqua, Legna da ardere) con ordinamenti di priorità privati. Lo spazio delle ipotesi è composto da sei possibili ordinamenti di priorità ($\Theta$, dove $|\Theta|=6$).

1. L'Insegnante Bayesiano

L'agente insegnante funge da "stimatore di verosimiglianza" piuttosto che da politica a scatola nera. La sua architettura prevede quattro fasi:

• Valutazione Linguistica: Un LLM (Llama-3.1-8B-Instruct con LoRA) assegna un punteggio di compatibilità tra il contesto dialogico osservato e ciascuno dei sei ordinamenti di priorità candidati dell'avversario. Questi punteggi fungono da segnali simili alla verosimiglianza.
• Aggiornamento Bayesiano: Un modulo bayesiano converte questi punteggi in una distribuzione a posteriori sui sei ordinamenti utilizzando la formula:
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  dove $\tilde{L}_t$ rappresenta il punteggio di verosimiglianza scalato per temperatura e limitato. Il prior è inizialmente uniforme.
• Valutazione del Menu: L'agente enumera le allocazioni fattibili e le valuta in base alla propria utilità e all'utilità attesa dell'avversario, marginalizzata sulla distribuzione a posteriori.
• Decisione: L'agente seleziona un'azione (accettare, rifiutare, contro-offrire, ecc.) in base ai punteggi del menu.

2. Distillazione nello Studente

Gli autori distillano l'insegnante bayesiano in un più piccolo modello studente da 8B. A differenza degli agenti end-to-end standard, lo studente è addestrato a emettere un output strutturato e taggato che include:

• <posterior>: Una distribuzione di probabilità normalizzata sui sei ordinamenti di priorità dell'avversario.
• <selected_intent>: L'azione scelta (es. inviare, accettare, rifiutare).
• <selected_content>: L'allocazione specifica se applicabile.
• <utterance>: La risposta in linguaggio naturale.

Questo design esternalizza lo stato di credenza, permettendone la valutazione e l'ispezione ad ogni turno.

3. Protocollo di Valutazione

Il sistema è valutato su un set tenuto da parte di 150 dialoghi CaSiNo (1.054 previsioni a livello di turno). Le metriche chiave includono:

• Punteggio Brier del Posterior: Misura la calibrazione della distribuzione di probabilità prevista rispetto al vero ordinamento dell'avversario.
• Previsione di Accettazione (F1): Accuratezza delle decisioni di accettazione/rifiuto.
• Similarità delle Offerte: Similarità coseno tra le allocazioni previste e quelle umane.
• Diagnostica di Auditabilità: Decomposizione degli errori in "errori di credenza" (posterior errato) vs. "errori di politica" (azione errata dato il posterior) e interventi in cui il tag del posterior è forzatamente sostituito.

Risultati Chiave

Calibrazione del Posterior e Distillazione

• Prestazioni dell'Insegnante: L'insegnante bayesiano ottiene un punteggio Brier medio di 0,085 sulle sei ipotesi di priorità dell'avversario, superando significativamente il riferimento uniforme di $5/36 \approx 0,139$.
• Prestazioni dello Studente: Lo studente distillato da 8B preserva gran parte di questo segnale, ottenendo un punteggio Brier di 0,114. Questo è anch'esso ben al di sotto del riferimento uniforme, indicando che lo studente impara con successo a emettere stati di credenza calibrati.
• Confronto con la Baseline da 70B: Una baseline strutturata Chain-of-Thought (CoT) da 70B ottiene un Accept-F1 più alto (0,947 contro 0,908) ma non fornisce un posterior calibrato. Quando è costretta a emettere un posterior tramite auto-consistenza, la baseline da 70B ottiene un punteggio Brier di 0,194, che è peggiore del riferimento uniforme e significativamente peggiore dello studente da 8B.

Auditabilità e Decomposizione degli Errori

• Separazione degli Errori: L'analisi di 181 turni decisionali rivela che gli errori di credenza e gli errori di azione sono separabili. Ad esempio, 67 turni presentavano la credenza MAP (Maximum A Posteriori) corretta ma un'azione incoerente, mentre 27 turni presentavano una credenza errata ma un'azione coerente con quella credenza errata.
• Limiti degli Interventi: Quando il tag del posterior è stato forzatamente sostituito con la verità fondamentale (intervento con prefisso corretto) o con un valore errato (intervento con prefisso avversario), l'azione dello studente è cambiata solo nell'1,5% - 1,8% dei casi. Ciò suggerisce che, sebbene lo studente impari a riportare le credenze in modo accurato, l'accoppiamento causale tra il posterior riportato e la selezione dell'azione (la dipendenza "posterior $\to$ pianificatore") è più debole nello studente distillato rispetto all'insegnante.

Risultati di Ablazione

• Contesto Completo vs. Incrementale: L'insegnante si basa sulla valutazione del contesto dialogico completo. Un approccio incrementale (valutazione solo dell'ultima utterance) ha fallito, producendo posteriori peggiori dell'uniforme, indicando che il meccanismo di attenzione dell'LLM è cruciale per l'integrazione temporale delle prove.
• Ruolo dei Tag: La rimozione del tag del posterior durante l'addestramento (studente solo-azione) ha portato a metriche decisionali leggermente migliori (Accept-F1 0,921), confermando che il valore principale del tag del posterior è l'ispezione, non la performance decisionale.

Significato e Affermazioni

Il documento non afferma che lo studente distillato sia la politica di negoziazione superiore in termini di esiti vincenti; anzi, la baseline da 70B lo supera nelle metriche decisionali. Invece, il significato di BOND risiede nell'auditabilità:

1. Stati di Credenza Esternalizzati: Il framework distilla con successo un'interfaccia di credenza valida e valutabile in un modello più piccolo. Lo studente espone una distribuzione a posteriori calibrata ad ogni turno, permettendo ai ricercatori di distinguere tra fallimenti di "credenza errata" e fallimenti di "credenza corretta/azione errata".
2. Trasparenza rispetto alla Performance a Scatola Nera: Il lavoro dimostra che un modello più piccolo (8B) può esporre uno stato di credenza valido che è meglio calibrato di un modello molto più grande (70B) utilizzando prompt strutturati.
3. Limiti della Distillazione Attuale: Gli autori notano modestamente che la distillazione standard tramite Fine-Tuning Supervisionato (SFT) trasferisce più efficacemente la segnalazione delle credenze rispetto all'uso causale di tali credenze per il processo decisionale. Il debole accoppiamento credenza-azione nello studente suggerisce che i futuri agenti auditabili richiederanno decodifica vincolata o funzioni di perdita ausiliarie di pianificazione per garantire che le azioni siano strettamente condizionate alle credenze riportate.

In sintesi, BOND fornisce un metodo per rendere esplicito, distillabile e valutabile il modello nascosto dell'avversario di un agente di negoziazione, offrendo una nuova lente diagnostica per comprendere dove e perché gli agenti di negoziazione falliscono.