Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

Riassunto Tecnico: Previsione delle Decisioni di Agenti AI da Interazioni Limitate tramite Modellazione Testo-Tabellare

Formulazione del Problema
Il documento affronta la sfida di prevedere la prossima decisione di un agente AI basato sul linguaggio, non familiare (l'"agente target"), disponendo solo di un numero limitato di storie di interazioni precedenti ($K$ partite). In scenari come la negoziazione automatizzata o gli appalti, il Large Language Model (LLM) sottostante, i prompt di sistema, la logica di controllo e i fallback basati su regole dell'agente target sono nascosti. Ogni punto decisionale coinvolge una miscela di stati di gioco strutturati (offerte, numeri di turno, payoff) e dialoghi in testo libero. Gli autori formulano questo come un problema di previsione testo-tabellare adattiva al target. L'obiettivo è prevedere due compiti complementari:

1. Previsione della Risposta: Un compito di classificazione binaria che determina se l'target accetterà o rifiuterà un'offerta corrente.
2. Previsione della Proposta: Un compito di regressione che stima il valore della prossima offerta che l'target farà.
   Il contesto richiede l'adattamento a un nuovo agente senza accesso al suo codice interno o ai prompt, affidandosi esclusivamente a $K$ esempi etichettati del suo comportamento passato e a una vasta popolazione sorgente di agenti precedentemente osservati.

Metodologia
L'approccio proposto si discosta dalla promptazione diretta "LLM come Predittore" (dove un grande LLM viene invitato a prevedere direttamente la prossima mossa). Invece, gli autori impiegano un modello fondazionale testo-tabellare (TabPFN) che si condiziona su una rappresentazione multimodale del punto decisionale. I componenti principali sono:

1. Modalità delle Caratteristiche: Ogni punto decisionale è rappresentato come una singola riga di tabella che combina tre blocchi di caratteristiche:

   • Caratteristiche dello Stato di Gioco: Variabili strutturate inclusi parametri di configurazione (es. fattori di sconto, valutazioni), indice del turno, offerte correnti e storiche, e storia decisionale.
   • Rappresentazione del Dialogo: Embedding semantici generici della cronologia della conversazione, codificati tramite un sentence transformer (es. all-MiniLM-L6-v2) e ridotti tramite PCA.
   • Rappresentazione dell'Osservatore (LLM come Osservatore): Un nuovo blocco di caratteristiche in cui un piccolo LLM congelato (es. Gemma-2-2B, Qwen3-1.7B) legge lo stato pubblico al momento della decisione e il dialogo. Crucialmente, l'output diretto dell'LLM (la sua decisione prevista) viene scartato. Invece, i suoi stati nascosti (specificamente dagli strati superiori dello stack, profondità relativa 0.6–0.9) vengono estratti e utilizzati come vettore di caratteristiche ad alta dimensionalità. Questo tratta l'LLM come un codificatore di segnali rilevanti per la decisione piuttosto che come un predittore diretto.

2. Apprendimento Adattivo al Target: Il modello TabPFN è addestrato su una popolazione sorgente di agenti (13 LLM all'avanguardia dal benchmark GLEE) e si adatta all'agente target utilizzando le sue $K$ partite osservate come esempi etichettati in contesto. Il modello combina regolarità a livello di popolazione con evidenze specifiche del target senza riaddestramento basato su gradienti.

3. Linee di Base: Gli autori confrontano il loro modello completo contro:

   • Caratteristiche Gioco+Testo: Lo stesso modello tabellare ma senza le caratteristiche degli stati nascosti dell'Osservatore.
   • LLM come Predittore: Un LLM all'avanguardia promptato direttamente con lo stato di gioco, il dialogo e $K$ esempi per produrre una previsione.

Contributi Chiave

1. Formulazione: Il documento riformula la previsione few-shot di agenti basati sul linguaggio come un compito testo-tabellare adattivo al target, utilizzando $K$ partite precedenti come esempi di adattamento etichettati.
2. LLM come Osservatore: L'introduzione di un blocco di caratteristiche orientato alla decisione in cui un LLM congelato agisce come codificatore. Gli autori dimostrano che gli stati nascosti di un piccolo LLM congelato forniscono segnali complementari e rilevanti per la decisione che non sono affidabilmente esposti nell'output diretto del modello.
3. Dataset e Valutazione Cross-Popolazione: Gli autori introducono un dataset tenuto da parte di 91 agenti "impalcature" (costruiti da studenti utilizzando un LLM sottostante condiviso ma variando nei prompt e nella logica di controllo) e valutano il trasferimento da una popolazione sorgente di LLM all'avanguardia (variando nel modello sottostante). Questo testa la robustezza dei predittori attraverso diversi assi di eterogeneità degli agenti.

Risultati
Gli esperimenti sono stati condotti su giochi di contrattazione e negoziazione dal framework GLEE.

• Prestazioni: Il modello completo testo-tabellare con caratteristiche dell'Osservatore supera sia la linea di base "Gioco+Testo" sia l'approccio diretto "LLM come Predittore" su tutti i valori di $K$ (da 0 a 16).
• Contributo dell'Osservatore: A $K=16$, le caratteristiche dell'Osservatore migliorano l'AUC della Previsione della Risposta di circa 4 punti percentuali rispetto alla migliore linea di base e riducono l'errore nella Previsione della Proposta (misurato dalla mediana $R^2$) del 14% nei compiti di contrattazione.
• Stati Nascosti vs Output Diretto: Studi di ablazione confermano che il potere predittivo deriva dagli stati nascosti dell'LLM, non dai suoi logit diretti. Gli stati nascosti superano costantemente le probabilità di accettazione/rifiuto proprie dell'LLM, suggerendo che codificano informazioni strategiche che la testa di output non riesce a portare alla luce.
• Robustezza: I guadagni derivanti dalle caratteristiche dell'Osservatore sono stabili tra diversi fornitori di LLM congelati (Gemma, Qwen, Llama) e tra strati medi e tardivi, indicando che il segnale è una proprietà intrinseca della rappresentazione.
• Limitazioni dell'LLM come Predittore: La promptazione diretta con grandi LLM all'avanguardia performa male nella previsione delle proposte (regressione), spesso producendo punteggi $R^2$ negativi, probabilmente a causa della difficoltà di calibrare la generazione di token autoregressiva per valori numerici continui rispetto alle capacità di regressione del modello tabellare.

Significato e Affermazioni
Il documento afferma che prevedere le decisioni di agenti AI non familiari è meglio inquadrato come un problema di apprendimento testo-tabellare adattivo al target piuttosto che come previsione few-shot diretta con LLM. Il significato risiede nel dimostrare che:

• Separare la rappresentazione (estratta tramite un codificatore LLM congelato) dall'adattamento (eseguito da un apprendista tabellare supervisionato) produce prestazioni superiori.
• Le rappresentazioni nascoste degli LLM espongono segnali rilevanti per la decisione che la promptazione diretta non porta affidabilmente alla luce, anche quando si utilizzano modelli più piccoli e congelati rispetto ai grandi modelli all'avanguardia.
• Questo approccio consente un adattamento efficace a nuovi agenti ingegnerizzati (agenti "impalcature") utilizzando una popolazione sorgente riutilizzabile, suggerendo una ricetta generale per modellare il processo decisionale di agenti AI non familiari nel commercio mediato dal linguaggio.

Gli autori notano limitazioni, tra cui il fatto che i giochi sono astrazioni controllate piuttosto che mercati reali, e che il metodo presuppone l'accesso a una popolazione sorgente rilevante. Sottolineano che l'approccio è un passo verso agenti consapevoli della previsione che possono adattarsi ai partner senza condividere stati privati.