Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

Résumé technique : Prédiction des décisions d'agents IA à partir d'interactions limitées par modélisation texte-tabulaire

Formulation du problème
L'article aborde le défi de prédire la prochaine décision d'un agent IA basé sur le langage et inconnu (l'« agent cible ») en ne disposant que d'un nombre limité d'historiques d'interactions précédentes ($K$ parties). Dans des scénarios tels que la négociation automatisée ou l'approvisionnement, le modèle de langage (LLM) sous-jacent, les invites système, la logique de contrôle et les solutions de repli basées sur des règles de l'agent cible sont cachés. Chaque point de décision implique un mélange d'états de jeu structurés (offres, numéros de tour, gains) et de dialogue en texte libre. Les auteurs formulent cela comme un problème de prédiction texte-tabulaire adaptative à la cible. L'objectif est de prédire deux tâches complémentaires :

1. Prédiction de réponse : Une tâche de classification binaire déterminant si la cible acceptera ou rejettera une offre actuelle.
2. Prédiction de proposition : Une tâche de régression estimant la valeur de la prochaine offre que la cible fera.

Le cadre nécessite de s'adapter à un nouvel agent sans accès à son code interne ou à ses invites, en s'appuyant uniquement sur $K$ exemples étiquetés de son comportement passé et sur une grande population source d'agents précédemment observés.

Méthodologie
L'approche proposée s'éloigne du « LLM-comme-prédicteur » par invitation directe (où un grand LLM est invité à prédire directement le prochain mouvement). À la place, les auteurs emploient un modèle fondamental texte-tabulaire (TabPFN) qui se conditionne sur une représentation multimodale du point de décision. Les composants principaux sont :

1. Modalités de caractéristiques : Chaque point de décision est représenté comme une seule ligne de tableau combinant trois blocs de caractéristiques :

   • Caractéristiques de l'état du jeu : Variables structurées incluant les paramètres de configuration (par exemple, facteurs d'actualisation, valorisations), l'indice du tour, les offres actuelles et historiques, et l'historique des décisions.
   • Représentation du dialogue : Des plongements sémantiques génériques de l'historique de la conversation, encodés via un transformateur de phrases (par exemple, all-MiniLM-L6-v2) et réduits par PCA.
   • Représentation de l'observateur (LLM-comme-observateur) : Un nouveau bloc de caractéristiques où un petit LLM figé (par exemple, Gemma-2-2B, Qwen3-1.7B) lit l'état public au moment de la décision et le dialogue. Crucialement, la sortie directe du LLM (sa décision prédite) est rejetée. À la place, ses états cachés (spécifiquement des couches de la pile supérieure, profondeur relative 0,6–0,9) sont extraits et utilisés comme vecteur de caractéristiques de haute dimension. Cela traite le LLM comme un encodeur de signaux pertinents pour la décision plutôt que comme un prédicteur direct.

2. Apprentissage adaptatif à la cible : Le modèle TabPFN est entraîné sur une population source d'agents (13 LLM de pointe du benchmark GLEE) et s'adapte à l'agent cible en utilisant ses $K$ parties observées comme exemples étiquetés en contexte. Le modèle combine les régularités au niveau de la population avec des preuves spécifiques à la cible sans réentraînement basé sur le gradient.

3. Lignes de base : Les auteurs comparent leur modèle complet à :

   • Caractéristiques Jeu+Texte : Le même modèle tabulaire mais sans les caractéristiques d'état caché de l'observateur.
   • LLM-comme-prédicteur : Un LLM de pointe invité directement avec l'état du jeu, le dialogue et $K$ exemples pour produire une prédiction.

Contributions clés

1. Formulation : L'article reformule la prédiction à quelques exemples d'agents basés sur le langage comme une tâche texte-tabulaire adaptative à la cible, utilisant $K$ parties antérieures comme exemples d'adaptation étiquetés.
2. LLM-comme-observateur : L'introduction d'un bloc de caractéristiques orienté décision où un LLM figé agit comme encodeur. Les auteurs démontrent que les états cachés d'un petit LLM figé fournissent des signaux complémentaires et pertinents pour la décision qui ne sont pas fiablement exposés dans la sortie directe du modèle.
3. Jeu de données et évaluation inter-populationnels : Les auteurs introduisent un jeu de données réservé de 91 agents « étayés » (construits par des étudiants utilisant un LLM sous-jacent partagé mais variant dans les invites et la logique de contrôle) et évaluent le transfert depuis une population source de LLM de pointe (variant dans le modèle sous-jacent). Cela teste la robustesse des prédicteurs à travers différents axes d'hétérogénéité des agents.

Résultats
Des expériences ont été menées sur des jeux de marchandage et de négociation du cadre GLEE.

• Performance : Le modèle texte-tabulaire complet avec caractéristiques d'observateur surpasse à la fois la ligne de base « Jeu+Texte » et l'approche directe « LLM-comme-prédicteur » pour toutes les valeurs de $K$ (0 à 16).
• Contribution de l'observateur : À $K=16$, les caractéristiques d'observateur améliorent l'AUC de prédiction de réponse d'environ 4 points de pourcentage par rapport à la meilleure ligne de base et réduisent l'erreur de prédiction de proposition (mesurée par la médiane $R^2$) de 14 % dans les tâches de marchandage.
• États cachés vs Sortie directe : Les études d'ablation confirment que le pouvoir prédictif provient des états cachés du LLM, et non de ses logits directs. Les états cachés surpassent constamment les probabilités d'acceptation/rejet propres du LLM, suggérant qu'ils encodent des informations stratégiques que la tête de sortie ne parvient pas à mettre en évidence.
• Robustesse : Les gains des caractéristiques d'observateur sont stables à travers différents fournisseurs de LLM figés (Gemma, Qwen, Llama) et à travers les couches moyennes à tardives, indiquant que le signal est une propriété intrinsèque de la représentation.
• Limites du LLM-comme-prédicteur : L'invitation directe avec de grands LLM de pointe performe mal sur la prédiction de proposition (régression), produisant souvent des scores $R^2$ négatifs, probablement en raison de la difficulté de calibrer la génération de tokens autorégressive pour des valeurs numériques continues par rapport aux capacités de régression du modèle tabulaire.

Signification et affirmations
L'article affirme que la prédiction des décisions d'agents IA inconnus est mieux formulée comme un problème d'apprentissage texte-tabulaire adaptatif à la cible que comme une prédiction few-shot directe par LLM. La signification réside dans la démonstration que :

• La séparation de la représentation (extrait via un encodeur LLM figé) et de l'adaptation (effectuée par un apprenant tabulaire supervisé) produit des performances supérieures.
• Les représentations cachées des LLM exposent des signaux pertinents pour la décision que l'invitation directe ne met pas fiablement en évidence, même lors de l'utilisation de modèles plus petits et figés par rapport aux grands modèles de pointe.
• Cette approche permet une adaptation efficace à de nouveaux agents conçus (agents étayés) en utilisant une population source réutilisable, suggérant une recette générale pour modéliser la prise de décision d'agents IA inconnus dans le commerce médiatisé par le langage.

Les auteurs notent des limites, notamment le fait que les jeux sont des abstractions contrôlées plutôt que de vrais marchés, et que la méthode suppose l'accès à une population source pertinente. Ils soulignent que cette approche est une étape vers des agents conscients de la prédiction capables de s'adapter à des partenaires sans partager d'état privé.