Résumé Technique : Du profilage à la synthèse : Évaluation de l'alignement comportemental implicite dans les agents LLM personnalisés

1. Définition du problème : Le fossé entre la connaissance et l'action

La recherche actuelle sur les agents basés sur les grands modèles de langage (LLM) est passée des chatbots conversationnels aux systèmes autonomes capables d'exécuter des tâches complexes du monde réel. Cependant, un goulot d'étranglement critique subsiste : la personnalisation. Les benchmarks et cadres d'évaluation existants reposent largement sur des instantanés de préférences statiques, des journaux d'interactions fixes ou du Questionnement/Réponse (QA) explicite sur des profils d'utilisateurs prédéfinis.

Les auteurs identent une limitation fondamentale appelée le fossé entre la connaissance et l'action (knowledge-to-action gap). Ce fossé décrit la divergence où un agent peut réussir à récupérer ou à inférer une connaissance cruciale sur l'utilisateur (par exemple, un utilisateur a récemment subi une extraction dentaire) mais échoue à appliquer cette connaissance pour satisfaire des contraintes implicites lors de l'exécution d'une tâche (par exemple, commander de la nourriture molle au lieu de nourriture épicée en se basant sur un profil statique « aime les plats épicés »). Les évaluations actuelles mesurent principalement la capacité d'un agent à extraire des attributs via le QA, échouant ainsi à évaluer si un agent peut intégrer des signaux d'utilisateur implicites, évolutifs et potentiellement conflictuels dans des actions et des décisions concrètes et complexes.

2. Méthodologie

2.1 IBA-BENCH : Un nouveau benchmark

Pour remédier à l'absence d'évaluation de l'alignement comportemental implicite, les auteurs introduisent IBA-BENCH. Contra-irement aux benchmarks précédents qui se concentrent sur le profilage ou la correspondance statique, IBA-BENCH est construit à partir d'histoires d'interactions longitudinales contenant du bruit, des indices implicites et des incohérences temporelles.

• Pipeline de construction : Le benchmark est généré à l'aide d'un cadre multi-agents. Il commence par 400 personas graines définis par des attributs à long terme (contexte, personnalité) et des états à court terme (stress transitoire, rôle actuel).
• Caractéristiques des données : Le système génère des historiques d'interactions où les preuves de préférences informatives sont enfouies dans de gros volumes de contenus non pertinents pour la tâche (par exemple, des discussions sociales banales). Les préférences sont révélées implicitement par des schémas comportementaux (par exemple, raccourcir systématiquement les brouillons) plutôt que par des déclarations explicites.
• Étendue des tâches : Le benchmark comprend 6 962 instances de tâches réparties dans 9 domaines (Écriture, Travail, Consommation quotidienne, Planification, Santé, Transport, Médical, Loisirs, Gestion de l'information) et 66 scénarios.
• Évaluation : Les tâches exigent que les agents exécutent des actions concrètes (génération de texte ou appel d'API avec paramètres) basées sur l'historique. Un évaluateur comportemental évalue la correction par rapport à des critères spécifiques de préférence, allant au-delà de la simple précision pour viser la « réussite comportementale ».

2.2 IBA-Agent : Un cadre pour l'alignement comportemental

Pour combler le fossé entre la compréhension des préférences historiques et l'exécution active des tâches, les auteurs proposent IBA-Agent, un cadre piloté par LLM composé de deux modules principaux :

1. Récupération Profonde (Deep Retrieval) :

   • Expansion de requête : Au lieu d'une requête unique, l'agent génère des sous-requêtes diverses ciblant différentes facettes de préférence (ex: ton, structure, compromis décisionnels, corrections, habitudes).
   • Récupération et Affinement : Utilisant un récupérateur dense (BGE-M3), le système récupère des passages sémantiquement pertinents. Il utilise le filtrage de redondance pour supprimer les extraits chevauchants et le reclassement de saillance (via un scoreur LLM) pour prioriser les signaux de préférence à haute confiance, garantissant que les preuves fiables sont pondérées par rapport aux schémas implicites bruyants.

2. Pensée Large et Alignement Profond (Broad Thinking & Deep Alignment) :

   • Synthèse : Ce module transforme les preuves récupérées en un plan de personnalisation spécifique à la tâche.
   • Processus : Il effectue une organisation de preuves compactes, une extraction de préférences (identifier ce qui a été demandé, corrigé, rejeté ou mis à jour) et un alignement tâche-préférence.
   • Sortie : L'agent produit un plan d'alignement qui dicte le style/la structure de réponse pour les tâches de génération ou les contraintes/priorités pour les tâches d'appel d'API, réconciliant efficacement les priorités conflictuelles avant l'exécution.

3. Principales contributions

Le papier apporte trois contributions majeures :

1. Changement conceptuel : Il préconise de passer de la recherche sur le profilage de préférences statiques à la synthèse de préférences dynamique, identifiant le fossé entre la connaissance et l'action comme un goulot d'étranglement clé.
2. Introduction d'un Benchmark : La publication d'IBA-BENCH, le premier benchmark évaluant l'alignement comportemental implicite à travers l'exécution de tâches concrètes dans des contextes réalistes, dynamiques et bruités. Il couvre toutes les dimensions de l'historique, de la dynamique, de l'implicite, de l'exécution de tâches et de l'évaluation comportementale.
3. Proposition d'un Cadre : L'introduction d'IBA-Agent, un cadre combinant la récupération profonde avec la synthèse au niveau de la trajectoire, fournissant une base empirique solide pour les agents capables de raisonnement personnalisé.

4. Résultats expérimentaux

Les expériences ont été menées dans un cadre d'inférence uniquement (sans fine-tuning) utilisant un pipeline RAG unifié avec bge-m3 pour la récupération. L'étude a évalué dix LLM modernes (familles Qwen, DeepSeek, GPT, ChatGLM, QwQ) et trois systèmes d'agents à usage général (Claude Code, Hermes Agent, nanobot).

• Performance de base : Les approches RAG standard et les LLM autonomes (incluant des modèles puissants comme GPT-5.1 et Claude Code) peinent considérablement sur ces tâches d'exécution lourdes en synthèse. La performance n'est pas strictement monotone par rapport à l'échelle du modèle, indiquant que des backbones plus puissants ne suffisent pas seuls.
• Performance de IBA-Agent : Le cadre proposé améliore substantiellement l'alignement comportemental.
  • En utilisant DeepSeek-V3.2 comme backbone, IBA-Agent a amélioré le score global de 66,9 à 78,8.
  • En utilisant Qwen3-4B-Instruct, le score est passé de 67,6 à 78,1.
  • L'ajout de l'Appel de Fonction (Function Calling - FC) a encore boosté les performances à 81,9 et 78,7 respectivement.
• Études d'ablation :
  • La Récupération Profonde a eu l'impact le plus important ; la supprimer a causé une chute de 8,3 points de la performance globale, soulignant la difficulté d'accéder aux preuves pertinentes à partir d'histoques longs.
  • Broad Thinking & Deep Alignment a contribué à un gain de 2,5 points, essentiel pour l'alignement multi-contraintes.
  • La Synthèse au niveau de la trajectoire était critique ; la remplacer par une synthèse de type RAG standard a entraîné une chute de 5,5 points.
• Analyse de l'écart : L'étude confirme un net fossé entre connaissance et action : les modèles réussissent nettement mieux sur les tâches de QA (énoncer les préférences) que sur les applications orientées tâches (appliquer les préférences). IBA-Agent démontre une robustesse aux changements de préférences, surpassant le meilleur baseline de +12,7 points dans des contextes de préférences dynamiques.

5. Signification et affirmations

Le papier affirme qu'une personnalisation efficace nécessite que les agents synthétisent les signaux implicites à partir d'histoires longitudinales plutôt que de simplement récupérer des étiquettes explicites. Les auteurs soutiennent que combler le fossé entre la connaissance et l'action est un prérequis pour que les agents personnalisés soient pratiquement utiles dans le monde réel.

La signification de ce travail réside dans :

• La révélation des limites : Valider empiriquement que les agents de pointe actuels échouent à traduire le contexte historique en contraintes comportementales, même lorsqu'ils possèdent la connaissance nécessaire.
• La proposition d'une solution : Démontrer que la synthèse explicite au niveau de la trajectoire et la récupération profonde peuvent améliorer substantiellement l'alignement dans des scénarios complexes et bruités.
• L'établissement d'un standard : Offrir IBA-BENCH comme un outil d'évaluation rigoureux qui va au-delà du profilage statique pour évaluer la nature dynamique, conflictuelle et implicite des préférences réelles des utilisateurs.

Les auteurs reconnaissent des limites, notant que le benchmark repose sur des données synthétiques générées par LLM et se concentre actuellement sur l'exécution hors ligne conditionnée par l'historique plutôt que sur l'adaptation interactive en ligne. Cependant, ils positionnent ce travail comme une étape nécessaire vers la construction d'agents capables de réellement comprendre et d'agir selon les besoins évolutifs des utilisateurs.