Résumé technique : BayesAgent – Raisonnement agentique bayésien sous incertitude via la modélisation graphique probabiliste verbalisée

Énoncé du problème

Bien que les agents basés sur les grands modèles de langage (LLM) aient démontré des capacités de raisonnement et de prise de décision émergentes grâce à des paradigmes tels que la Chaîne de Pensée (CoT) et l'interaction augmentée par des outils (ex. ReAct, Toolformer), ils manquent d'un cadre principled pour capturer les structures latentes et modéliser l'incertitude. La cognition humaine excelle dans la capacité à transcender les entrées sensorielles pour former des représentations latentes qui structurent la compréhension, une profondeur d'analyse qui n'est pas encore pleinement atteinte par les systèmes d'IA. Les agents LLM actuels éprouvent souvent des difficultés dans des environnements incertains ou partiellement observables car ils reposent sur des corrélations linguistiques de surface plutôt que sur une mise à jour bayésienne explicite des croyances. De plus, les méthodes probabilistes traditionnelles (ex. l'inférence bayésienne standard ou les Modèles Graphiques Probabilistes - PGM) nécessitent généralement une expertise de domaine substantielle pour la conception et la validation manuelles des modèles, ce qui les rend inadaptées aux scénarios présentant des hypothèses limitées ou des données rares.

Méthodologie : Modélisation Graphique Probabiliste Verbalisée (vPGM)

Les auteurs introduisent la Modélisation Graphique Probabiliste Verbalisée (vPGM), un cadre agentique bayésien qui fait le pont entre les agents LLM et les Modèles Graphiques Probabilistes (PGM) pour traiter le raisonnement sous incertitude. Contra�à l'approche traditionnelle, la vPGM contourne la conception de modèles pilotée par l'expert en exploitant les connaissances et les capacités de raisonnement du LLM pour simuler les principes bayésiens en langage naturel.

Le cadre opère à travers trois étapes clés :

1. Découverte de la structure graphique : Le LLM est invité à identifier les variables latentes ($Z$) et leurs dépendances probabilistes en se basant sur la description de la tâche et les données d'entrée. Au lieu de définir des distributions mathématiques explicites, le LLM génère des descriptions en langage naturel des Distributions de Probabilité Conditionnelle (CPD), telles que $P(Z_i | Pa(Z_i))$, où $Pa(Z_i)$ représente les variables parents.
2. Inférence basée sur le prompting : Étant donné de nouvelles données d'entrée ($X$), le LLM est guidé pour inférer des distributions postérieures verbalisées pour chaque variable latente. Cette étape simule le processus d'inférence bayésienne, permettant à l'agent d'évaluer la probabilité des états latents (par exemple, la pertinence des connaissances récupérées ou l'exactitude d'une légende d'image) sur la base des preuves observées.
3. Prédictions sous incertitude : Les prédictions finales ($Y$) sont générées en calculant l'espérance mathématique de la distribution prédictive conditionnelle sur les variables latentes inférées :
   $$E_{P(Z|X)}[P(Y|Z)] \approx \sum_Z P(Y|Z)P(Z|X)$$
   Cela permet au système d'agréger l'incertitude provenant de multiples facteurs latents (par exemple, des sorties d'outils bruitées) en un score de confiance final.

Extension : BayesVPGM

Pour améliorer davantage la quantification de l'incertitude, les auteurs proposent BayesVPGM, qui incorpore l'inférence bayésienne numérique. Cette extension traite les multiples échantillons de réponses générés par le LLM comme des prédictions catégorielles issues d'une distribution sous-jacente.

• Inférence a posteriori : Un a priori de Dirichlet est placé sur les probabilités de catégories, informé par les probabilités numériques initiales de la vPGM. L'a posteriori est mis à jour en utilisant la fréquence des étiquettes observées à partir de multiples requêtes au LLM.
• Calibration différentiable : Pour automatiser le réglage de la force de l'a priori (hyperparamètre $\lambda$), une perte de calibration différentiable est introduite. Cette perte combine une perte de classification standard avec un terme d'alignement par classe (basé sur l'Erreur de Calibration Attendue - ECE) afin d'optimiser $\lambda$ via des méthodes de gradient (ex. L-BFGS), garantissant que la distribution prédictive finale équilibre les fréquences d'étiquettes empiriques avec les croyances probabilistes initiales du modèle.

Contributions Clés

• Cadre Novateur : Le premier travail reliant les agents LLM aux PGM pour le raisonnement agentique sous incertitude, introduisant une méthode qui ne nécessite pas de conception de modèle manuelle par un expert.
• PGM Verbalisés : Un mécanisme pour encoder des structures graphiques et des CPD en langage naturel, réduisant la dépendance à l'expertise de domaine et à l'estimation de paramètres.
• Calibration Améliorée : Un cadre unifié qui combine le raisonnement LLM avec l'inférence bayésienne numérique pour améliorer significativement la calibration de la confiance.
• Optimisation Différentiable : Une approche théoriquement fondée pour apprendre les hyperparamètres de calibration via une fonction de perte différentiable, répondant aux limites du réglage manuel.

Résultats Expérimentaux

Les auteurs ont évalué vPGM et BayesVPGM sur deux benchmarks principaux :

1. ScienceQA (Questions fermées) : Une tâche de réponse à des questions scientifiques multimodales nécessitant l'intégration d'informations provenant de plusieurs sources (ex. recherche Bing, légendes d'images).
   • Performance : vPGM et BayesVPGM surpassent significativement les modèles de référence (CoT, Chameleon, et Chameleon+ avec auto-cohérence) tant en précision qu'en Erreur de Calibration Attendue (ECE).
   • Calibration : Alors que Chameleon présente une surconfiance élevée (ECE $\approx$ 9,62), BayesVPGM atteint une calibration quasi parfaite (ECE $\approx$ 1,05 avec $N=3$ variables latentes), s'alignant étroitement avec la courbe de calibration idéale diagonale.
   • Analyse Qualitative : Des études de cas ont démontré que BayesVPGM identifie efficacement les divergences dans les informations récupérées (ex. résultats de recherche Bing non pertinents ou légendes d'images inexactes) et réduit l'indice de confiance de manière appropriée, là où les modèles de référence maintiennent une confiance élevée malgré les erreurs.
2. ChatCoach (Questions ouvertes) : Un scénario de coaching médical multi-agents impliquant la détection et la correction d'inexactitudes de terminologie médicale.
   • Le cadre a été appliqué à cette tâche ouverte pour démontrer sa généralisabilité, bien que BayesVPGM (qui suppose des sorties catégorielles) n'ait pas été appliqué ici.

Signification et Revendications

L'article affirme que la vPGM comble une lacune critique dans l'IA agentique : l'absence d'un cadre structuré pour modéliser les structures latentes et l'incertitude. En guidant les LLM pour simuler les principes du raisonnement bayésien, la méthode améliore la fiabilité des systèmes de raisonnement compositionnel. Les auteurs soutiennent que leur approche est particulièrement adaptée aux scénarios avec des hypothèses limitées ou des données rares, car elle évite le besoin d'une expertise de domaine étendue typiquement requise pour la modélisation probabiliste traditionnelle. Les résultats indiquent que l'intégration des PGM verbalisés avec l'inférence bayésienne numérique améliore efficacement tant la qualité de la génération de texte que la calibration de la confiance des agents LLM.