🤖 AI

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

Cet article propose un cadre multi-agents pour la modélisation des risques actuariels qui exploite les log-probabilités au niveau du jeton et les réseaux bayésiens afin de quantifier et de propager l'incertitude d'exécution, garantissant ainsi un support à la décision fiable dans les flux de travail basés sur les LLM à enjeux élevés.

Auteurs originaux : Bart Custers, Koorosh Aslansefat

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bart Custers, Koorosh Aslansefat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de suivre des instructions strictes, mais peuvent réellement « discuter » et « réfléchir » pour accomplir des tâches complexes. C'est le domaine de l'Intelligence Artificielle, et plus précisément d'une branche appelée les Modèles de Langage de Grande Taille (LLM - Large Language Models). Voyez ces modèles comme des étudiants incroyablement érudits qui ont lu presque tout ce qui existe sur Internet. Ils sont excellents pour écrire des histoires, répondre à des questions et même résoudre des problèmes mathématiques. Cependant, il y a un piège : ils sont un peu comme un écrivain créatif qui invente parfois des choses (ce qu'on appelle des « hallucinations ») ou change d'avis si vous posez la même question deux fois.

Maintenant, imaginez que vous deviez prendre une décision de vie ou de mort, comme déterminer le montant à facturer pour une assurance automobile. Vous ne pouvez pas simplement demander à l'un de ces étudiants IA de deviner ; vous avez besoin d'une équipe entière travaillant ensemble. C'est là qu'interviennent les Systèmes Multi-Agents. Au lieu d'un seul robot faisant tout, vous avez une équipe de spécialistes : l'un rassemble les données, un autre construit le modèle mathématique, un troisième vérifie les erreurs, et un quatrième explique les résultats. La grande question que se posent les scientifiques est la suivante : « Si l'un de ces membres de l'équipe d'IA s'embrouille ou commet une erreur, comment le savoir avant que l'ensemble du projet n'échoue ? » Cet article explore précisément ce problème, en tentant de construire un filet de sécurité pour les équipes d'IA travaillant sur des tâches financières à enjeux élevés.

L'Équipe d'IA et le « Compteur de Confiance »

Dans cette étude, les chercheurs ont mis en place une compagnie d'assurance numérique dirigée par une équipe d'agents d'IA. Ils ne se sont pas contentés de laisser l'IA discuter de manière aléatoire ; ils ont construit un flux de travail strict avec un « Hub Central » agissant comme un chef de projet. Ce gestionnaire assigne des tâches à quatre spécialistes de l'IA spécifiques :

L'Agent de Préparation des Données : Il nettoie les chiffres désordonnés.
L'Agent de Modélisation : Il construit les mathématiques de prédiction des risques.
L'Agent de Révision : Il double-vérifie le travail pour détecter les erreurs.
L'Agent d'Explication : Il s'assure que les résultats sont cohérents et équitables.

La partie délicate est que ces agents d'IA sont probabilistes, ce qui signifie qu'ils ne donnent pas une réponse unique « correcte » à chaque fois. Ils génèrent du texte mot par mot, et pour chaque mot, l'ordinateur possède une petite « probabilité logarithmique » — un nombre qui indique la probabilité que le modèle ait pensé que ce mot spécifique était le suivant. Habituellement, les gens regardent simplement la réponse finale. Mais cet article suggère une astuce ingénieuse : écouter le murmure de la confiance de l'IA.

Les auteurs ont réalisé qu'on ne peut pas simplement prendre les chiffres de confiance internes de l'IA et dire : « Ceci est correct à 90 % ». C'est comme supposer qu'un étudiant qui parle couramment est forcément en train de dire la vérité. Au lieu de cela, l'équipe a créé un système pour traduire ces murmures de confiance bruts en un Réseau Bayésien.

Le Réseau Bayésien : Un Effet de Ricochet Numérique

Voyez le Réseau Bayésien comme un immense diagramme de flux interactif de dominos. Chaque domino représente une étape dans le flux de travail de l'assurance. Si le premier domino (Préparation des Données) vacille, il peut faire basculer le deuxième (Modélisation), qui pourrait à son tour renverser le troisième (Révision).

Les chercheurs ont utilisé les scores de confiance internes de l'IA pour définir le « facteur de vacillement » de chaque domino. Ils n'ont pas traité la confiance de l'IA comme une garantie de vérité. Au lieu de cela, ils l'ont calibrée à l'aide de tests pour voir à quelle fréquence l'IA avait raison lorsqu'elle se sentait confiante. Ensuite, ils ont injecté ces chiffres calibrés dans le réseau.

Le résultat ? Le réseau pouvait leur montrer comment l'incertitude se propage à travers tout le système. Même si chaque agent d'IA se sentait confiant à 80 % dans son propre travail, le réseau pouvait calculer que l'ensemble du flux de travail n'avait que 55 % de chances de réussir parce que les petits doutes s'accumulaient. C'est comme une chaîne de quatre personnes qui se passent un seau d'eau ; si chaque personne est sûre à 80 % de ne pas renverser l'eau, le seau final pourrait tout de même être à moitié vide lorsqu'il arrive au bout.

Ce Qu'Ils Ont Découvert : Le Test de Température

Pour voir si leur filet de sécurité fonctionnait, les chercheurs ont fait passer l'équipe d'IA à travers différentes « températures ». Dans le langage de l'IA, la « température » contrôle le caractère aléatoire ou créatif de l'IA.

Température Basse (0.2) : L'IA est très conservatrice et répétitive.
Température Haute (1.2) : L'IA est sauvage, créative et sujette aux erreurs.

Ils ont testé quatre scénarios :

Scénario Sûr : Tout le monde était à basse température. Le système était très fiable, avec un taux de réussite de 87,1 %.
Scénario Mixte : Les agents de données et de modélisation étaient calmes, mais les réviseurs et les explicateurs étaient un peu sauvages. Le succès est tombé à 69,0 %.
Scénario Modéré : Tout le monde était sur un réglage « moyen » standard. Le succès était de 59,2 %.
Scénario Risqué : Un seul agent (l'Agent d'Explication) est devenu très sauvage. Même si tous les autres étaient calmes, le taux de réussite de l'ensemble du système a chuté à 42,8 %.

Cela a montré que le système est très sensible. Un seul maillon fragile dans la chaîne peut entraîner la fiabilité de tout le projet vers le bas.

Le Verdict : Qui a Détecté les Erreurs ?

L'équipe a également testé les agents d'IA en sabotant secrètement les données (comme cacher des chiffres ou ajouter du bruit factice) pour voir si les agents le remarqueraient.

Llama 2 et Llama 3.1 : Ces modèles étaient corrects pour la tâche, mais ont manqué beaucoup d'erreurs cachées. Llama 2 n'a détecté que 45 % des erreurs, et Llama 3.1 en a détecté 65 %.
Qwen2.5 : Ce modèle a été la star de la démonstration. Il a détecté 90 % des erreurs et était bien meilleur pour adapter sa stratégie lorsque les choses tournaient mal.

L'étude a également révélé que, bien que les agents individuels se sentaient souvent très confiants (avec des scores autour de 0,80 et 0,90 de leur côté), l'incertitude combinée de l'ensemble du flux de travail était bien plus faible. Par exemple, avec le modèle Qwen, les agents individuels étaient confiants, mais la certitude finale du flux de travail n'était que de 0,6012.

Pourquoi Cela Importe

Cet article ne prétend pas avoir résolu tous les problèmes de l'IA dans l'assurance. Au lieu de cela, il suggère une nouvelle façon de surveiller l'équipe d'IA pendant son travail. En utilisant un Réseau Bayésien pour suivre l'accumulation des petits doutes, nous pouvons détecter quand un flux de travail devient « dangereux » avant qu'il ne produise un mauvais résultat.

Les chercheurs ont montré que cette méthode peut reproduire les résultats actuariels standards (les mathématiques utilisées pour fixer les prix de l'assurance) tout en nous donnant une vue claire de la stabilité du système. Cela suggère que, dans les métiers à enjeux élevés, nous ne devrions pas seulement faire confiance à la réponse finale de l'IA ; nous devons écouter les « murmures » de sa confiance et observer comment ces murmures voyagent à travers l'équipe. Si un agent commence à paraître incertain, l'ensemble du système devrait savoir s'arrêter et vérifier, empênant ainsi qu'une petite erreur ne devienne un désastre financier.

Résumé technique : Surveillance de l'incertitude au moment de l'exécution pour les systèmes multi-agents basés sur les LLM à l'aide de réseaux bayésiens

Énoncé du problème

L'intégration de systèmes multi-agents (MAS) basés sur des modèles de langage de grande taille (LLM) dans des domaines à enjeux élevés comme la modélisation des risques actuariels présente des défis importants en matière de fiabilité et de transparence. Bien que les LLM offrent le potentiel d'automatiser des flux de travail complexes impliquant la préparation des données, le développement de modèles et la validation, leur nature probabiliste introduit des risques tels que les hallucinations, la variabilité entre les exécutions et un manque d'explicabilité. Dans les environnements d'assurance réglementés, des sorties non fiables peuvent conduire à des évaluations de risques erronées, des tarifications injustes et une non-conformité réglementaire. Un fossé critique existe dans les approches actuelles : les métriques d'évaluation existantes se concentrent souvent sur la précision spécifique à une tâche mais ne parviennent pas à capturer comment l'incertitude émerge et se propage à travers les flux de travail interdépendants des agents. De plus, les estimations d'incertitude standard (telles que les log-probabilités au niveau du jeton) ne se traduisent pas directement par la probabilité de succès de la tâche, ni ne tiennent compte de l'effet cumulatif des erreurs à travers un processus multi-étapes.

Méthodologie

Les auteurs proposent un cadre de surveillance de la sécurité au moment de l'exécution conçu pour quantifier et propager l'incertitude au sein d'un MAS basé sur les LLM. La méthodologie se compose de trois composantes fondamentales :

1. Architecture du système multi-agents

Le système utilise une topologie en étoile centralisée où un Hub Central coordonne quatre agents spécialisés via le passage de messages, empêchant la communication directe entre agents pour assurer une supervision contrôlée :

Agent de préparation des données : Gère l'ingestion, le nettoyage et l'encodage des données.
Agent de modélisation : Développe des modèles prédictifs.
Agent de révision : Évalue les sorties des étapes de données et de modélisation pour la cohérence et la performance.
Agent d'explication : Évalue l'interprétabilité, l'alignement conceptuel (en utilisant le Testing with Concept Activation Vectors) et l'équité (via des comparaisons au niveau du groupe).

Le cadre utilise trois modèles transformer de type décodeur uniquement (Llama 2 7B, Llama 3.1 8B et Qwen2.5 7B) capables de fonctionner sur des machines locales.

2. Quantification de l'incertitude via les log-probabilités

Le cadre extrait les log-probabilités par jeton ( $log p_\theta$ ) des sorties des LLM. Reconnaissant que les log-probabilités brutes sont influencées par la longueur de la séquence et ne sont pas directement équivalentes au succès de la tâche, les auteurs appliquent un processus de transformation :

Normalisation de la longueur : Les log-probabilités sont moyennées sur la longueur de la séquence $L$ pour générer un score résumé $s_i$ .
Calibration : Le score normalisé est transformé en une caractéristique de confiance bornée $q_i = \exp(s_i)$ .
Fonction de calibration : Une fonction $f_{cal}$ , estimée via des exécutions de validation, mappe $q_i$ vers une probabilité de réussite de la tâche $P(X_i = success | q_i)$ .

3. Réseau Bayésien (RB) pour la propagation

Pour modéliser les dépendances entre les étapes du flux de travail, les scores de confiance calibrés sont incorporés dans un réseau bayésien.

Structure : Chaque étape du flux de travail (par exemple, la préparation des données, la révision, la modélisation) est un nœud. Les arcs dirigés représentent les dépendances conditionnelles.
Logique : Le réseau utilise des tables de probabilités conditionnelles (CPT) pour définir comment le succès d'une tâche en aval dépend du succès de ses nœuds parents. Par exemple, le nœud de succès final du flux de travail est modélisé comme une porte "ET", nécessitant que tous les nœuds parents réussissent.
Inférence : À mesure que le flux de travail s'exécute, le Hub Central met à jour le RB avec de nouvelles preuves (scores d'incertitude), permettant le calcul des probabilités postérieures. Cela visualise comment l'incertitude s'accumule des sorties individuelles des agents vers l'état final du système.

Contributions clés

L'article présente une approche novatrice de la surveillance au moment de l'exécution qui dépasse l'évaluation statique :

Cadre de propagation de l'incertitude : Il introduit une méthode pour transformer les log-probabilités par jeton en estimations de confiance par tâche calibrées et les propager à travers un réseau bayésien. Cela modélise explicitement la distinction entre l'incertitude intrinsèque (à un niveau unique) et l'incertitude extrinsèque (propagée à partir de décisions antérieures).
Mécanisme de sécurité structuré : Le cadre fournit une représentation structurée de la stabilité du flux de travail, capable d'identifier les états "non sûrs" où l'incertitude dans des composants spécifiques dégrade significativement la fiabilité globale du système.
Validation empirique dans un contexte actuariel : L'approche est validée au sein d'un flux de travail actuariel réaliste, démontant que le système peut reproduire les performances actuarielles de base tout en offrant des informations granulaires sur la stabilité du flux de travail.

Résultats

L'évaluation a été menée sur trois backends de LLM en utilisant des jeux de données originaux et 20 jeux de données systématiquement perturbés (introduisant des erreurs telles que des valeurs manquantes, des décalages de distribution et du bruit d'étiquetage).

Performance : Le MAS a atteint des taux de succès de tâche élevés (80–90 %) et une performance prédictive (RMSE) comparable aux modèles actuariels de base sur tous les backends.
Variance de l'incertitude : Des différences significatives ont été observées dans la certitude du flux de travail dérivée du réseau bayésien. Par exemple, alors que les agents individuels montraient souvent une grande confiance, la propagation de l'incertitude a réduit la probabilité de succès globale du flux de travail (par exemple, passant d'une certitude individuelle de ~80 % à une certitude globale de ~55 % dans un scénario par défaut).
Sensibilité à la température : Les expériences faisant varier la température du LLM ont confirmé qu'une augmentation du caractère aléatoire des réponses des agents réduit directement la probabilité de succès global du flux de travail. Un scénario "à risque" avec une température élevée dans un seul agent a considérablement abaissé la fiabilité de l'ensemble du système.
Détection d'erreurs : Le backend Qwen2.5 7B a démontré une capacité de détection d'erreurs (90 %) et une adaptabilité supérieures par rapport aux modèles Llama (45–65 %), particulièrement dans la gestion des décalages de distribution.
Limites : Le système a montré une sensibilité aux changements de distribution (décalages de population), mais était moins fiable pour détecter les valeurs manquantes ou la parcimonie, soulignant des domaines spécifiques d'amélioration pour le processus de validation.

Signification et affirmations

L'article affirme que sa principale signification réside dans la fourniture d'une méthode structurée et interprétable pour surveiller l'incertitude au moment de l'exécution dans les MAS basés sur les LLM. En combinant les signaux par jeton avec l'inférence bayésienne, le cadre offre un mécanisme de sécurité qui peut identifier les éléments faibles d'un flux de travail avant qu'ils ne mènent à des défaillances critiques.

Les auteurs maintiennent une position modeste, notant que l'implémentation actuelle représente une preuve de concept. Le réseau bayésien modélise une trace d'exécution abstraite plutôt que la logique de contrôle dynamique complète (par exemple, il ne modélise pas actuellement les boucles de révision itératives ou l'ordonnancement temporel au-delà des dépendances directes parent-enfant). Les auteurs suggèrent que l'extension du modèle vers des réseaux bayésiens dynamiques ou des diagrammes d'influence est une direction pour les travaux futurs. En fin de compte, ce travail démontre qu'il est possible de soutenir la prise de décision à enjeux élevés avec des agents LLM en quantifiant et en visualisant explicitement comment l'incertitude se propage à travers des flux de travail complexes et multi-étapes.