🤖 AI

Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability

Cet article présente un cadre statistique rigoureux utilisant des statistiques U et des métriques à noyau pour distinguer les capacités fondamentales d'un agent IA de sa robustesse d'exécution, démontrant que les mesures de cohérence au niveau des trajectoires offrent une sensibilité diagnostique supérieure aux taux pass@1 traditionnels pour identifier les problèmes de fiabilité dans des environnements à haut risque.

Auteurs originaux : Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un assistant robotique hautement intelligent pour résoudre une énigme complexe. Vous lui demandez de construire un type spécifique de pont. Il le fait parfaitement. Vous êtes heureux.

Mais ensuite, vous posez exactement la même question, en la reformulant légèrement : « Pourriez-vous construire un pont de ce design spécifique ? » Au lieu de construire le pont, le robot décide soudainement de construire un bateau, ou se confond et commence à manger les plans.

C'est le problème que cet article aborde. Il soutient que le fait qu'un agent IA (un assistant robotique) donne la bonne réponse une fois ne signifie pas qu'il est fiable. Il pourrait être un « phénomène d'un jour » qui se brise si vous modifiez la formulation de votre demande ou l'environnement dans lequel il travaille.

Voici une décomposition de leur solution, en utilisant des analogies simples :

1. Le Problème : Le « Chef Capricieux »

Les méthodes actuelles de test de l'IA ressemblent à un critique culinaire qui ne goûte qu'un seul plat. Si le chef prépare un steak parfait une fois, le critique lui attribue une note de 5 étoiles. Mais que se passe-t-il si le chef est un « chef capricieux » ?

Si vous demandez le steak « saignant », il le prépare parfaitement.
Si vous le demandez « saignant » (avec un espace), il le brûle.
Si vous le demandez dans une autre langue, il vous sert de la soupe.

L'article déclare : Nous devons tester si le chef est constant, pas seulement s'il peut cuisiner une fois.

2. La Solution : Le « Test de Cohérence »

Les auteurs ont créé un nouveau « test de forme » statistique pour les agents IA. Au lieu de demander à l'IA d'accomplir une tâche une seule fois, ils lui demandent d'accomplir la même tâche de nombreuses fois, mais avec de légères modifications inoffensives (comme changer la police, ajouter une faute de frappe, ou reformuler la phrase).

Ils mesurent deux choses :

Le Résultat (Cohérence de la sortie) : L'IA a-t-elle donné la même réponse à chaque fois ?
Le Parcours (Cohérence de la trajectoire) : L'IA a-t-elle suivi les mêmes étapes pour y parvenir ?

3. La « Carte » vs La « Destination »

C'est la découverte la plus importante de l'article. Ils ont constaté qu'une IA peut atteindre la bonne destination (la réponse correcte) mais emprunter une carte complètement différente (les étapes qu'elle a suivies) à chaque fois.

L'Analogie : Imaginez que vous demandez à un GPS des directions pour l'aéroport.
- Scénario A : Il vous donne le même itinéraire à chaque fois. (Cohérent)
- Scénario B : Il vous amène à l'aéroport, mais aujourd'hui il prend l'autoroute, demain il prend des routes secondaires, et le lendemain il traverse un parc. (Incohérent)

L'article montre que les tests traditionnels vérifient seulement si vous êtes arrivé à l'aéroport (Réussi/Échoué). Leur nouveau test vérifie si le GPS utilise une carte fiable. Ils ont constaté que même lorsque l'IA obtient la bonne réponse, elle emprunte souvent un chemin chaotique et différent à chaque fois, ce qui est dangereux pour une utilisation réelle.

4. Le Détecteur de « Dérive »

Les auteurs ont développé un outil mathématique (utilisant ce qu'on appelle des « U-statistiques » et des « noyaux ») pour mesurer cette « dérive ».

Dérive de Composition : L'IA a-t-elle utilisé les mêmes outils ? (Par exemple : a-t-elle utilisé un marteau et une scie, ou un marteau et une cuillère ?)
Dérive de Ordre : L'IA a-t-elle fait les choses dans le même ordre ? (Par exemple : a-t-elle coupé le bois avant de le peindre, ou l'a-t-elle peint en premier ?)

Ils ont constaté que les agents IA sont souvent bons pour choisir les bons outils (Composition) mais terribles pour se souvenir de l'ordre dans lequel les utiliser (Ordre). Si vous modifiez légèrement l'environnement (comme renommer un fichier ou changer une colonne de base de données), l'IA pourrait choisir les bons outils mais les utiliser dans le mauvais ordre, faisant s'effondrer tout le plan.

5. Le Diagnostic « Voyage dans le Temps »

L'article introduit également une manière ingénieuse d'examiner quand l'IA fait des erreurs.

Erreurs frontales : L'IA se confond immédiatement au début.
Erreurs arrière : L'IA commence bien mais perd le fil de ses pensées tout à la fin.

Ils ont constaté que certains agents IA sont en fait assez stables au début mais s'effondrent à la fin. C'est comme un étudiant qui écrit une excellente introduction à une dissertation mais oublie complètement la conclusion. Leur nouveau test « pondéré » peut repérer cette faiblesse spécifique, alors que les anciens tests se contentaient de dire « Dissertation échouée » sans expliquer pourquoi.

6. La Surprise de la « Sortie Mal Formée »

Dans une expérience spécifique, ils ont demandé à une IA de produire des données dans un format différent (XML au lieu de JSON). L'IA n'a pas simplement donné une mauvaise réponse ; elle s'est complètement effondrée, produisant un charabia illisible. Cela a montré que l'IA ne « raisonnait » pas mal ; elle était simplement fortement biaisée vers un format (JSON) et ne pouvait pas gérer le changement.

Résumé

L'article affirme que la cohérence est une propriété mesurable et testable qui fait actuellement défaut dans les évaluations de l'IA.

Ancienne méthode : « A-t-il obtenu la bonne réponse ? » (Oui/Non)
Nouvelle méthode : « Si nous posons la même question 100 fois de 100 manières différentes, suit-il le même chemin et obtient-il le même résultat ? »

Ils prouvent que de nombreux agents IA sont « fragiles ». Ils peuvent sembler intelligents lors d'un test standard, mais si vous modifiez légèrement l'invite, leur logique interne s'effondre. Leur nouveau cadre donne aux développeurs les outils mathématiques pour trouver exactement où et pourquoi l'IA se brise, afin qu'ils puissent corriger l'architecture avant de la déployer dans des situations à haut risque comme la santé ou la finance.

En bref : Ne faites pas confiance à l'IA simplement parce qu'elle a obtenu la bonne réponse une fois. Assurez-vous qu'elle ne panique pas lorsque vous changez la police de votre question.

Résumé technique : La cohérence comme propriété testable

Énoncé du problème

Bien que les agents basés sur les grands modèles de langage (LLM) aient démontré des capacités remarquables dans des domaines allant du génie logiciel au raisonnement complexe, leur déploiement dans des environnements à haut risque est entravé par un manque de cohérence comportementale. Contrairement aux logiciels déterministes, les agents basés sur les LLM présentent une variance de sortie significative lorsqu'ils sont confrontés à des entrées sémantiquement équivalentes, en raison de la stochasticité de l'échantillonnage et de la sensibilité aux variations superficielles des invites. Les méthodologies d'évaluation actuelles se concentrent principalement sur les taux de réussite des tâches (par exemple, pass@1) et la précision sur des benchmarks spécifiques. Cependant, ces métriques ne parviennent pas à capturer si les agents produisent des sorties cohérentes et fiables lorsqu'ils sont confrontés à des variations dans la formulation des entrées, le contexte ou les environnements d'exécution.

L'article met en évidence plusieurs limitations critiques de la fiabilité actuelle des agents :

Fragilité face aux perturbations : De légères erreurs typographiques ou des reformulations peuvent entraîner une baisse significative de la précision du raisonnement en chaîne de pensée.
Sensibilité aux outils : Les agents ayant accès à plusieurs outils présentent un comportement erratique lorsque les descriptions des outils sont modifiées ou lorsque des outils non pertinents sont ajoutés, la précision chutant près de zéro dans des conditions adverses.
Réponses contradictoires : Les agents produisent souvent des réponses contradictoires au fil des tours de conversation, en particulier sous des limitations de longueur de contexte ou face à des requêtes sous-spécifiées.
Contamination des benchmarks : Les performances sur des benchmarks statiques (par exemple, SWE-bench) ne se traduisent souvent pas par des variantes continuellement mises à jour (par exemple, SWE-bench-Live), suggérant un manque de véritable robustesse.

Les travaux existants manquent d'un cadre standardisé et rigoureux pour décomposer et mesurer la cohérence au niveau des trajectoires d'exécution des agents, se concentrant souvent uniquement sur les sorties finales.

Méthodologie

Les auteurs proposent une science de mesure rigoureuse pour la fiabilité des agents d'IA basée sur des tests d'hypothèses statistiques. Le cadre décompose la fiabilité en deux dimensions : observable (niveau de sortie) et interne (niveau de trajectoire).

1. Cohérence de sortie via les statistiques U

Pour mesurer la cohérence au niveau de la sortie, les auteurs formalisent le problème en utilisant des statistiques U.

Configuration : Étant donné une invite de base $x_0$ et un ensemble de variantes perturbées sémantiquement équivalentes $x_1, \dots, x_n$ , l'agent produit des sorties $y_0, \dots, y_n$ .
Métrique : Une fonction de noyau symétrique $k(y_i, y_j)$ mesure la similarité entre des paires de sorties (par exemple, BLEU, ROUGE, implication, ou juges basés sur des LLM).
Estimateur : La cohérence est estimée par la statistique U $U_n$ , qui est un estimateur sans biais du paramètre de population $\theta = E[k(Y, Y')]$ .
Test d'hypothèse : Le cadre teste l'hypothèse nulle $H_0: \theta = 1$ (cohérence parfaite) contre $H_1: \theta < 1$ (incohérence). Les théorèmes 1 et 2 établissent que, sous des hypothèses spécifiques (invariance distributionnelle et distribution homogène des tâches), la statistique de test suit asymptotiquement une distribution normale, fournissant des garanties sur la taille (contrôle des faux positifs) et la puissance (sensibilité de détection).

2. Cohérence de trajectoire via les méthodes de noyau

Reconnaissant que les agents exécutent des processus de prise de décision séquentiels, le cadre s'étend aux trajectoires d'exécution $\tau = (a_1, \dots, a_T)$ .

Processus stochastiques : Les trajectoires sont traitées comme des processus stochastiques avec des longueurs variables et des dépendances temporelles.
Métrique : Les auteurs utilisent la Discrépance Maximale des Moyennes (MMD) dans un Espace de Hilbert à Noyau Reproductible (RKHS) pour mesurer la distance entre la distribution des trajectoires de base et celle des trajectoires perturbées.
Noyaux : Pour gérer les séquences d'actions de longueur variable, l'article emploie :
- Distance Jensen-Shannon (JSD) : Mesure la dérive de composition (proportions des outils utilisés).
- Distance de Levenshtein (LD) : Mesure la dérive d'ordonnancement (stabilité de la séquence).
- Noyau d'alignement global (GAK) : Un noyau défini positif qui résout le problème de la non-définition positive dans les distances d'édition, fournissant un analogue statistiquement valide pour la MMD.
Métriques pondérées : Pour capturer l'asymétrie des erreurs (où les déviations en phase tardive sont plus conséquentes que l'exploration précoce), les auteurs introduisent des distances de Levenshtein pondérées, en échelonnant les coûts d'édition par position.

3. Gestion de la multimodalité

Le cadre aborde le problème où plusieurs stratégies de solution valides existent pour une tâche unique. Il propose une approche en deux étapes : (i) l'identification des modes de solution par clustering spectral sur la matrice GAK, et (ii) la mesure de la cohérence au sein de chaque mode pour distinguer la diversité stratégique légitime de l'instabilité réelle.

Contributions clés

Cadre fondamental : L'article établit un cadre statistique principiel pour quantifier la cohérence des agents, distinguant la capacité de base de la robustesse d'exécution.
Rigueur théorique : Il fournit des preuves formelles de la normalité asymptotique des statistiques de test proposées (Théorèmes 1–3), garantissant des taux de faux positifs conservateurs et une puissance élevée pour détecter les véritables incohérences.
Granularité diagnostique : En décomposant l'incohérence en dérive de composition (quelles actions sont entreprises) et dérive d'ordonnancement (comment elles sont séquencées), le cadre révèle des faiblesses architecturales invisibles pour les métriques basées uniquement sur la sortie.
Diagnostics temporels : L'introduction de métriques de trajectoire pondérées permet d'identifier quand les agents dévient (erreurs en début de séquence vs en fin de séquence), offrant des orientations spécifiques pour des correctifs architecturaux.

Résultats expérimentaux

Le cadre a été validé sur trois benchmarks d'agents : SWE-bench Verified (génie logiciel), Spider2-DBT (transformation de données) et BFCL (appel de fonctions). Les expériences ont consisté à appliquer des perturbations au niveau de l'invite (reformulation, traduction inverse, bruit) et au niveau de la tâche (changements d'environnement, décalages de schéma, outils leurres).

Une haute précision masque les échecs de cohérence : Les agents ont maintenu une cohérence de sortie relativement élevée (0,75–0,90) sous des perturbations au niveau de l'invite, mais ont montré une dégradation significative sous des perturbations au niveau de la tâche.
Les métriques de trajectoire révèlent des échecs cachés :
- SWE-bench : Sous une perturbation « MCP linéaire » (changement des mécanismes de récupération d'information), la précision d'OpenHands+Kimi-K2 s'est effondrée à environ 25 %, alors que la cohérence de sortie restait à 60 %. L'analyse de trajectoire a révélé que, si la sélection d'outils restait cohérente (JSD élevé), l'ordonnancement des actions se dégradait considérablement (faible Levenshtein), indiquant un échec dans le séquençage de l'exécution.
- BFCL : Sous une perturbation au format XML, la précision d'OpenHands+Kimi-K2 est tombée près de zéro. Les métriques de trajectoire ont montré un effondrement complet tant de la composition que de l'ordonnancement, révélant une dépendance codée en dur à l'analyse JSON et une incapacité à générer un XML valide.
- Spider2-DBT : Codex a montré une haute cohérence de composition mais une cohérence d'ordonnancement modérée sous des perturbations de schéma, suggérant que l'agent produisait de manière cohérente la mauvaise réponse pour les entrées perturbées.
Force de la perturbation : Les études d'ablation ont montré qu'augmenter la force de la perturbation (par exemple, plusieurs passes de reformulation) entraînait un déclin graduel de la précision, tandis que des changements structurels spécifiques (par exemple, injection de code mort) montraient des effets de saturation, suggérant que les agents peuvent ignorer le code clairement inutilisé.

Importance et affirmations

L'article affirme fournir « les outils mathématiques pour isoler où et pourquoi les agents dévient ». Son importance réside dans le changement de paradigme d'évaluation de « l'agent résout-il la tâche ? » à « l'agent résout-il la tâche de manière fiable sous variation ? ».

Sensibilité diagnostique : Les auteurs démontrent que les métriques de cohérence au niveau de la trajectoire offrent une sensibilité diagnostique bien supérieure aux taux pass@1 traditionnels, exposant une fragilité architecturale que les métriques de précision masquent.
Préparation au déploiement : En identifiant des modes d'échec spécifiques (par exemple, erreurs de séquençage vs erreurs de sélection d'outils), le cadre permet l'identification et la rectification des préoccupations architecturales, ce qui est une condition préalable au déploiement d'agents dans des environnements réels à haut risque.
Limites : Les auteurs reconnaissent que leur approche repose sur l'hypothèse d'équivalence sémantique dans les perturbations, ce qui est difficile à valider empiriquement. De plus, l'analyse de trajectoire actuelle traite les séquences d'actions comme l'unité de cohérence, ignorant les états de raisonnement intermédiaires ou les mises à jour de croyance, ce qui nécessiterait l'accès à des états internes du modèle non actuellement exposés par les cadres d'agents standard.

En conclusion, ce travail offre une définition rigoureuse et testable de la fiabilité des agents, allant au-delà des simples taux de réussite pour une compréhension nuancée du comportement des agents sous stress, fournissant ainsi une fondation pour construire des systèmes d'IA plus robustes.