Résumé Technique : Évaluation de l'IA Agente en Conditions Réelles

Énoncé du Problème

Les cadres d'évaluation existants pour les grands modèles de langage (LLM) et les systèmes agents — tels que HELM, MT-Bench, AgentBench et BIG-bench — sont conçus pour des environnements contrôlés, en session unique et à l'échelle du laboratoire. Ces cadres mesurent la capacité du modèle de manière isolée, mais échouent à répondre aux défis uniques de fiabilité liés au déploiement continu en production.

En production, les systèmes agents opèrent à grande échelle (milliards d'événements), prenant des décisions séquentielles où les erreurs s'accumulent, les outils se dégradent silencieusement et les distributions de sortie dérivent au fil du temps. Les métriques standards (par exemple, ROUGE, BERTScore, AUC, précision) sont insuffisantes car elles sont :

1. Épisodiques : Elles évaluent des tours uniques plutôt que des chaînes continues de décisions.
2. Agrégées : Elles mesurent la performance moyenne plutôt que la santé de la distribution.
3. Superficielles : Elles manquent de fondement causal, omettant des problèmes tels que le découplage explication-décision.
4. Monosignaux : Elles échouent à corréler les signaux inter-systèmes (par exemple, latence de l'outil vs qualité de la décision).

Par conséquent, les systèmes en production peuvent maintenir des métriques standards « saines » tout en souffrant de défaillances systématiques et invisibles qui érodent la valeur utilisateur et la fiabilité du système.

Méthodologie

L'article propose une approche systématique pour identifier et mesurer ces défaillances spécifiques à la production à travers trois composantes principales :

1. Taxonomie des Modes de Défaillance

Les auteurs définissent sept modes de défaillance distincts observés dans les systèmes en production opérant à $O(10^9)$ événements par jour :

• FM-1 (Erreur de Décision en Cascade) : Une décision incorrecte précoce se propage à travers un pipeline, créant une « illusion de cohérence » où les étapes ultérieures semblent intérieurement cohérentes mais sont systématiquement erronées.
• FM-2 (Dégradation Silencieuse via Découplage Disponibilité-Vérité) : Les outils renvoient des données valides selon le schéma mais incomplètes (obsolètes/mises en cache), amenant la logique en aval à procéder avec une fausse confiance.
• FM-3 (Effondrement de la Distribution) : Les agents optimisent les métriques agrégées (par exemple, l'engagement) en convergeant vers un ensemble restreint de motifs de sortie, réduisant la diversité tandis que la précision reste stable.
• FM-4 (Effondrement de la Cohérence entre Points d'Entrée) : Des requêtes sémantiquement identiques arrivant via différentes interfaces (API vs UI) produisent des décisions différentes en raison d'une sensibilité aux indices de surface.
• FM-5 (Découplage Explication-Décision) : Un modèle prend une décision correcte mais fournit une explication causale incorrecte (attribution), induisant en erreur les récits d'audit.
• FM-6 (Érosion Silencieuse de la Justesse sous Pression de Latence) : Les systèmes dégradent la qualité de la décision (en sautant l'enrichissement, en utilisant des modèles plus simples) pour respecter les SLA de latence, tandis que les métriques système (latence, taux d'erreur) restent vertes.
• FM-7 (Convergence vers un Objectif Proxy) : Les systèmes optimisent une mesure proxy (par exemple, le CTR) au détriment de l'objectif réel (par exemple, la confiance utilisateur à long terme), une instance en production de la loi de Goodhart.

2. Analyse Empirique des Lacunes des Métriques

Les auteurs démontrent empiriquement que les métriques standards (ROUGE, BERTScore, AUC, AgentBench, MT-Bench) échouent à détecter ces modes.

• Délai de Détection : Les métriques standards ne détectent souvent les défaillances qu'après plusieurs cycles d'évaluation, voire pas du tout.
• Angles Morts : Par exemple, l'AUC reste stable lors d'un effondrement de distribution (FM-3), et la précision par étape passe lors d'erreurs en cascade (FM-1).

3. PAEF (Cadre d'Évaluation des Agents en Production)

L'article introduit PAEF, un cadre à cinq dimensions conçu pour la surveillance continue sur le trafic de production (en direct ou en miroir). Il est implémenté sous forme de boîte à outils open source. Les cinq dimensions sont :

• Dimension 1 : Incertitude en Cascade : Suit la propagation de l'incertitude à travers les étapes du pipeline pour détecter l'« illusion de cohérence » (FM-1). Elle calcule un Score d'Illusion de Cohérence basé sur la divergence entre la cohérence interne et la justesse externe.
• Dimension 2 : Fiabilité des Outils : Surveille les états des appels d'outils (SUCCÈS, PARTIEL, ÉCHÉCÉ) et corrèle les pics de latence avec la dégradation de la qualité pour détecter la dégradation silencieuse (FM-2, FM-6).
• Dimension 3 : Santé de la Distribution : Suit l'entropie de sortie, la diversité intra-session et les taux de répétition pour détecter l'effondrement de distribution (FM-3) et la convergence vers un objectif proxy (FM-7).
• Dimension 4 : Validité de l'Explication : Utilise des vérifications de cohérence par perturbation (annulation des caractéristiques attribuées) pour vérifier si les explications sont causalement liées aux décisions (FM-5).
• Dimension 5 : Cohérence Inter-Surface : Mesure l'accord des décisions pour des requêtes sémantiquement équivalentes à travers différentes interfaces (FM-4).

Résultats

Les auteurs ont validé PAEF en utilisant quatre expériences contrôlées avec des traces générées synthétiquement reproduisant des signatures de production :

1. Effondrement de Distribution (FM-3) : Dans une simulation où les catégories de sortie se sont réduites de 20 à 3, la précision standard est restée stable (0,86–0,88). Les métriques de diversité de PAEF ont détecté l'effondrement à la Fenêtre 3, deux semaines avant que toute dégradation de la précision n'aurait été visible.
2. Dégradation Silencieuse (FM-2) : Lorsque les taux de réponse partielle des outils ont augmenté jusqu'à 22 %, la précision externe n'a baissé que marginalement (de 0,87 à 0,86). PAEF a signalé la défaillance immédiatement à l'Étape 2, tandis qu'une surveillance standard l'aurait manquée dans les limites de la variation normale.
3. Incertitude en Cascade (FM-1) : Dans un pipeline de 5 étapes avec une première étape de faible confiance, les étapes en aval ont maintenu une haute confiance (0,875), créant une illusion de cohérence. La métrique de cascade de PAEF a identifié la défaillance de propagation immédiatement, tandis que les vérifications de précision par étape étaient validées.
4. Découplage de l'Explication (FM-5) : Un modèle a pris des décisions correctes mais les a attribuées à une caractéristique proxy (géographie) plutôt qu'au signal causal réel. La précision était identique dans tous les cas, mais le score de cohérence par perturbation de PAEF a chuté significativement (de 0,907 à 0,357), signalant le découplage.

Résumé de la Détection : Les métriques standards n'ont fourni aucun signal ou un signal retardé et sous-seuil pour tous les modes de défaillance testés. PAEF a détecté FM-1 et FM-5 immédiatement, FM-2 dès le premier stade de dégradation, et FM-3 avec un délai d'avance de 2 semaines par rapport aux métriques de précision.

Importance et Revendications

L'article revendique que l'insight diagnostique central pour l'IA agente en production est l'écart entre les métriques proxy saines et les métriques réelles en dégradation.

• Changement de Paradigme d'Évaluation : Les auteurs soutiennent que l'évaluation doit passer de la mesure de la capacité (le modèle peut-il accomplir la tâche ?) à la mesure de la fiabilité (le système reste-t-il aligné et cohérent dans le temps ?).
• Utilité Pratique : PAEF est présenté non pas comme une construction théorique, mais comme un cadre pratique et open source conçu pour l'intégration dans les pipelines CI/CD et les piles d'observabilité. Il permet aux équipes de détecter des défaillances invisibles pour la surveillance standard.
• Limites : Les auteurs notent modestement que leurs expériences reposent sur des traces synthétiques plutôt que sur des données de production propriétaires. Ils reconnaissent également que certaines dimensions (Incertitude en Cascade, Validité de l'Explication) nécessitent l'accès aux états intermédiaires du modèle, qui peuvent ne pas être disponibles pour des agents en boîte noire. De plus, le calibrage des seuils pour les métriques PAEF nécessite un ajustement spécifique au domaine.

L'article conclut que si les benchmarks standards sont utiles pour le scoring de capacité, ils sont insuffisants pour l'environnement continu et à haut risque des systèmes agents en production. PAEF offre une étape fondamentale vers des normes rigoureuses d'évaluation en production.