Résumé Technique : AuditRepairBench

Énoncé du Problème

L'article identifie un mode de défaillance spécifique dans les classements de réparation d'agents : l'Instabilité du Classement par Canal Évaluateur. Alors que la stabilité des benchmarks est souvent attribuée au bruit générique des évaluateurs ou à la fiabilité incertaine des LLM en tant que juges, les auteurs démontrent qu'une part mesurable de réorganisation des classements se produit lorsque les systèmes de réparation d'agents consultent des signaux dérivés de l'évaluateur (par exemple, les tokens de justification du juge, la confiance du verdict, les logits de réclassement) lors de leur sélection interne des réparations candidates.

Lorsque la configuration de l'évaluateur change (par exemple, remplacement du modèle juge ou de la règle d'agrégation), les agents qui lient leur logique de sélection interne à ces sorties spécifiques de l'évaluateur subissent un déplacement de rang significatif. Cela se distingue de l'instabilité générique ; il s'agit d'un couplage architectural entre le sélecteur de l'agent et l'évaluateur. Les benchmarks et méthodologies d'évaluation actuels n'isolent pas ce canal d'interaction spécifique, rendant difficile la distinction entre des améliorations de réparation authentiques et des artefacts de fuite de signaux spécifiques à l'évaluateur.

Méthodologie

Les auteurs introduisent AuditRepairBench, un corpus de traces d'exécution appariées et une architecture de dépistage modulaire conçue pour opérationnaliser et mesurer cette instabilité.

1. Définition du Corpus

La ressource est un produit cartésien de :

• 60 Systèmes d'Agents : Couvrant cinq familles de méthodes (planifier-exécuter, outils shell, raffinement itératif, exploration autonome, débat multi-agents).
• 80 Tâches : Issues de 8 familles de tâches.
• 6 Familles d'Évaluateurs : Comprenant des LLM propriétaires, des LLM à poids ouverts et des évaluateurs basés sur des règles avec diverses règles d'agrégation.
• Interventions : 5 familles d'interventions enregistrées.
• Échelle : 576 000 cellules de traces enregistrées, dont 96 000 exécutées sous forme de traces appariées. Un sous-ensemble « Lite » de 12 000 cellules sert de point d'entrée principal à faible coût.

2. Cible Opérationnelle et Métriques

La métrique centrale est le fonctionnel de basculement au niveau de la cellule ($\hat{q}(x)$), une espérance a posteriori représentant la probabilité qu'une intervention (bloquant le chemin évaluateur-sélecteur) change le gagnant d'une sélection de réparation.

• Intervention : Un opérateur d'« aveuglement » met à zéro les caractéristiques dérivées de l'évaluateur à la frontière d'entrée du sélecteur, tout en maintenant l'évaluateur final et le reste du pipeline fixes.
• Sortie : Une étiquette à valeur d'ensemble ($L(x)$) indiquant si le système est couplé (déplacement de rang > seuil), non couplé, ou ambigu.
• Classement : Un classement à valeur d'ensemble fournissant des intervalles de rang plutôt que des estimations ponctuelles, tenant compte de l'incertitude de dépistage.

3. Architecture de Dépistage Modulaire

Pour éviter de lier le benchmark à un seul modèle appris, la décision de dépistage est prise via un empilement logistique calibré de quatre implémentations hétérogènes :

1. Proxy d'Influence Appris : Un MLP analysant les embeddings d'état du sélecteur (poids d'attention, magnitudes d'activation) pour estimer l'influence du chemin.
2. Ratio d'Exposition du Canal Basé sur des Règles : Un outil d'analyse statique/dynamique calculant le ratio de tokens dérivés de l'évaluateur entrant dans l'entrée du sélecteur sans aucun modèle entraîné.
3. Proxy de Sensibilité Contrefactuelle : Calcule les effets locaux de masquage d'entrée en utilisant la divergence de Kullback-Leibler et les taux de basculement argmax.
4. Proxy d'Audit Humain Sparse : Un arbre de décision boosté par gradient entraîné sur un petit sous-ensemble de cas audités par des humains, propageant les décisions aux cellules non atteintes.

4. Stratégie de Validation

L'article emploie un protocole de validation à plusieurs couches :

• Validation Ancrée sur le Mécanisme : 80 cas de « chirurgie de canal » au niveau source où le code est explicitement modifié pour bloquer les chemins, vérifiés par des jugements en double audit.
• Découverte Indépendante : Deux groupes d'annotateurs, séparés des développeurs du pipeline, découvrent des motifs de couplage sous un protocole aveugle.
• Transfert Avant : Évaluation sur des régimes externes (familles d'évaluateurs différentes, retenues temporelles, sous-ensembles inter-plateformes) pour évaluer la généralisabilité.
• Propagation de l'Incertain : Un bootstrap hiérarchique propage l'incertitude depuis les implémentations de dépistage, les graines de modèles et les seuils pour garantir une couverture de 95 % des intervalles de rang.

Résultats Clés

1. Performance de Détection

• Sous-ensemble de Chirurgie : Le dépistage par ensemble atteint un path-block AUROC de 0,96 sur les 80 cas de chirurgie au niveau source.
• Découverte Indépendante : Sur 79 cas découverts par des groupes indépendants (incluant de nouveaux types de couplage comme « l'écho mémoire-récompense » et « la fuite d'entropie du verdict »), l'ensemble figé atteint un AUROC global de 0,83.
• Catégories Retenues : Sur 180 catégories de couplage retenues issues de bases de code publiques, l'AUROC global est de 0,88.
• Faux Positifs : L'ensemble maintient un faible taux de faux positifs (0,07) sur les contrôles négatifs (interventions qui changent les gagnants mais ne sont pas médiées par l'évaluateur), surpassant significativement les détecteurs naïfs de changement de gagnant.

2. Transfert Avant et Stabilité

• Le score de dépistage démontre un transfert avant faible à modéré vers des régimes externes, avec un $\rho$ de Spearman global variant de 0,62 à 0,76 selon la sévérité du décalage.
• Le signal se dégrade gracieusement à mesure que les décalages deviennent plus externes (par exemple, des décalages de protocole aux décalages inter-plateformes), cohérent avec un instrument de diagnostic ciblé plutôt qu'un prédicteur universel.
• Calibration de la Confiance : L'article fournit des niveaux de confiance stratifiés basés sur la « complétude du crochet » (observabilité). Pour les systèmes avec une complétude de crochet $\ge 0,90$, le transfert externe $\rho$ atteint 0,74 ; pour une observabilité inférieure, il chute à 0,44.

3. Actionnabilité et Réparation

• Réparation Ciblée : Les correctifs d'aveuglement guidés par le dépistage (moins de 50 lignes de code) réduisent le déplacement de rang de 55–74 % (moyenne 62 %) avec un impact négligeable sur la précision des tâches.
• Comparaison : En revanche, le réentraînement général réduit le déplacement d'au maximum 13 %, et l'aveuglement aléatoire de canal d'au maximum 7 %. L'aveuglement universel de canal réduit le déplacement de 44 % mais provoque une dégradation significative de la précision des tâches (taux de réussite moyen -5,1 %).

4. Efficacité

• AuditRepairBench-Lite : Une configuration basée uniquement sur des règles sur le sous-ensemble de 12 000 cellules préserve le classement complet du leaderboard à Kendall $\tau = 0,88$ tout en ne nécessitant que 22 heures GPU (contre 2 400 pour le benchmark complet) et aucun modèle entraîné.

Signification et Revendications

L'article positionne AuditRepairBench non pas comme un benchmark à usage général pour le classement des performances des agents, mais comme un instrument de diagnostic pour un mode de défaillance spécifique.

• Portée Opérationnelle : La ressource restreint explicitement ses revendications à une « complétude de crochet » (couverture AST statique et taint dynamique) d'au moins 0,80. Elle ne revendique pas de récupérer des constructions causales latentes ni de certifier des mécanismes de manière universelle.
• Interprétabilité du Mécanisme : La valeur principale réside non seulement dans le score de prédiction, mais dans la capacité à identifier le canal de couplage spécifique (par exemple, « lecture de tokens de justification »), permettant des réparations ciblées et peu coûteuses que les correctifs d'instabilité générique ne peuvent pas réaliser.
• Validation Pluraliste : En utilisant une architecture modulaire avec des implémentations hétérogènes et des protocoles de découverte indépendants, l'article soutient que l'identité du benchmark est le protocole et la postérieure, et non un seul modèle appris, réduisant ainsi le risque de surajustement à un artefact de mesure spécifique.
• Modestie : Les auteurs déclarent explicitement que le signal de transfert avant est « faible à modéré » et que la ressource ne revendique pas une validité prospective forte. L'objectif est de fournir une base stable et auditable pour comprendre le couplage évaluateur-sélecteur, plutôt qu'un classificateur définitif pour tous les systèmes d'agents.

En résumé, AuditRepairBench fournit le premier cadre opérationnel pour mesurer, valider et réparer l'instabilité spécifique causée par la sur-reliance des agents sur les signaux dérivés de l'évaluateur, offrant une voie vers des classements de réparation d'agents plus robustes et transparents.