🤖 machine learning

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

Cet article démontre que les méthodes d'évaluation statiques basées sur la relecture échouent fondamentalement à évaluer les routeurs d'agents LLM car le fait de substituer les sorties de modèles dans les trajectoires enregistrées ignore la divergence en cascade des actions ultérieures des agents, conduisant à des mesures de performance trompeuses qui ne reflètent pas les résultats du monde réel.

Auteurs originaux : Ashritha Gonuguntla

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ashritha Gonuguntla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le capitaine d'un vaisseau spatial naviguant dans un champ d'astéroïdes traître. Vous disposez d'une flotte de différents pilotes IA : certains sont rapides et peu coûteux mais commettent de petites erreurs, tandis que d'autres sont lents, coûteux et incroyablement précis. Pour économiser du carburant, vous décidez de changer de pilote en plein voyage en fonction de ce qui se passe à l'instant présent. Si le chemin est dégagé, vous utilisez le pilote bon marché ; si un astéroïde massif apparaît, vous passez à l'expert. C'est le rêve du « routage agentique » dans le monde des grands modèles de langage (LLM). Ces modèles sont les cerveaux derrière les agents IA capables d'écrire du code, de résoudre des problèmes mathématiques ou de jouer à des jeux en prenant une série d'étapes. La grande question pour les ingénieurs est la suivante : Comment savoir si notre stratégie de changement de pilote fonctionne réellement ?

Traditionnellement, les scientifiques testent ces stratégies comme un réalisateur de cinéma examinant un scénario. Ils regardent un voyage enregistré (une « trajectoire ») où un seul pilote a volé tout au long du trajet. Ensuite, ils font semblant : « Et si nous avions changé de pilote à l'étape 10 ? ». Ils se contentent de coller les réponses enregistrées du nouveau pilote dans l'ancien script et regardent si la fin semble satisfaisante. C'est ce qu'on appelle l'« évaluation par relecture » (replay evaluation). C'est peu coûteux, rapide, et cela suppose que si vous changez de pilote à l'étape 10, le reste du voyage du vaisseau serait resté exactement le même que l'enregistrement original. Mais dans le monde réel, un vaisseau spatial est une boucle fermée : l'action du pilote à l'étape 10 modifie la vue à l'étape 11, ce qui modifie la décision à l'étape 12, et ainsi de suite. Si le nouveau pilote voit un champ d'astéroïdes différent à cause de son propre mouvement antérieur, tout le script change. Cette étude pose une question simple et terrifiante : notre méthode de test par « script de film » est-elle en train de mesurer une mauvaise réalité ?

Les chercheurs de l'Université Carnegie Mellon ont décidé d'arrêter de deviner et de commencer à tester. Au lieu d'éditer un scénario de film, ils ont construit une machine à voyager dans le temps. Ils ont pris de véritables agents IA résolvant des problèmes d'ingénierie logicielle et, à des moments spécifiques, ont « bifurqué » la chronologie. Ils ont créé deux univers parallèles : un où le pilote original continuait, et un autre où ils avaient inséré un modèle différent. Crucialement, ils n'ont pas seulement collé de nouvelles réponses dans l'histoire existante ; ils ont laissé le nouveau pilote prendre réellement le contrôle, interagir avec l'environnement informatique et voir ce qui se passait réellement ensuite. Ils ont mené environ 900 de ces expériences parallèles pour voir à quel point les histoires divergeaient.

Les résultats ont été un choc pour le système. L'hypothèse selon laquelle le reste du voyage resterait identique était totalement fausse. Lorsqu'ils changeaient de modèle, le nouveau pilote ne se contentait pas de reprendre le chemin existant ; il réécrivait l'intégralité du futur. Dans les premières étapes d'une tâche, le changement de modèle faisait que l'agent changeait d'avis sur 74 % à 77 % de son action immédiate suivante. Lorsqu'ils ont examiné l'ensemble du voyage, le nouveau pilote avait réécrit 61 % à 94 % de toutes les étapes suivant le changement. Pour mettre cela en perspective, si vous changiez de pilote dans un jeu vidéo, le monde du jeu changerait si radicalement que le « script » que vous essayiez de lire décrirait un niveau qui n'existe plus.

L'étude a également révélé que la méthode de « relecture » est dangereusement aveugle face au succès. Dans leurs expériences, ils ont observé cinq moments spécifiques où le changement de pilote a réellement modifié l'issue de la mission — sauvant une tâche ratée ou perdant une tâche réussie. L'ancienne méthode de « script de film » a manqué chacun de ces moments critiques. Elle prédisait l'échec là où le nouveau pilote réussissait réellement, et elle prédisait le succès là où le nouveau pilote échouait. Le patch de code que le nouveau pilote a réellement écrit ne ressemblait en rien au patch que la méthode de relecture prédisait ; ils étaient essentiellement sans lien.

De plus, les chercheurs ont découvert que le « bruit » dans le système dépend fortement de la manière dont les modèles sont exécutés. Même en utilisant exactement le même modèle deux fois, les résultats n'étaient pas toujours identiques. Si le modèle était servi via un certain type de compression matérielle (FP8), les exécutions de « contrôle » (où aucun changement n'a eu lieu) divergeaient dans 90 % des cas. Mais avec une autre méthode de compression (AWQ), les exécutions restaient presque identiques. Cela signifie que même la base de comparaison est fragile, rendant la méthode de « relecture » encore moins fiable.

L'article conclut que la façon actuelle de tester le routage d'IA évalue le mauvais monde. La méthode de « relecture » est comme juger un chef cuisinier en lisant une recette qu'il a écrite hier, en ignorant le fait que les ingrédients dans la cuisine ont changé. Les auteurs suggèrent que pour véritablement comprendre comment router les agents IA, nous devons cesser de prétendre que le futur est fixé et commencer à tester en faisant tourner les agents dans des réalités parallèles et divergentes. Ils ont publié leurs outils et leurs données afin que d'autres puissent cesser de deviner et commencer à voir la manière réelle, chaotique et fascinante dont ces agents IA se comportent lorsque les règles du jeu changent.

Résumé Technique : L'Écart de Rejeu dans le Routage de Modèles Agents

Énoncé du Problème
Le routage de modèles pour les Grands Modèles de Langage (LLM) est passé de la sélection de requêtes à un tour unique à la prise de décision par étape au sein d'agents multi-étapes (ex: ingénierie logicielle, utilisation d'outils). Les méthodologies d'évaluation actuelles pour ces « routeurs agents » reposent sur un rejeu statique : l'enregistrement des trajectoires générées par un modèle de base et la simulation de la décision d'un routeur en substituant la sortie enregistrée d'un autre modèle à une étape spécifique, en supposant que le reste de la trajectoire reste inchangé.

Cette publication soutient que cette hypothèse est fondamentalement erronée pour les agents. Contrairement aux requêtes à un tour, les trajectoires d'agents forment une boucle fermée où une action à l'étape $k$ détermine directement l'observation à l'étape $k+1$ . Le rejeu statique traite implicitement la trajectoire comme une boucle ouverte, ignorant qu'un changement de modèle altère la distribution des états, entraînant des actions futures divergentes. L'article postule que les benchmarks basés sur le rejeu « évaluent le mauvais monde » car les états contre lesquels ils comparent sont des états qui ne se produisent jamais dans le scénario contrefactuel.

Méthodologie : Rollouts de Branchement
Pour mesurer l'ampleur et la structure de cette divergence, l'auteur introduit un protocole de rollout de branchement qui dépasse le rejeu statique pour passer à une évaluation contrefactuelle :

Configuration : Les expériences utilisent l'échafaudage mini-SWE-agent sur le jeu de données SWE-bench Verified. L'environnement est une boucle ReAct minimale en bash avec un budget de 50 étapes et un contexte de 28k tokens.
Modèles : Deux modèles sont utilisés : un petit modèle (S : Qwen3-4B-Instruct, quantifié en FP8) et un grand modèle (L : Qwen3-14B, quantifié en AWQ). Les deux sont servis par vLLM à température 0 sur un seul GPU de 24 Go.
Protocole de Fourche (Forking) :
- Une trajectoire de base est exécutée jusqu'à terme.
- À des points de fourche contrôlés (30 % et 70 % de la longueur de la trajectoire), le processus se divise en un nouveau conteneur Docker.
- Fidélité du Rejeu : Le préfixe d'action pré-fourche est ré-exécuté dans le nouveau conteneur pour s'assurer que l'état de l'environnement correspond à la trajectoire de base (vérifié avec un accord de code de retour de 99,99 %).
- Initialisation (Seeding) : L'historique des messages est initialisé avec le préfixe enregistré afin que le modèle de la branche voie exactement le même contexte.
- Bras : Chaque point de fourche génère deux bras : un bras de substitution (changement vers l'autre modèle) et un bras de contrôle du même modèle (continuation avec le modèle de base). Le bras de contrôle isole le bruit provenant de l'échantillonnage, du batching et du rejeu de l'environnement, permettant à l'auteur d'attribuer la divergence spécifiquement au changement de modèle.
Échelle : L'étude comprend six paires de runs (variant la difficulté et la direction de la substitution), soit environ 900 rollouts et 717 paires de branches scorées.

Contributions Clés

Méthodologie : Un harnais reproductible pour l'évaluation contrefactuelle du changement de modèle par étape via un branchement en direct, couplé à des contrôles du même modèle pour isoler le bruit.
Quantification de l'Écart de Rejeu : Preuve empirique que les substitutions de modèles provoquent une divergence immédiate et significative, rendant le rejeu statique invalide.
Aperçus Structurels : Caractérisation de la manière dont la divergence dépend de la profondeur de la fourche (précoce vs tardive) et de la direction de la substitution (mise à niveau vs déclassement).
Audit du Déterminisme : Une démonstration que le déterminisme « température-0 » dépend de la configuration, certaines piles de service (FP8) introduisant un bruit significatif même dans les contrôles du même modèle.

Résultats Clés

Divergence au niveau des Actions : Les substitutions réécrivent 61 à 94 % des actions post-fourche. La distance d'édition normalisée entre les bras de substitution et les contrôles appariés varie de +0,25 à +0,66 (les IC à 95 % excluent zéro).
Divergence Immédiate : 74 à 77 % des substitutions précoces divergent dès la toute première action post-fourche, contre seulement 6 à 35 % pour les fourches de contrôle.
Invalidité des États de Rejeu : Pour les substitutions précoces, un évaluateur de rejeu statique noterait 92 à 97 % des décisions post-fourche par rapport à des états qui ne se produisent jamais (seulement 3 à 8 % des états rejoués restent valides).
Inversions de Résultat (Outcome Flips) : Les cinq inversions de résultat observées (cas où le statut de la solution a changé à cause de la substitution) se sont produites exclusivement dans les bras de substitution. Aucune inversion n'est survenue sur les 359 fourches de contrôle. Plus précisément, les mises à niveau ont sauvé des instances non résolues, tandis qu'un déclassement a causé la perte de la seule instance résolue. Le rejeu statique n'a prédit aucun de ces résultats pertinents pour le succès.
Similarité des Correctifs (Patches) : Les correctifs prédits par un évaluateur de rejeu par assemblage de logs avaient une similarité de 0,00 à 0,11 avec les correctifs réellement produits par le modèle substitué.
Plancher de Bruit : Même les contrôles du même modèle ne sont pas parfaitement déterministes. Les contrôles servis en FP8 ont divergé sur 90 à 96 % des fourches (distance d'édition 0,49–0,67), tandis que les contrôles servis en AWQ sont restés quasi identiques (distance d'édition 0,16–0,23).
Taxe de Rigueur (Thoroughness Tax) : Sous des budgets serrés, le modèle plus fort (14B) épuise son budget d'étapes sans soumettre de solution plus souvent que le modèle plus faible (4B), suggérant une « taxe de rigueur » que les routeurs conscients du budget doivent considérer.

Signification et Revendications
L'article affirme que les benchmarks basés sur le rejeu évaluent le mauvais monde pour le routage agentique. L'aveuglement structurel du rejeu statique l'empêche d'observer les inversions de résultat et d'évaluer les décisions par rapport à des états valides.

Pour l'Évaluation : L'auteur affirme que les benchmarks de routage agentique doivent adopter une évaluation en direct ou par branchement. Il fournit son harnais et son jeu de données comme point de départ pour valider les estimateurs hors-politique (ex: échantillonnage prépondérant, estimateurs doublement robustes), qui sont proposés comme corrections nécessaires pour le décalage de distribution.
Pour les Politiques de Routage : Les résultats suggèrent que la position et la direction de la fourche sont des caractéristiques critiques : les transferts doivent avoir lieu tardivement pour les déclassements (pour hériter du travail accompli) et tôt pour les mises à niveau (pour capitaliser sur une re-décision immédiate).
Modestie : L'auteur précise explicitement que ses conclusions sont basées sur un pilote contrôlé (un échafaudage, des piles de quantification spécifiques, des taux de résolution faibles) et ne prétendent pas démontrer encore un mauvais classement de routeur de bout en bout. Il présente son travail comme l'établissement de l'invalidité des entrées de l'évaluation par rejeu plutôt que la preuve d'une stratégie de routage spécifique supérieure. L'article conclut que le signe du résultat (le rejeu est faux) est uniforme, mais que l'ampleur de l'erreur dans les régimes de haute performance nécessite une validation supplémentaire.

Articles similaires