🤖 AI

Copy-on-Write Scoring: Application-Specific Agent Evaluations

Cet article introduit le CoW Scoring, un cadre qui exploite l'isolation au niveau de PostgreSQL pour évaluer les agents basés sur les LLM directement au sein des environnements d'application, permettant une identification granulaire et rentable des échecs d'écriture en base de données ainsi que des améliorations itératives des surfaces d'outils des agents.

Auteurs originaux : Joanna Roy, Sven Hoelzel

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Joanna Roy, Sven Hoelzel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous venez de construire un assistant robotique super intelligent capable de communiquer avec vos applications préférées, comme un outil de gestion de projet ou un calendrier. Vous voulez qu'il vous aide à organiser votre vie, mais vous êtes terrifié à l'idée qu'il puisse accidentellement supprimer toute votre liste de tâches ou changer le statut de votre patron en « en vacances » alors qu'il est en réalité en réunion. C'est le monde des agents IA : des programmes informatiques qui ne se contentent pas de discuter, mais qui font réellement des choses dans des systèmes logiciels. Le gros problème actuel est de trouver comment tester ces robots en toute sécurité. Habituellement, les scientifiques les testent dans des mondes fictifs et imaginaires (comme une simulation de jeu vidéo), mais ces simulations s'éloignent souvent de la réalité, ou sont si coûteuses à construire que personne ne peut se permettre de les mettre à jour chaque fois qu'une application réelle change. Nous avons besoin d'un moyen de regarder le robot travailler dans la vraie application sans qu'il ne casse jamais rien, afin de voir exactement où il s'embrouille et de le corriger.

Voici une nouvelle idée appelée Copy-on-Write (CoW) Scoring, proposée par les chercheurs Joanna Roy et Sven Hölzel. Pensez à leur méthode comme à un « mur de verre magique » construit directement à l'intérieur d'une base de données (le classeur numérique où les applications stockent leurs données). Normalement, si vous dites à un robot de « modifier ce fichier », il va directement sur le vrai fichier et écrit par-dessus. Avec le CoW, le robot est invité à écrire sur une feuille de verre spéciale et invisible qui se trouve au-dessus du vrai fichier. Le robot pense qu'il écrit sur la chose réelle, mais il écrit en fait sur le verre. Le fichier original en dessous reste parfaitement sûr et intact.

C'est là que réside l'astuce : le système conserve une version de la « vérité terrain » (ce qui devrait se passer, comme un humain parfait effectuant la tâche) et la compare à ce que le robot a fait sur le verre. Parce que le robot écrit sur une couche séparée, les chercheurs peuvent voir instantanément : « Oh, le robot a essayé de supprimer la mauvaise ligne », ou « Il a ajouté un commentaire à la mauvaise tâche ». Ils peuvent évaluer la performance du robot en fonction de la proximité entre son écriture sur le verre et la version humaine parfaite. Si le robot échoue, les chercheurs n'ont qu'à essuyer le verre pour repartir de zéro, sans jamais avoir à restaurer une sauvegarde ou à craindre de corrompre les données réelles.

Dans leur étude, l'équipe a testé cela sur Plane, une plateforme de gestion de projet en open-source. Ils ont configuré 20 tâches différentes du monde réel, comme « déplacer tous les bugs non résolus vers la liste 'En cours' » ou « assigner de nouvelles tâches à des membres spécifiques de l'équipe ». Ils ont laissé cinq modèles d'IA différents essayer d'accomplir ces travaux pendant que le système CoW les observait. Les résultats ont été révélateurs. Les chercheurs ont découvert que de nombreux robots échouaient non pas parce qu'ils étaient « stupides », mais à cause de décalages de vocabulaire. Par exemple, l'application appelait certaines choses des « éléments de travail » (work items), mais les robots cherchaient des « problèmes » (issues). Les robots restaient bloqués, abandonnaient ou commençaient à halluciner (inventer de fausses commandes) parce qu'ils ne trouvaient pas les bons mots.

En utilisant le CoW Scoring, l'équipe a pu identifier précisément ces échecs. Ils ont réalisé : « Ah, le robot échoue ici parce qu'il ne sait pas que "problème" signifie "élément de travail" ». Ils ont donc mis à jour les outils utilisés par le robot pour inclure les deux termes. Lorsqu'ils ont relancé les tests, les robots se sont nettement améliorés. Par exemple, un modèle appelé Gemini-2.5-Pro a amélioré son score de 54 %, et un autre appelé GPT-4.1 a bondi de 47 %. L'étude suggère que cette méthode du « mur de verre » est un moyen puissant et peu coûteux de déboguer les agents d'IA dans des applications réelles, aidant les développeurs à corriger les outils et les instructions (prompts) spécifiques qui confondent les robots, plutôt que de simplement deviner ce qui s'est mal passé. C'est une façon de laisser les robots s'entraîner dans le monde réel sans le risque d'un désastre réel.

Résumé Technique : Évaluation par Copie sur Écriture (Copy-on-Write) pour les Évaluations d'Agents Spécifiques aux Applications

Problématique

Le déploiement d'agents basés sur des modèles de langage étendu (LLM) dans des systèmes logiciels de production fait face à un déficit critique d'évaluation. Alors que les agents sont de plus en plus intégrés aux outils d'entreprise et aux applications de consommation, les mécanismes d'évaluation existants sont insuffisants pour garantir la fiabilité dans des contextes applicatifs spécifiques.

Faible validité de construit : Les benchmarks standards échouent souvent à refléter la complexité des environnements applicatifs, des outils et des flux de travail réels.
Limitations des répliques : La création d'environnements répliqués ou simulés pour combler ce fossé est gourmande en ressources, coûteuse et sujette à la « dérive » par rapport à l'état réel de l'application.
Risque d'imprévisibilité : Les agents opérant directement en production risquent des erreurs catastrophiques, telles que la suppression accidentelle de données, l'écrasement d'enregistrements critiques ou le mauvais usage des outils, qui sont difficiles à isoler et à prévenir sans une évaluation granulaire.

Les méthodes actuelles manquent de la capacité d'évaluer les agents directement au sein de leurs environnements applicatifs cibles avec suffisamment de granularité pour localiser les points de défaillance spécifiques.

Méthodologie : Évaluation par Copie sur Écriture (CoW Scoring)

Les auteurs proposent le CoW Scoring (Évaluation par Copie sur Écriture), un cadre conçu pour évaluer les opérations d'agents directement dans les environnements applicatifs en utilisant un mécanisme d'isolation au niveau de PostgreSQL. Cette approche évite le coût et la dérive des répliques tout en maintenant l'isolation des sessions.

1. Le mécanisme CoW

Le cadre exploite un modèle de Copie sur Écriture au niveau de la base de données pour intercepter et isoler les écritures de l'agent sans modifier les données de production. L'implémentation comprend quatre composants :

Tables de base (Base Tables) : Contiennent les données de production sous-jacentes.
Tables de changements (Changes Tables) : Structurellement identiques aux tables de base mais incluent des colonnes de métadonnées supplémentaires (session_id, operation_id, cow_updated_at, cow_deleted). Ces tables stockent uniquement les lignes écrites lors d'une session d'agent spécifique.
Vues (Views) : Des vues SQL fusionnent les tables de base et les tables de changements. Les lectures interrogent la vue (qui renvoie l'état le plus récent), tandis que les écritures sont redirigées.
Déclencheurs (Triggers) : Des déclencheurs INSTEAD OF sur les vues interceptent les opérations d'écriture. Au lieu de modifier la table de base, le déclencheur crée une copie de la ligne affectée, applique l'écriture, ajoute les métadonnées CoW, et insère le résultat dans la table de changements.

Cette configuration permet aux agents d'opérer comme s'ils écrivaient dans la production, alors que toutes les modifications restent isolées dans la table de changements pour cette session spécifique.

2. Le cadre d'évaluation (Scoring Framework)

Le CoW Scoring compare une session de Vérité Terrain (GT - Ground-Truth) (enregistrée par un humain effectuant un flux de travail idéal) à une session d'Agent (exécutée par un agent LLM avec le même prompt). La comparaison se fait à deux niveaux de granularité :

Scores au niveau de la session : Évaluent l'état final de la base de données.
- Score structurel ( $s_{struct}$ ) : La fraction de lignes correspondantes (lignes présentes à la fois dans la session GT et la session agent) par rapport au nombre total de lignes modifiées. Il prend en compte les lignes manquantes (lignes GT non produites) et les lignes supplémentaires (lignes agent sans équivalent GT).
- Score de contenu ( $s_{content}$ ) : La similitude moyenne par champ sur toutes les lignes correspondantes, calculée à l'aide de comparateurs par défaut basés sur les types de données SQL (ex: correspondance exacte pour les nombres, égalité profonde pour le JSON, correspondance de séquence pour le texte).
Scores au niveau de l'opération : Quantifient l'utilité des actions individuelles.
- Utilité structurelle ( $u_{struct}$ ) : Le changement du score structurel de la session avant et après l'application d'une opération.
- Utilité de contenu ( $u_{content}$ ) : La similitude de contenu moyenne des lignes écrites par une opération spécifique.

Crucialement, le cadre compare les états finaux de la base de données plutôt que les séquences d'actions, ce qui rend les scores de session invariants par rapport au chemin spécifique emprunté par l'agent pour atteindre le résultat.

Contributions clés

Un nouveau cadre d'évaluation : L'introduction du CoW Scoring, qui permet une évaluation à faible coût et haute fidélité des agents directement dans les environnements applicatifs, contournant le besoin de répliques coûteuses.
Implémentation Open-Source : La publication de la bibliothèque Python agent-cow, qui gère la configuration de la base de données (création des tables de base/changements, des vues et des déclencheurs) et fournit le pipeline d'évaluation.
Diagnostics granulaires : La capacité de mettre en évidence des modes de défaillance spécifiques au niveau de l'opération, distinguant les erreurs structurelles (lignes manquantes/supplémentaires) des erreurs de contenu (valeurs incorrectes).
Validation empirique : Une étude préliminaire sur Plane, une plateforme de gestion de projet open-source, démontrant la capacité du cadre à identifier des problèmes spécifiques de l'interface d'outils et à mesurer les améliorations après corrections.

Résultats : L'étude de cas Plane

Les auteurs ont évalué cinq modèles de langage (GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite, et Gemini-2.5-Pro) à travers 20 flux de travail dans l'application Plane.

Premières conclusions : Le scoring a révélé des modes de défaillance distincts :
- Incohérence de vocabulaire : Les agents ont éprouvé des difficultés lorsque le prompt utilisait des termes (ex: "issue") qui différaient de la terminologie interne de l'application (ex: "work item"). Par exemple, Gemini-2.5-Pro a abandonné de manière répétée lors de la recherche de "issues", tandis que GPT-4.1 a fait des suppositions erronées sur les chaînes de recherche.
- Hallucination et écritures supplémentaires : GPT-4.1 a occasionnellement halluciné des noms d'opérations ou des paramètres, et Gemini-3.1-Flash-Lite a produit des écritures supplémentaires (ex: mise à jour de labels ou de responsables non demandés), ce qui serait difficile à détecter sans l'isolation CoW.
Amélioration itérative : Sur la base des scores de diagnostic, la surface de l'outil a été mise à jour pour aligner la terminologie (s'assurant que "issues" était reconnu comme "work items").
- Gains mesurables : Les modèles fortement affectés par l'incohérence de vocabulaire ont montré des améliorations significatives de score : Gemini-2.5-Pro s'est amélioré de 54 %, et GPT-4.1 de 47 %.
- Stabilité : Les modèles avec des scores initiaux élevés (ex: GPT-5, Gemini-3.1-Pro) ont montré une variance minimale, confirmant la stabilité du mécanisme de scoring.

Signification et Revendications

L'article positionne le CoW Scoring comme un outil pratique pour un déploiement d'agents plus sûr. Sa principale importance réside dans sa capacité à permettre aux équipes de :

Localiser les défaillances : Identifier précisément où les agents réussissent ou échouent dans les opérations d'écriture de base de données au sein d'un contexte applicatif spécifique.
Itérer efficacement : Faciliter l'itération à faible coût sur les prompts des modèles, les surfaces d'outils et les mécanismes de récupération sans la surcharge de construction et de maintenance d'environnements répliqués.
Combler le fossé de la validité de construit : Fournir des données d'évaluation directement pertinentes pour l'application spécifique déployée, plutôt que de s'appuyer sur des benchmarks génériques.

Les auteurs notent modestement que le cadre repose sur des sessions de Vérité Terrain créées manuellement, ce qui nécessite un investissement initial d'effort comparable à la construction de jeux de données spécifiques aux applications. Ils reconnaissent également que l'implémentation actuelle se concentre sur les opérations d'écriture, bien que les modèles de lecture puissent offrir des signaux de diagnostic supplémentaires. Le cadre est présenté non pas comme un benchmark universel, mais comme une méthode complémentaire pour la validation spécifique aux applications.