Résumé Technique : GroundEval

1. Le Problème : La Correction Invalide par l'État (State-Invalid Correctness)

Les méthodes d'évaluation actuelles pour les agents de Grands Modèles de Langage (LLM), particulièrement les approches de type « LLM-as-Judge » (le LLM comme juge), se concentrent principalement sur la plausibilité et la justesse de la réponse finale. Cependant, pour les agents dotés d'un état (stateful) opérant dans des environnements d'entreprise (accédant aux journaux, aux CRM, aux référentiels de code et aux données liées à des rôles spécifiques), la justesse est insuffisante. Un agent peut produire une réponse factuellement vraie tout en violant les contraintes d'état de la tâche.

Le papier définit ce mode de défaillance comme la Correction Invalide par l'État : une réponse où la réponse finale correspond à l'état attendu du monde, mais où le chemin de preuve utilisé pour la dériver viole des contraintes concernant :

• La Visibilité : Accéder à des données en dehors des permissions du rôle ou du sous-système de l'acteur.
• Les Limites Temporelles : Utiliser des artefacts créés après l'instant « as-of » (date de référence) de la question.
• La Complétude de la Recherche : Prétendre l'absence de preuves sans avoir recherché dans les référentiels requis.
• L'Ancrage Causal : Inférer une causalité basée sur une adjacence temporelle plutôt que sur des liens d'événements vérifiés.

Les juges LLM peinent à détecter ces défaillances car ils n'ont pas accès au contrat d'état vérifiable par machine (politiques d'accès, journaux d'événements et horodatages d'artefacts) nécessaire pour vérifier de manière déterministe si un artefact était visible pour un acteur à un instant donné.

2. Méthodologie : Le Cadre GroundEval

GroundEval est un cadre déterministe, sans recours à un juge, qui évalue les agents par rapport à un contrat de vérité terrain lisible par machine. Il ne repose pas sur l'introspection du raisonnement (chain-of-thought) ou sur les rationalisations de modèles de jugement.

Composants Fondamentaux

Le cadre opère sur quatre entrées pour générer un Contrat de Vérité Terrain :

1. Journal d'Événements (Event Log) : Un flux horodaté d'acteurs, d'artefacts et de types d'événements.
2. Corpus d'Artefacts : Les documents ou enregistrements disponibles pour la récupération.
3. Politique d'Accès : Règles définissant la visibilité des sous-systèmes et les limites temporelles par acteur/rôle.
4. Configuration d'Évaluation : Spécifications pour les liens causaux, les paires de silence (absences attendues) et les modèles de questions.

À partir de ce contrat, le système génère des Contrats de Questions et des Schémas de Réponses Attendues. L'agent est évalué selon deux modes :

• Mode Contexte : L'agent reçoit une fenêtre de contexte pré-filtrée et doit soumettre une réponse structurée avec des citations explicites d' evidence_artifacts.
• Mode Outil (Tool Mode) : L'agent interagit avec un environnement d'exécution cloisonné qui applique les contraintes d'accès au point des appels fetch ou search, enregistrant une trace complète de l'utilisation des outils.

Volets d'Évaluation (Tracks)

GroundEval cible trois classes de défaillances spécifiques, chacune ayant un volet dédié :

1. Perspective : Teste si un agent respecte ce qu'un acteur aurait pu savoir à un moment précis (vérification de la fuite temporelle et des violations de permissions).
2. Contrefactuel : Teste si un agent identifie des relations de cause à effet valides en utilisant des conditions de jointure explicites (ex: ID de tickets) plutôt que l'adjacence temporelle.
3. Silence : Teste si un agent vérifie l'absence en recherchant dans les espaces requis avant de déclarer que quelque chose ne s'est pas produit.

Mécanisme de Notation

GroundEval utilise un Modèle de Double Notation :

• Score de Réponse ($S_{answer}$) : Mesure si la réponse finale structurée correspond à la vérité terrain.
• Score de Trajectoire ($S_{traj}$) : Mesure si le chemin de preuve de l'agent (recherches, récupérations, citations) est resté dans le contrat d'état.

Ces scores sont combinés en un Score Ajusté par la Conformité ($S_{adj}$) :
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
Où $v$ est le taux de violation (violation de barrière d'acteur, de sous-système ou d'horizon). La pénalité quadratique garantit qu'une haute précision de la réponse ne peut compenser un taux élevé de violations de gouvernance.

3. Contributions Clés

1. Contrat d'Évaluation Déterministe : Un cadre qui dérive des contrats de questions et des schémas de réponses à partir de journaux d'événements et de politiques d'accès sans nécessiter de modèle de juge, rendant les signaux de correction indépendamment auditables.
2. Double Notation avec Ajustement de Violation : Un modèle de notation qui distingue les réponses vraies des réponses atteintes de manière valide, pénalisant les agents qui violent les contraintes d'état même si leur sortie finale est correcte.
3. Déterminisme Formalisé : Garantit que les scores sont déterministes pour un même contrat et une même trace, permettant au cadre de servir de porte de régression à travers les versions de modèles et les changements de prompts.
4. Trois Volets Réutilisables : Protocoles d'évaluation spécifiques pour les échecs de Perspective, de Contrefactuel et de Silence qui traitent les angles morts de l'évaluation de trajectoire actuelle.

4. Résultats Expérimentaux

Le cadre a été validé à l'aide d'OrgForge, un cadre de simulation générant une vérité terrain déterministe. L'évaluation a porté sur 96 questions à travers trois volets (Perspective, Contrefactuel, Silence) et un agent DeepSeek-V4-Pro.

Principales Conclusions :

• L'Écart du Juge (The Judge Gap) : Dans une étude de cas, deux juges LLM de pointe (Kimi-K2.6 et ChatGPT-5.5) ont noté une réponse d'agent plausible mais invalide à 0,90 et 0,85 respectivement. GroundEval a noté cette même réponse 0,000 pour la réponse (car l'artefact requis n'a jamais été récupéré) et 0,273 pour la trajectoire, exposant le chemin de preuve invalide.
• Échecs de Perspective : Les agents ont souvent confondu la présence physique avec l'accès au sous-système basé sur le rôle, entraînant des scores de réponse élevés mais des pénalités de trajectoire significatives dues aux violations de barrière d'acteur.
• Échecs Contrefactuels : Les agents se sont souvent appuyés sur la similitude de sujet superficielle plutôt que sur des conditions de jointure structurelles (ex: ID de tickets), menant à des affirmations causales incorrectes qui n'étaient pas détectées par la notation de la réponse finale, mais signalées par l'analyse de trajectoire.
• Baseline Zero-Shot : Les agents ont obtenu des scores de réponse non négligeables en conditions zero-shot (sans accès aux outils), suggérant que certaines questions pouvaient être répondues via la formulation superficielle plutôt que par la récupération de preuves, soulignant la nécessité de contrôles stricts sur la génération de questions.

5. Signification et Revendications

Le papier affirme que l'écart entre le « plausible » et le « valide » n'est pas un cas marginal, mais un angle mort fondamental des évaluations d'agents actuelles. GroundEval soutient que pour les agents dotés d'un état, le chemin de preuve fait partie de la réponse.

La portée de ce travail réside dans le passage de la supervision de l'issue (le modèle a-t-il la bonne réponse ?) à la supervision du processus (le modèle a-t-il atteint la réponse via un chemin d'état valide ?). En rendant le contrat d'état explicite et évaluable, GroundEval fournit un mécanisme pour détecter une « correction invalide par l'état » que les juges LLM, qui reposent sur la plausibilité sémantique, sont structurellement incapables de détecter. Le cadre est conçu pour être réutilisable à travers les versions de modèles et les domaines, servant de porte de régression déterministe pour le développement d'agents.