🤖 AI

NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles

NeuroState-Bench est un benchmark calibré humainement qui évalue les profils d'agents LLM à l'aide de sondes par requêtes secondaires pour mesurer l'intégrité de l'engagement, révélant que la réussite des tâches et l'intégrité divergent souvent et que les classements d'intégrité sont plus stables face aux perturbations distractrices que les métriques de réussite traditionnelles.

Auteurs originaux : Jia Xiao

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia Xiao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un assistant personnel pour planifier un voyage complexe de plusieurs jours. Vous lui donnez une liste de règles : « Réservez l'hôtel avec vue sur l'océan », « Ne dépensez pas plus de 200 $ pour le dîner » et « N'oubliez pas que je suis allergique aux arachides ».

L'Ancienne Méthode (Évaluation Uniquement sur le Résultat) :
Par le passé, nous ne vérifions que le résultat final. Si l'assistant revenait avec un itinéraire parfait incluant un hôtel avec vue sur l'océan, un dîner bon marché et aucune arachide, nous lui donnions un « A ». Nous ne nous soucions pas comment il y est arrivé. Peut-être qu'il a oublié l'allergie aux arachides à mi-parcours, a paniqué, et l'a corrigé à la toute dernière seconde. Peut-être qu'il a réservé par erreur le mauvais hôtel mais l'a échangé parce qu'il a eu de la chance. Tant que le document final semblait bon, le travail était fait.

Le Nouveau Problème :
Les auteurs de cet article, NeuroState-Bench, soutiennent que ce système de « note finale » est dangereux. Dans le monde réel, nous devons savoir si l'assistant a constamment rappelé les règles tout au long du processus. A-t-il gardé l'allergie aux arachides à l'esprit en commandant le déjeuner ? A-t-il respecté le budget même lorsqu'il était tenté par un restaurant chic ? S'il a oublié les règles au milieu et ne les a corrigées qu'à la fin, il pourrait commettre une erreur lors d'un voyage différent où il n'aura pas de seconde chance.

La Nouvelle Solution : Le Test de « Question Secondaire »
L'article introduit une nouvelle façon de tester les agents IA (programmes informatiques intelligents) appelée NeuroState-Bench. Au lieu d'attendre simplement la réponse finale, cette référence pose à l'IA des « questions secondaires » en cours de route.

Pensez-y comme un professeur qui fait le tour d'une classe pendant un examen.

La Tâche : « Rédigez une dissertation sur l'histoire de Rome. »
La Question Secondaire : « Hé, avant de finir, quel était le nom du premier empereur que vous avez mentionné ? »

Si l'élève rédige une excellente dissertation mais ne se souvient pas du nom de l'empereur lorsqu'on le lui demande, il a peut-être simplement deviné la fin ou l'a copiée d'ailleurs. Il n'a pas vraiment « tenu l'engagement » envers les faits sur lesquels il écrivait.

Comment la Référence Fonctionne :

La Configuration : Les chercheurs ont créé 144 « scénarios » différents (comme l'exemple de la planification de voyage) avec 8 types différents de défis mentaux (comme se souvenir d'une règle, ignorer une distraction ou corriger une erreur).
Les Sondes : Pour chaque scénario, ils ont ajouté 306 « questions secondaires » spécifiques (sondes) conçues pour vérifier si l'IA s'en tient toujours aux règles originales.
La Vérification Humaine : Des humains ont examiné ces tests pour s'assurer que les questions étaient équitables et que les niveaux de difficulté étaient précis. Ils ont constaté que les humains et l'IA étaient en très fort accord sur ce qui était « difficile » et ce qui était « facile ».
Le Score : Ils ont calculé un nouveau score appelé HCCIS-CORE. Ce score mesure l'« Intégrité de l'Engagement ». Il demande : L'IA est-elle restée fidèle aux règles qu'elle a promis de suivre, même lorsque les choses devenaient confuses ?

Les Résultats Surprenants :
Lorsqu'ils ont testé 32 modèles d'IA différents (certains petits, d'autres très grands et puissants), ils ont découvert quelque chose de choquant :

Le « Meilleur » Élève n'est pas l'Élève le « Plus Honnête » : L'IA qui a obtenu le plus de réponses finales correctes n'était pas celle qui est restée la plus cohérente avec les règles.
Inversion du Classement : Si vous classez les modèles d'IA par leurs réponses finales, la première place revient à un modèle. Mais si vous les classez par leur « Intégrité de l'Engagement » (la mesure dans laquelle ils ont respecté les règles), ce même modèle descend, et un autre modèle prend la première place. En fait, 31 modèles sur 32 ont changé de classement lorsque vous passez de la notation de la « réponse finale » à celle de « l'engagement ».
Distractions : Lorsque les chercheurs ont ajouté des « distracteurs » (informations supplémentaires confuses), les modèles qui étaient bons pour obtenir la bonne réponse finale se sont effondrés. Cependant, les modèles avec une forte « Intégrité de l'Engagement » sont restés stables. Ils étaient meilleurs pour ignorer le bruit et s'en tenir au plan.

Ce Que Cela Signifie (Selon l'Article) :
L'article conclut que obtenir la bonne réponse à la fin ne suffit pas à prouver qu'une IA est fiable. Une IA peut obtenir accidentellement la bonne réponse tout en perdant complètement le fil des règles au milieu.

Les auteurs ont construit cette référence comme un « test de résistance » pour l'honnêteté et la cohérence de l'IA. Ils ne prétendent pas avoir construit une nouvelle IA plus intelligente ; ils ont construit une meilleure règle pour mesurer si une IA fait réellement ce qu'elle dit faire.

Ce Qu'ils N'ONT PAS Prétendu :

Ils n'ont pas prétendu que c'était un outil médical ou un moyen de diagnostiquer des problèmes cérébraux humains (malgré le « Neuro » dans le nom, il s'agit des « états mentaux » de l'IA, et non de la biologie humaine).
Ils n'ont pas prétendu que leur nouvelle méthode de notation était parfaite ou qu'elle prédirait toujours l'avenir.
Ils ont explicitement déclaré que leurs ajouts « neuronaux » (de type cerveau) n'ont pas réellement amélioré le score de manière significative, ils ont donc décidé de s'en tenir à la version plus simple, calibrée par l'homme.

En Bref :
NeuroState-Bench est un nouveau bulletin de notes pour l'IA. Il arrête de regarder uniquement la note finale et commence à vérifier les notes de travail pour voir si l'élève était réellement attentif tout au long du processus. Il s'avère que l'IA avec la meilleure note finale n'était souvent pas celle qui prêtait le plus d'attention.

Résumé Technique : NeuroState-Bench

Énoncé du Problème
Les évaluations actuelles des agents reposent principalement sur une évaluation basée uniquement sur le résultat, notant les agents exclusivement sur la résolution éventuelle d'une tâche multi-tours. Cette approche sous-spécifie si un profil d'agent préserve les engagements (contraintes, liaisons, sources de confiance et mises à jour de croyances) nécessaires pour résoudre une tâche de manière cohérente. Un agent peut parvenir à une réponse finale correcte par accident, par récupération ultérieure, ou en écrasant momentanément un état erroné, masquant ainsi un manque d'intégrité opérationnelle des engagements. Les benchmarks existants échouent souvent à isoler si un agent peut maintenir les engagements définis par le benchmark sous une sollicitation explicite par des requêtes secondaires, particulièrement en présence de distracteurs ou d'informations contradictoires.

Méthodologie
NeuroState-Bench opérationnalise l'« intégrité des engagements » non pas comme une inférence d'activations latentes cachées, mais comme une cohérence mesurable entre la structure d'engagement de référence d'un générateur de tâches et les engagements sollicités de l'agent via des sondes de requêtes secondaires définies par le benchmark.

Construction du Benchmark : Le benchmark est généré de manière déterministe, comprenant 144 tâches réparties en huit familles d'échecs motivées cognitivement (par exemple, persistance des contraintes, liaison d'entités, résolution de conflits, écrasement d'état obsolète). Chaque tâche inclut deux variantes (propre et avec distracteurs) et trois bandes de difficulté (facile, moyen, difficile), avec trois instances déterministes par cellule.
Sondes de Requêtes Secondaires : Chaque tâche est associée à des sondes de requêtes secondaires spécifiques (306 au total) qui interrogent l'état de l'agent à des points critiques. Ces sondes sont formées à partir de l'invite de tâche complète plus une invite de sonde. Crucialement, les réponses aux sondes ne sont pas ajoutées à la tentative de tâche utilisée pour le score final ; elles servent de contrôles diagnostiques indépendants.
Cadre de Notation : La métrique principale est HCCIS-CORE, un score d'intégrité sans confiance, non neuronal. Il agrège les risques d'échec au niveau des sondes (dérive d'état, risque de trajectoire, risque de position contextuelle) pondérés par la difficulté calibrée par l'humain et la validité de construit.
- Scores Hérités/Exploratoires : L'article conserve HCCIS-FULL (une heuristique héritée incluant des termes de confiance/incertitude) et HCCIS+N (une variante exploratoire augmentée par réseau neuronal) comme comparateurs, mais les positionne explicitement comme secondaires par rapport au score de base.
Calibration Humaine : Un processus d'échantillonnage stratifié impliquant 104 unités de tâches échantillonnées et 216 annotations brutes a été arbitré pour produire un périmètre de rapport fusionné de 108 lignes de tâches. Cette couche fournit des priors de difficulté et une vérification de la validité de construit, atteignant une fiabilité inter-évaluateurs élevée ( $\kappa$ pondéré = 0,977, ICC = 0,977).
Grille d'Évaluation : L'expérience principale évalue une grille de 32 profils, combinant un sous-ensemble local fixe de 16 profils (petits modèles avec divers wrappers) et un sous-ensemble correspondant de 16 profils de grands modèles hébergés (incluant GPT-4.1, GPT-5-Chat, Claude Sonnet et des variantes Qwen).

Résultats Clés

Divergence entre Succès et Intégrité : Le succès de la tâche et l'intégrité des engagements sont empiriquement séparables. Dans la grille de 32 profils, l'agent ayant le plus haut succès de tâche (profil mémoire Qwen3.5-27B, 0,9391) n'est pas le leader en intégrité. Le leader en intégrité est le profil réactif GPT-5-Chat (HCCIS-CORE 0,7772).
Instabilité du Classement : Lorsque l'intégrité remplace le succès de la tâche comme métrique de classement, 31 profils sur 32 changent de rang. Le décalage moyen absolu de rang est de 6,8125, avec un décalage maximal de 20.
Stabilité sous Perturbation : Les classements basés sur l'intégrité sont plus stables sous perturbation par distracteurs que les classements basés sur le succès. Le décalage moyen de rang propre-vers-distracteur pour le succès de la tâche est de 4,3438, contre 2,7500 pour HCCIS-CORE.
Performance Diagnostique : HCCIS-CORE atteint une AUC de 0,8469 et une PR-AUC de 0,6992 pour la discrimination post-sonde de l'échec terminal de la tâche. Bien que la précision brute des sondes et la dérive d'état atteignent une ROC-AUC légèrement supérieure (0,8587) et une meilleure calibration (Brier/ECE), HCCIS-CORE maintient une PR-AUC d'estimation ponctuelle plus élevée et reste plus étroitement lié au construit visé par le benchmark.
Signaux Neuronaux et Mécanistiques : La variante exploratoire augmentée par réseau neuronal (HCCIS+N) et les composants mécanistiques (par exemple, les composants liés à l'accord dans les petits modèles) ne dominent pas universellement les baselines plus simples. En fait, HCCIS+N performe moins bien que HCCIS-CORE sur les métriques AUC, PR-AUC, Brier et ECE. L'article traite ces couches neuronales comme un contexte de calibration auxiliaire plutôt que comme des affirmations prédictives centrales.
Échecs Cachés : Des études de cas démontrent que les agents peuvent obtenir des réponses finales correctes tout en présentant une dérive d'état totale (par exemple, un HCCIS-CORE de 0,1192 avec 100 % de dérive d'état), un mode d'échec invisible pour les métriques basées uniquement sur le point final.

Signification et Revendications
L'article positionne NeuroState-Bench comme une ressource d'évaluation calibrée et un cadre d'analyse plutôt que comme un nouvel algorithme d'agent ou un prédicteur universel d'échec. Sa contribution principale est méthodologique : il établit que le succès au point final est insuffisant pour évaluer la fiabilité des agents lorsque les engagements, la provenance et les contraintes comptent.

Validité de Construit : Le benchmark démontre que l'intégrité opérationnelle des engagements est un construit distinct et mesurable qui diverge systématiquement de l'achèvement de la tâche.
Géométrie de l'Évaluation : Il révèle que différents axes d'évaluation (succès vs intégrité vs heuristiques sensibles à la confiance) induisent des géométries de classement et des profils de stabilité différents.
Portée Modeste : Les auteurs déclarent explicitement que le benchmark ne prétend pas inférer des états mentaux inobservables ou que les scores augmentés par réseau neuronal dominent universellement. Au lieu de cela, il offre un « test de stress diagnostique » reproductible et calibré par l'humain pour révéler les échecs d'engagement cachés. La publication inclut une auditabilité complète, permettant aux chercheurs de retracer les inversions de classement jusqu'à des invites de tâches spécifiques, des sondes et des traces d'agents.

En résumé, NeuroState-Bench contribue un axe calibré pour évaluer la cohérence du comportement des agents, arguant qu'une évaluation consciente de l'intégrité modifie matériellement l'interprétation des capacités des agents, en particulier dans des environnements complexes et multi-tours où les distracteurs et les mises à jour d'état sont prévalents.

Résumé Technique : NeuroState-Bench

Articles similaires