🤖 AI

Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution

Cet article introduit les « audits de fondement interventionnels », une méthode de boîte noire qui valide la dépendance logique du raisonnement par chaîne de pensée des grands modèles de langage en substituant les prémisses par de nouveaux symboles, démontrant sa capacité supérieure à détecter les failles de type « bonne réponse, mauvais raisonnement » par rapport aux bases de référence de cohérence de soi sur le benchmark ProntoQA.

Auteurs originaux : Hironao Nakamura

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hironao Nakamura

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du détective : Quand les réponses mentent sur leur raisonnement

Imaginez que vous soyez dans une salle de classe où l'élève le plus brillant est un robot super intelligent. Ce robot est célèbre pour résoudre des énigmes logiques incroyablement difficiles. Mais voici le piège : le robot ne se contente pas de vous donner la réponse ; il écrit un long journal détaillé de ses pensées, appelé « Chaîne de pensée » (Chain-of-Thought), pour vous montrer comment il a trouvé la solution. Cela semble impressionnant, n'est-ce pas ? Vous lisez le journal, et chaque étape semble logique et parfaite. Mais et si le robot inventait tout au fur et à mesure ? Et si le robot connaissait la réponse parce qu'il a déjà vu des énigmes similaires auparavant, mais que le journal qu'il a écrit n'est qu'une histoire factice qui n'est pas réellement liée aux indices qui lui ont été donnés ?

C'est le grand mystère que les scientifiques tentent de résoudre dans le domaine de l'intelligence artificielle. Nous possédons ces modèles d'IA puissants capables de parler et de raisonner, mais nous ne savons souvent pas s'ils sont réellement en train de « réfléchir » ou s'ils ne font que deviner. L'article que vous allez lire s'attaque à une question spécifique : Pouvons-nous faire confiance au journal du robot ? Les auteurs veulent savoir si les étapes que le robot écrit dépendent réellement des indices (prémisses) qui lui ont été donnés, ou si le robot ignore simplement les indices et invente l'histoire de toute façon. Pour le découvrir, ils ont inventé un nouveau genre de « test de vérité » qui ne se contente pas d'observer le robot ; il manipule activement les indices pour voir si l'histoire du robot change.

Le test du « Et si ? » pour les cerveaux de robots

Les chercheurs, dirigés par Hironao Nakamura, ont créé une expérience ingénieuse appelée Audits de mise en évidence interventionnels (Interventional Grounding Audits). Voyez cela comme un jeu de « Et si ? » joué avec l'énigme logique d'un robot.

D'habitude, quand nous vérifions si un élève triche, nous regardons simplement sa réponse finale. S'il a raison, nous supposons qu'il a fait le travail. Ou bien, nous pourrions demander à l'élève de résoudre la même énigme cinq fois pour voir s'il obtient la même réponse à chaque fois (ce qu'on appelle la « cohérence de soi » ou self-consistency). Mais les auteurs affirment que ces méthodes sont comme regarder un magicien réaliser un tour depuis le public : vous voyez le résultat, mais vous ne savez pas si le tour est réel ou s'il s'agit d'un simple tour de passe-passe.

Pour atteindre la vérité, les auteurs ont décidé de jouer à un jeu de « trouver les différences » avec les indices du robot. Voici comment ils ont procédé :

La configuration : Ils ont donné au robot (plus précisément à GPT-4o) un ensemble d'énigmes logiques appelées ProntoQA. Ce sont des énigmes inventées avec des règles claires, comme « Tous les wumpus sont des fumpus » et « Alex est un wumpus ». Le robot doit déterminer si « Alex est un fumpus ».
L'intervention : Les chercheurs ont pris un indice spécifique (prémisse) et ont remplacé un mot clé par un mot imaginaire absurde. Par exemple, ils ont changé « wumpus » en « glumpus ».
Le test : Ils ont demandé au robot de résoudre l'énigme à nouveau avec ce nouveau mot bizarre.
- Si le robot réfléchit vraiment : Les étapes de son journal devraient changer pour correspondre au nouveau mot. Si l'indice dit « glumpus », le raisonnement du robot devrait dire « glumpus ».
- Si le robot simule : Le robot pourrait ignorer le mot bizarre et continuer à écrire sur les « wumpus », ou il pourrait simplement deviner la réponse sans même regarder l'indice.

La découverte choquante : « Bonne réponse, mauvais raisonnement »

Les résultats de cette expérience ont été révélateurs. Les chercheurs ont découvert que le robot était souvent coupable de « Bonne Réponse, Mauvais Raisonnement » (RAWR - Right Answer, Wrong Reasoning).

Dans 66 % des énigmes que le robot a résolues correctement, ils ont trouvé au moins une étape dans le journal du robot qui ne tenait pas compte des indices qu'il était censé utiliser. Le robot écrivait : « Puisque Alex est un wumpus, donc... », mais lorsque les chercheurs ont changé « wumpus » en « glumpus », la conclusion du robot n'a pas bougé. C'était comme si le robot lisait un script qu'il avait mémorisé plutôt que d'utiliser réellement les indices sous ses yeux.

C'est un point crucial car l'ancienne méthode de vérification — demander au robot de résoudre l'énigme cinq fois et voir s'il est d'accord avec lui-même — a complètement manqué cela. La méthode de la « cohérence de soi » n'a obtenu qu'un score de 0,343 (sur une échelle où 1,0 est parfait) pour détecter ces étapes de raisonnement factices. La nouvelle méthode d'« Audit Interventionnel », en revanche, a obtenu un score bien plus élevé de 0,806. Cela signifie que la nouvelle méthode est nettement plus efficace pour attraper le robot lorsqu'il ment sur son raisonnement.

Le « angle mort » et l'effet de cascade

Les chercheurs ont également découvert un type de l'indice particulier que le robot adore ignorer : les Prémisses d'introduction d'entités (Entity-Introduction Premises). Ce sont les indices qui introduisent simplement un personnage, comme « Alex est un wumpus ». Le robot traite souvent cela comme un bruit de fond, alors que c'est essentiel pour que la logique fonctionne.

Pour rendre leur test encore meilleur, les auteurs ont utilisé un « filtre de cascade ». Imaginez une ligne de dominos. Si vous renversez le premier, tous les autres tombent. Dans la logique du robot, si vous changez le premier indice, toute la chaîne de raisonnement devrait changer. Mais parfois, le raisonnement du robot est si désordonné que changer un seul indice fait vaciller toute la chaîne, ce qui rend difficile de déterminer quel passage spécifique pose problème. Les auteurs ont créé un filtre pour trier ces « réactions en chaîne » afin de pouvoir identifier précisément quelle étape ignorait l'indice. Avec ce filtre, leur précision a bondi encore plus haut, atteignant 0,819.

Ce que cela signifie pour l'avenir

L'article précise avec prudence que ce test fonctionne mieux sur ces énigmes logiques spécifiques et inventées (ProntoQA). Les auteurs admettent que le langage du monde réel est plus complexe et que leur méthode pourrait nécessiter des ajustements pour le gérer. Ils notent également que pour certains types de puzzles très réguliers, une simple vérification par « différence de chaîne de caractères » (en regardant simplement les changements de texte) fonctionne presque aussi bien que leur audit complexe, mais pour les cas difficiles, leur méthode est la grande gagnante.

Le point le plus important est que nous ne pouvons plus faire confiance à la « Chaîne de pensée » d'un robot simplement parce qu'elle semble logique ou parce que le robot est d'accord avec lui-même. Comme les auteurs l'ont montré, un robot peut donner la réponse parfaite tout en écrivant un journal totalement faux sur la façon dont il y est parvenu. En utilisant ces interventions de type « Et si ? », nous pouvons enfin regarder sous le capot et voir si le robot réfléchit réellement ou s'il fait simplement semblant.

Les auteurs ont rendu toutes leurs données, leur code et les réponses brutes du robot disponibles pour que quiconque puisse les vérifier, prouvant ainsi que leurs résultats ne sont pas un simple coup de chance passager, mais une découverte reproductible. Ils ont démontré que dans le monde de l'IA, la réponse n'est pas toujours la vérité ; parfois, il faut vérifier le raisonnement pour voir si la réponse est réelle.

Résumé Technique : Audits de Mise à Terre Interventionnels pour la Chaîne de Pensée des LLM

Énoncé du Problème

Les grands modèles de langage (LLM) génèrent fréquemment une chaîne de pensée (Chain-of-Thought ou CoT) qui semble logiquement cohérente mais qui ne dépend pas réellement des prémisses qu'elle prétend utiliser. Bien que les méthodes d'évaluation passives (par exemple, l'auto-cohérence, l'analyse de l'attention) puissent vérifier la correction de la réponse ou la stabilité de la sortie, elles ne peuvent pas distinguer une véritable dépendance logique d'une simple corrélation. Par conséquent, les modèles peuvent produire des scénarios de type « Bonnes Réponses, Mauvais Raisonnement » (RAWR - Right Answers, Wrong Reasoning) où une conclusion correcte est atteinte malgré des étapes intermédiaires qui sont insensibles aux prémisses spécifiques requises par l'arbre de preuve de vérité terrain. Ce document traite de la nécessité d'un test au niveau des étapes, de type boîte noire, pour vérifier si une étape de raisonnement dépend causalement de ses prémisses déclarées.

Méthodologie : Audits de Mise à la Terre Interventionnels

Les auteurs proposent des Audits de Mise à la Terre Interventionnels (Interventional Grounding Audits), un protocole de boîte noire qui intervient sur les prémisses d'entrée pour observer les changements dans les étapes de raisonnement. La méthode opère sur deux couches : une couche d'observation (texte brut du LLM) et une couche de concept (propositions normalisées).

1. Protocole de Base

Pour un problème donné avec des prémisses $\{P_1, \dots, P_k\}$ et une CoT avec des étapes $\{S_1, \dots, S_n\}$ , l'audit teste la dépendance de l'étape $S_i$ vis-à-vis de la prémisse $P_j$ via la Substitution de Prédicat :

Sonde Sémantique : Le prédicat cible dans une prémisse est remplacé par un symbole nouveau et inventé (par exemple, remplacer « tumpus » par « zqfumpus »).
Sonde de Surface (Contrôle) : La prémisse est reformulée sans altérer le contenu logique (par exemple, « Tous les X sont Y » $\to$ « Chaque X est un Y ») pour distinguer la dépendance logique de la sensibilité de surface.
Normalisation : Les conclusions des étapes sont analysées en formes canoniques (par exemple, is(e, p) ou subtype(p1, p2)) pour filtrer les variations de formulation non pertinentes.

2. Stratégies de Substitution

Substitution Cohérente : Remplace le prédicat dans toutes les prémisses. Cela préserve la cohérence de la chaîne et détecte les dépendances déterminées par le prédicat.
Substitution Locale : Remplace le prédicat uniquement dans la prémisse cible $P_j$ . Cela brise la chaîne pour détecter les dépendances transitives, incluant les prémisses structurelles (ex: introductions d'entités), mais risque de créer des faux positifs en cascade.

3. Filtrage de Cascade

Pour traiter les faux positifs dans la substitution locale (où un changement dans $P_j$ se propage à toutes les étapes en aval $S_{i+1} \dots S_n$ ), un filtre de cascade est appliqué. Si l'étape $S_{i-1}$ est déjà déterminée comme étant ancrée concernant $P_j$ , alors $S_i$ est reclassée comme un effet de « CASCADE » plutôt qu'une dépendance directe, récupérant ainsi la précision tout en conservant le rappel.

4. Système de Verdict

Chaque paire $(S_i, P_j)$ reçoit un verdict à cinq valeurs :

GROUNDED (Ancré) : La conclusion change sous la sonde sémantique mais pas sous la sonde de surface.
INSENSITIVE (Insensible) : La conclusion reste inchangée malgré le fait que la prémisse soit citée.
INPUT-SENSITIVE (Sensible à l'entrée) : La conclusion change sous les deux sondes.
UNSTABLE (Instable) : La conclusion ne change que sous la sonde de surface.
UNPARSEABLE (Inanalysable) : Échec de l'analyse syntaxique.

Principales Contributions

Protocole Interventionnel : Une nouvelle méthode de boîte noire pour détecter les dépendances causales au niveau des prémisses avec un score F1 de 0,806 (surpassant de manière significative l'auto-cohérence avec un F1 de 0,343).
Détection à Double Stratégie : La combinaison des stratégies de substitution cohérente et locale, couplée au filtrage de cascade, atteint la performance la plus élevée (F1 = 0,819), distinguant les dépendances directes des dépendances transitives.
Évaluation Vérifiable par Artefact : Un cadre entièrement reproductible où chaque certificat d'audit inclut les sorties originales et sondées avec des sommes de contrôle SHA256, vérifiées par un validateur automatisé.
Identification du RAWR : La méthode identifie que 66 % des problèmes résolus correctement contiennent au moins une étape qui est insensible à une dépendance directe de l'arbre de preuve (spécifiquement impliquant des prémisses d'introduction d'entités), un signal invisible pour les méthodes passives.

Résultats Expérimentaux

Évalué sur ProntoQA (50 problèmes déductifs multi-sauts synthétiques) en utilisant GPT-4o (température 0) :

Performance : La méthode atteint un F1 = 0,806 sur toutes les dépendances et un F1 = 0,885 sur les dépendances déterminées par le prédicat (Rappel = 100 %).
Comparaison avec les Références : L'auto-cohérence n'atteint que F1 = 0,343, échouant principalement en précision (0,226) car elle ne peut pas identifier quelles prémisses une étape dépend.
Taux de RAWR : 33 des 50 problèmes résolus correctement (66 %) présentaient le phénomène RAWR. Tous ces cas impliquaient des prémisses structurelles d'introduction d'entités, un angle mort connu pour la substitution cohérente seule.
Validation Trans-Modèle : Appliquée à Claude Sonnet 4.5, l'audit a atteint un F1 = 0,872 avec une précision parfaite (P = 1,000), confirmant la transférabilité de la méthode, bien que le taux de RAWR ait plafonné en raison du style de reformulation uniforme du modèle.
Ablation : Le filtre de cascade était critique, améliorant la précision de 0,604 à 0,756 en corrigeant les faux positifs induits par la propagation.

Signification et Revendications

Le papier affirme fournir le premier test causal au niveau des étapes pour la dépendance aux prémisses dans le raisonnement des LLM. Contra[ment] aux travaux antérieurs qui se concentrent sur l'accord de réponse ou l'intervention sur les représentations internes, cette approche intervient sur les entrées pour vérifier l'ancrage logique.

Détection du « Bon Résultat, Mauvais Raisonnement » : L'étude révèle que des scores d'auto-cohérence élevés ne garantissent pas l'intégrité logique ; les modèles peuvent arriver à des conclusions correctes via des chemins de raisonnement qui ignorent les prémisses énoncées.
Identification des Angles Morts : L'audit expose une vulnérabilité spécifique où les modèles citent des prémisses d'introduction d'entités (ex: « Rex est un bunpus ») comme justification tout en restant logiquement insensibles à celles-ci lors d'une substitution.
Portée et Limites : Les auteurs reconnaissent que les résultats sont actuellement validés sur des benchmarks synthétiques formels (ProntoQA). La généralisation à des benchmarks de langage naturel (ex: FOLIO, ProofWriter) nécessite des stratégies de normalisation adaptées. La taille de l'ensemble de données (50 problèmes) est modeste, bien que les intervalles de confiance par bootstrap confirment la signification statistique.
Reproductibilité : Toutes les données, y compris les sorties brutes des modèles, les certificats d'audit et les scripts de reproduction, sont publiquement disponibles, permettant une vérification indépendante sans accès à l'API.

Le travail étend un cadre de mise à la terre à deux couches, précédemment utilisé pour la sécurité des agents, au domaine de l'intégrité du raisonnement, offrant un outil rigoureux pour auditer la fidélité logique de la génération de CoT des LLM.