🤖 machine learning

Decoy-Calibrated Failure Audits for Language Models

Ce document introduit Janus, une procédure d'audit rigoureuse qui valide les explications de défaillance proposées pour les modèles de langage en exigeant qu'elles surpassent des descripteurs « leurres » assignés de manière aléatoire et qu'elles se reproduisent sur des données non vues, empêchant ainsi le signalement erroné de motifs d'erreur spécieux causés par le biais de sélection.

Auteurs originaux : Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de comprendre pourquoi un assistant IA intelligent continue de commettre des erreurs. Vous avez une liste de suspects (des raisons possibles des erreurs), comme « les questions sont trop longues », « les indices sont cachés à la fin » ou « il y a trop de détails distrayants ».

Le problème est que si vous vérifiez suffisamment de suspects, vous finirez par en trouver un qui semble coupable par pure chance. C'est comme lancer une pièce 100 fois ; on finit par obtenir une série de piles. Si vous rapportez que « obtenir des piles prouve que la pièce est truquée », vous avez été trompé par le hasard.

Ce document présente un nouvel outil de détective appelé Janus pour empêcher les auditeurs de commettre cette erreur. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : Le piège du « Coup de Chance »

Lorsque les auditeurs testent une IA, ils essaient souvent de nombreuses explications pour ses échecs. S'ils testent 50 idées différentes, l'une d'entre elles pourrait présenter un taux d'erreur élevé simplement à cause du bruit aléatoire, et non parce qu'il s'agit d'un vrai problème. Si l'auditeur rapporte qu'une idée « chanceuse » est un échec majeur, il propage de la désinformation.

2. La Solution : Janus et les « Faux Suspects »

Janus résout cela en introduisant des Leurres (des faux suspects).

Le Vrai Suspect : Un auditeur choisit une raison réelle, comme « Chaîne Longue » (où l'IA doit suivre une longue chaîne de logique).
Le Leurre : Janus crée une version fictive de cette raison. Elle conserve le même nombre de réponses « oui » et « non », mais les mélange de manière aléatoire. C'est comme prendre l'étiquette « Chaîne Longue » et la coller sur des questions qui n'ont rien à voir avec les chaînes longues.
La Comparaison : Janus demande : « À quel point le vrai suspect semble-t-il mauvais comparé au faux ? »
- Si le vrai suspect semble beaucoup plus problématique que le faux, c'est une piste sérieuse.
- Si le vrai suspect ressemble environ au même que le faux, c'était probablement juste un coup de chance.

Cela crée un « Plancher de Leurre ». Une explication réelle doit être meilleure que les fausses pour même être considérée.

3. Le Deuxième Contrôle : Le Test des « Preuves Fraîches »

Même si un suspect bat les faux, Janus n'en a pas fini. Il utilise un test de « Holdout » (maintien à l'écart).

Phase de Découverte : L'auditeur examine un premier lot de données (l'ensemble de « Découverte ») pour trouver les meilleurs suspects.
Phase de Holdout : Janus prend les survivants et les teste sur un nouveau lot de données fraîches, que l'auditeur n'a pas encore vu.
La Règle : Si le suspect semble toujours coupable sur les nouvelles données, c'est une découverte confirmée. Si sa « culpabilité » disparaît ou diminue sur les nouvelles données, c'était probablement un coup de chance provenant du premier lot.

Qu'est-ce qui s'est passé lors des expériences ?

Les auteurs ont testé Janus dans trois scénarios :

Le « Test de Plantation » (Audit contrôlé) : Ils ont créé un scénario fictif où ils savaient que l'IA échouait spécifiquement lorsque la chaîne logique était longue.
- Résultat : Janus a réussi à trouver le problème de la « Chaîne Longue » et a ignoré le bruit. Cela prouve que l'outil fonctionne lorsqu'un problème réel existe.
Les « Tests en Conditions Réelles » (MuSiQue et LongBench) : Ils ont examiné deux benchmarks publics où l'IA fait des erreurs, mais personne ne sait exactement pourquoi.
- Résultat : D'autres outils (comme « SliceLine ») ont trouvé de nombreux groupes à « taux d'erreur élevé » et ont déclaré : « Regardez ! L'IA échoue ici ! »
- Le Verdict de Janus : Janus a déclaré : « En réalité, aucun de ces cas ne tient la route. » Lorsqu'ils ont vérifié par rapport aux leurres fictifs et aux données fraîches, la « culpabilité » a disparu. Janus a rapporté zéro découverte confirmée.
- Pourquoi c'est important : Cela montre que Janus est prudent. Il refuse de rapporter un problème simplement parce qu'un outil a trouvé un motif. Il exige la preuve que le motif est réel et reproductible.

La Grande Conclusion

Le document trace une ligne claire entre proposer une explication et la rapporter.

N'importe qui peut proposer une idée (ex : « L'IA échoue sur les textes longs »).
Mais Janus dit : « Ne le rapportez pas tant que vous n'avez pas battu les faux suspects et prouvé que cela fonctionne sur des données fraîches. »

En bref, Janus est un filtre strict qui empêche les auditeurs de crier au loup. Il garantit que lorsque nous disons qu'une IA présente un mode de défaillance spécifique, nous sommes certains qu'il ne s'agit pas d'une simple coïncidence chanceuse.

Résumé technique : Audits de défaillance calibrés par leurres pour les modèles de langage

1. Énoncé du problème

Le papier traite du « problème de signalement » dans les audits de défaillance des modèles. Si les audits permettent facilement d'identifier qu'un modèle échoue, déterminer où les échecs se concentrent et quelles explications sont suffisamment crédibles pour être signalées est difficile. Les auditeurs testent souvent de nombreuses explications candidates (par exemple, des entrées longues, des questions indirectes, des combinaisons spécifiques de métadonnées). Le risque est le biais de sélection : l'augmentation de l'erreur la plus importante observée peut refléter un mode de défaillance réel, ou peut simplement être le résultat le plus favorable parmi de nombreux candidats essayés (la « malédiction du vainqueur »).

Les méthodes actuelles de découverte de tranches (ex: SliceFinder, SliceLine) et le débogage assisté par LLM peuvent générer de nombreuses hypothèses plausibles, mais elles manquent d'un mécanisme rigoureux pour distinguer les modes de défaillance réels des artefacts du processus de recherche. Le papier soutient qu'une explication trouvée après de nombreuses tentatives nécessite une validation plus stricte qu'une explication nommée à l'avance.

2. Méthodologie : Janus

Les auteurs introduisent Janus, une procédure conçue non pas pour générer de nouvelles explications, mais pour décider quelles explications proposées sont assez crédibles pour être signalées. La méthode repose sur deux sauvegardes principales : la calibration par leurre et la réplication sur échantillon de test (holdout).

Définitions fondamentales

Descripteur : Une propriété vrai/faux interprétable d'un exemple (ex: long_chain, indirect_query).
Tranche (Slice) : Le sous-ensemble d'exemples où un descripteur est vrai.
Lift (Élévation) : La différence entre le taux d'erreur de la tranche et celui du complément ($err(g=1) - err(g=0)$).
Leurre (Decoy) : Un faux descripteur ayant la même prévalence (fréquence de présence de la valeur vraie) qu'un vrai descripteur, mais avec des valeurs assignées aléatoirement aux exemples.
Division de découverte (Discovery Split) : Les données utilisées pour scorer les descripteurs par rapport aux leurres.
Division de test (Holdout Split) : Un ensemble de données frais et distinct utilisé pour vérifier les survivants.

La procédure

Bibliothèque de candidats : L'auditeur commence avec une liste fixe et figée de descripteurs candidats ( $G$ ) dérivée de la connaissance métier, du minage de tranches ou du débogage assisté par LLM.
Construction des leurres : Pour chaque descripteur réel, Janus génère $K$ leurres en permutant les valeurs vrai/faux à travers les exemples de découverte tout en préservant la prévalence originale. Cela crée un « plancher de leurre » empirique représentant l'élévation maximale réalisable par hasard compte tenu de la taille de l'échantillon et des contraintes de prévalence.
Filtrage de la découverte (Procédure A) :
- Les descripteurs sont scorés par leur élévation absolue sur la division de découverte.
- Janus compare le nombre de descripteurs réels ( $R$ ) et de leurres ( $D$ ) qui dépassent divers seuils d'élévation.
- Il estime la proportion de fausses découvertes (FDP) en utilisant le ratio : $\widehat{FDP}(\tau) = \frac{(L/K)D(\tau)}{\max(1, R(\tau))}$ , où $L$ est le nombre de descripteurs réels et $K$ le nombre de leurres.
- Le seuil est fixé à la valeur la plus permissive où l'FDP estimée est inférieure à une cible $q$ (ex: 0,10).
- Les descripteurs franchissant ce « plancher de leurre » deviennent des Survivants de la découverte.
Confirmation par échantillon de test (Holdout) :
- Les survivants de la découverte sont réévalués sur la division de test.
- Un descripteur n'est confirmé que si :
  - Il conserve un support suffisant (taille d'échantillon).
  - Son élévation absolue sur le test dépasse un seuil minimum (ex: $|lift| \ge 0,10$ ).
  - Le signe de l'élévation correspond à celui de l'élévation de la découverte.

Cette séparation garantit que les descripteurs candidats peuvent provenir de n'importe quelle source, mais que seuls ceux qui battent le plancher de leurre et se répliquent sur des données fraîches deviennent des conclusions d'audit.

3. Contributions clés

Formulation du problème de signalement : Le papier définit explicitement la tâche consistant à décider quels descripteurs parmi de nombreux candidats doivent être signalés, en distinguant la proposition d'explications de la validation pour le signalement.
Procédure Janus : L'introduction d'une procédure calibrée par leurre qui compare l'élévation des descripteurs à celle de leurres fictifs de fréquence identique et exige une réplication sur des données de test.
Évaluation empirique : L'évaluation de Janus sur un audit contrôlé avec des modes de défaillance implantés et sur deux benchmarks publics (MuSiQue et LongBench v2), démontrant sa capacité à récupérer des signaux implantés tout en rejetant des découvertes plausibles mais non confirmées.

4. Résultats expérimentaux

Audit contrôlé (Structure implantée)

Configuration : 160 tâches synthétiques de recherche multi-tables où un mode de défaillance de type « chaîne longue » (nécessitant plusieurs sauts entre les tables) a été intentionnellement implanté.
Résultat : Janus a récupéré avec succès la défaillance implantée. Il a confirmé six descripteurs, incluant long_chain (élévation +0,58) et ses interactions avec les requêtes indirectes et les collisions.
Observation : Le modèle avait tendance à s'arrêter au milieu de la chaîne de recherche. Janus a correctement identifié ce mode de défaillance spécifique sans signaler chaque tranche à erreur élevée.

Benchmarks naturels (MuSique et LongBench v2)

Configuration : Audits sur des benchmarks publics où des descripteurs de métadonnées plausibles existent (ex: nombre de sauts, taille du contexte), mais où aucun mode de défaillance de vérité terrain n'est garanti.
Résultat : Janus a rapporté zéro descripteur confirmé pour ces deux benchmarks.
Comparaison : Les méthodes de base comme SliceLine ont identifié des sous-groupes à erreur élevée (ex: poches d'erreur de 85–93 % dans LongBench v2). Cependant, ces tranches ont échoué au calibrage par leurre ou au test de réplication sur échantillon de test.
Ablation : Supprimer le plancher de leurre a conduit à un sur-signalement (20 descripteurs sur LongBench v2). Supprimer la porte de test a permis à un seul descripteur de passer malgré une réduction de son élévation de 0,36 (découverte) à 0,05 (test), illustrant la « malédiction du vainqueur ».

5. Signification et affirmations

Le papier affirme qu'une tranche d'erreur plausible n'est pas nécessairement une conclusion d'audit signalable. La signification de Janus réside dans sa retenue :

Séparation de la découverte et du signalement : Il sépare la génération d'hypothèses de la validation requise pour le signalement.
Calibration empirique : Il utilise des leurres pour calibrer le « plancher de bruit » des scores d'élévation, reconnaissant que de grands effets peuvent résulter du hasard lors de recherches dans de grands espaces.
La réplication comme porte : Il impose qu'une explication sélectionnée sur une division doit conserver sa direction et sa force sur une autre.

Les auteurs soulignent que Janus est une règle de signalement, et non un moteur d'explication complet. Il ne garantit pas le contrôle du taux de fausses découvertes (FDR) dans le sens statistique formel (comme Benjamini-Hochberg) car il ne suppose pas une famille fixe de p-valeurs valides ou de knockoffs échangeables. Au lieu de cela, il fournit un filtre empirique pour filtrer les candidats avant un contrôle final sur échantillon de test. Le papier conclut que les candidats provenant de n'importe quelle source (connaissance métier, minage de tranches, LLM) ne deviennent des conclusions d'audit que lorsqu'ils battent les leurres et se répliquent sur des données fraîches.