🤖 machine learning

Decoy-Calibrated Failure Audits for Language Models

Dit artikel introduceert Janus, een rigoureuze auditprocedure die voorgestelde verklaringen voor falen bij taalmodellen valideert door te eisen dat ze beter presteren dan willekeurig toegewezen "decoy"-beschrijvers en repliceerbaar zijn op uitgelaten data, waardoor het vals rapporteren van schijnbare foutpatronen veroorzaakt door selectiebias wordt voorkomen.

Oorspronkelijke auteurs: Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert uit te zoeken waarom een slimme AI-assistent fouten blijft maken. Je hebt een lijst met verdachten (mogelijke redenen voor de fouten), zoals "de vragen zijn te lang", "de aanwijzingen zitten verstopt aan het einde" of "er zijn te veel afleidende details".

Het probleem is dat als je genoeg verdachten controleert, je er uiteindelijk één zult vinden die er puur door geluk schuldig uitziet. Het is alsof je 100 keer een munt opwerpt; uiteindelijk krijg je een reeks kop. Als je rapporteert dat "het gooien van kop bewijst dat het munt is gemanipuleerd", dan ben je door het toeval misleid.

Dit artikel introduceert een nieuwe detectivetool genaamd Janus om auditors voor deze fout te behoeden. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Geluksvondst"-valstrik

Wanneer auditors een AI testen, proberen ze vaak verschillende verklaringen voor de fouten. Als ze 50 verschillende ideeën testen, kan er één van hen een hoge foutmarge vertonen, simpelweg door willekeurige ruis, en niet omdat het een echt probleem is. Als de auditor zo'n "gelukkige" vondst rapporteert als een groot probleem, verspreidt hij desinformatie.

2. De Oplossing: Janus en de "Nepverdachten"

Janus lost dit op door Decoys (nepverdachten) te introduceren.

De Echte Verdachte: Een auditor kiest een echte reden, zoals "Lange Keten" (waarbij de AI een lange keten van logica moet volgen).
De Decoy: Janus creëert een nepversie van die reden. Het behoudt hetzelfde aantal "ja"- en "nee"-antwoorden, maar schudt ze willekeurig door elkaar. Het is alsof je het label "Lange Keten" op willekeurige vragen plakt die niets met lange ketens te maken hebben.
De Vergelijking: Janus vraagt: "Hoe erg ziet de echte verdachte eruit vergeleken met de nep versie?"
- Als de echte verdachte er veel slechter uitziet dan de nep versie, is het een sterk spoor.
- Als de echte verdachte ongeveer hetzelfde lijkt als de nep versie, was het waarschijnlijk gewoon een gelukstreffer.

Dit creëert een "Decoy Floor" (een bodem van nepversies). Een echte verklaring moet beter zijn dan de nepversies om überhaupt in aanmerking te komen.

3. De Tweede Controle: De "Vers Nieuw Bewijs"-test

Zelfs als een verdachte de nepversies verslaat, is Janus nog niet klaar. Het gebruikt een Holdout-test.

Ontdekkingsfase: De auditor bekijkt de eerste batch gegevens (de "Discovery"-set) om de beste verdachten te vinden.
Holdout-fase: Janus neemt de overlevers en test ze op een volledig nieuwe, verse batch gegevens die de auditor nog niet heeft gezien.
De Regel: Als de verdachte nog steeds schuldig lijkt op de verse gegevens, is het een bevestigde bevinding. Als de "schuld" op de nieuwe gegevens verdwijnt of kleiner wordt, was het waarschijnlijk slechts een toevalstreffer uit de eerste batch.

Wat gebeurde er in de experimenten?

De auteurs testten Janus in drie scenario's:

De "Plant"-test (Gecontroleerde Audit): Ze creëerden een gesimuleerd scenario waarin ze wisten dat de AI specifiek faalde wanneer de logische keten lang was.
- Resultaat: Janus vond succesvol het "Lange Keten"-probleem en negeerde de ruis. Het bewees dat de tool werkt wanneer er een echt probleem bestaat.
De "Real World"-tests (MuSiQue en LongBench): Ze keken naar twee publieke benchmarks waar de AI fouten maakt, maar niemand wist precies waarom.
- Resultaat: Andere tools (zoals "SliceLine") vonden veel "hoge-foutgroepen" en zeiden: "Kijk! De AI faalt hier!"
- Janus' Oordeel: Janus zei: "Eigenlijk houdt geen van deze standpunten stand." Toen ze de resultaten controleerden tegen de nep-decoys en de verse gegevens, verdween de "schuld". Janus rapporteerde nul bevestigde bevindingen.
- Waarom dit belangrijk is: Dit laat zien dat Janus voorzichtig is. Het weigert een probleem te rapporteren alleen omdat een tool een patroon vond. Het eist bewijs dat het patroon echt en herhaalbaar is.

De Belangrijkste Conclusie

Het artikel trekt een duidelijke lijn tussen het voorstellen van een verklaring en het rapporteren ervan.

Iedereen kan een idee voorstellen (bijv. "De AI faalt bij lange teksten").
Maar Janus zegt: "Rapporteer het pas nadat je de nepverdachten hebt verslagen en hebt bewezen dat het werkt op verse gegevens."

Kortom, Janus is een strikte filter die voorkomt dat auditors voor niets alarm slaan. Het zorgt ervoor dat wanneer we zeggen dat een AI een specifieke foutmodus heeft, we zeker weten dat het niet slechts een toevallige samenloop van omstandigheden is.

Technische Samenvatting: Decoy-gekalibreerde Foutaudits voor Taalmodellen

1. Probleemstelling

Het artikel behandelt het "rapportageprobleem" bij het auditen van modelfouten. Hoewel audits gemakkelijk kunnen identificeren dat een model faalt, is het moeilijk te bepalen waar fouten zich concentreren en welke verklaringen geloofwaardig genoeg zijn om te rapporteren. Auditors testen vaak veel kandidaat-verklaringen (bijv. lange inputs, indirecte vragen, specifieke combinaties van metadata). Het risico is selectiebias: de grootste geobserveerde fouttoename (error lift) kan een werkelijk falingsmechanisme reflecteren, of het kan simpelweg het meest gunstige resultaat zijn onder de vele geprobeerde kandidaten (de "winner's curse").

Huidige methoden voor het ontdekken van slices (zoals SliceFinder, SliceLine) en LLM-ondersteunde debugging kunnen veel plausibele hypothesen genereren, maar ze missen een rigoureus mechanisme om onderscheid te maken tussen echte foutmodi en artefacten van het zoekproces. Het artikel stelt dat een verklaring die na vele pogingen wordt gevonden, een striktere validatie vereist dan een verklaring die vooraf werd benoemd.

2. Methodologie: Janus

De auteurs introduceren Janus, een procedure die niet is ontworpen om nieuwe verklaringen te genereren, maar om te beslissen welke voorgestelde verklaringen geloofwaardig genoeg zijn om te rapporteren. De methode steunt op twee hoofdbeschermingsmaatregelen: decoy-kalibratie en holdout-replicatie.

Kerndefinities

Descriptor (Beschrijver): Een interpreteerbare waar/onwaar eigenschap van een voorbeeld (bijv. long_chain, indirect_query).
Slice: De subset van voorbeelden waar een descriptor waar is.
Lift: Het verschil in foutpercentage tussen de slice en het complement ($err(g=1) - err(g=0)$).
Decoy (Lokmiddel): Een valse descriptor met dezelfde prevalentie (frequentie van waarheid) als een echte descriptor, maar met waarden die willekeurig over de voorbeelden zijn toegewezen.
Discovery Split: De data die wordt gebruikt om descriptors tegen decoys te scoren.
Holdout Split: Een nieuwe, afzonderlijke dataset die wordt gebruikt om overlevers te verifiëren.

De Procedure

Kandidaatbibliotheek: De auditor begint met een vaste, bevroren lijst van kandidaat-descriptors ( $G$ ) afgeleid van domeinkennis, slice-mining of LLM-ondersteunde debugging.
Decoy Constructie: Voor elke echte descriptor genereert Janus $K$ decoys door de waar/onwaar waarden over de discovery-voorbeelden te permuteren, terwijl de oorspronkelijke prevalentie behouden blijft. Dit creëert een empirische "decoy floor" die de maximale lift representeert die door toeval kan worden bereikt, gegeven de steekproefgrootte en prevalentiebeperkingen.
Discovery Screening (Procedure A):
- Descriptors worden gescoord op hun absolute lift op de discovery split.
- Janus vergelijkt het aantal echte descriptors ( $R$ ) en decoys ( $D$ ) die verschillende lift-drempels overschrijden.
- Het schat de False Discovery Proportion (FDP) met behulp van de ratio: $\widehat{FDP}(\tau) = \frac{(L/K)D(\tau)}{\max(1, R(\tau))}$ , waarbij $L$ het aantal echte descriptors is en $K$ het aantal decoys.
- De drempelwaarde wordt ingesteld op de meest permissieve waarde waarbij de geschatte FDP onder een doel-q ligt (bijv. 0.10).
- Descriptors die deze "decoy floor" passeren, worden Discovery Survivors.
Holdout Bevestiging:
- Discovery survivors worden opnieuw geëvalueerd op de holdout split.
- Een descriptor wordt alleen bevestigd als:
  - Het voldoende ondersteuning behoudt (steekproefomvang).
  - De absolute holdout lift een minimale drempel overschrijdt (bijv. $|lift| \ge 0.10$ ).
  - Het teken van de lift overeenkomt met de discovery lift.

Deze scheiding zorgt ervoor dat kandidaat-descriptors uit elke bron kunnen komen, maar alleen degenen die de decoy floor verslaan en repliceren op verse data, als audit-bevindingen worden beschouwd.

3. Belangrijkste Bijdragen

Formulering van het Rapportageprobleem: Het artikel definieert expliciet de taak van het beslissen welke van de vele kandidaat-descriptors gerapporteerd moeten worden, waarbij onderscheid wordt gemaakt tussen het voorstellen van verklaringen en het valideren ervan voor rapportage.
Janus Procedure: De introductie van een decoy-gekalibreerde procedure die de lift van descriptors vergelijkt met die van valse descriptors van identieke frequentie en vereist dat er replicatie plaatsvindt op een holdout-data.
Empirische Evaluatie: De evaluatie van Janus op één gecontroleerde audit met geplante foutmodi en twee publieke benchmarks (MuSiQue en LongBench v2), wat de bekwaamheid aantoont om geplante signalen te herstellen terwijl plausibele maar niet-bevestigde bevindingen worden afgewezen.

4. Experimentele Resultaten

Gecontroleerde Audit (Geplante Structuur)

Setup: 160 synthetische multi-table lookup taken waarbij een "long chain" foutmodus (die meerdere stappen over tabellen vereist) opzettelijk was geplaatst.
Resultaat: Janus slaagde erin de geplante fout te herstellen. Het bevestigde zes descriptors, inclusief long_chain (lift +0.58) en de interacties ervan met indirecte queries en botsingen (collisions).
Observatie: Het model had de neiging om halverwege de lookup-keten te stoppen. Janus identificeerde deze specifieke foutmodus correct zonder elke hoog-foutieve slice te markeren.

Natuurlijke Benchmarks (MuSiQue en LongBench v2)

Setup: Audits op publieke benchmarks waar plausibele metadata-descriptors bestaan (bijv. hop count, context size), maar geen grondwaarheid van een foutmodus gegarandeerd is.
Resultaat: Janus rapporteerde nul bevestigde descriptors voor beide benchmarks.
Vergelijking: Baseline methoden zoals SliceLine identificeerden subgroups met hoge fouten (bijv. 85–93% fouten in LongBench v2). Echter, deze slices faalden de decoy-kalibratie of de holdout-replicatie check.
Ablatie: Het verwijderen van de decoy floor leidde tot over-rapportering (20 descriptors op LongBench v2). Het verwijderen van de holdout gate liet een enkele descriptor doorgaan ondanks dat de lift kromp van 0.36 (discovery) naar 0.05 (holdout), wat de "winner's curse" illustreert.

5. Betekenis en Claims

Het artikel claimt dat een plausibele fout-slice niet noodzakelijkerwijs een rapporteerbare audit-bevinding is. De betekenis van Janus ligt in de terughoudendheid:

Scheiding van Discovery en Rapportage: Het scheidt het genereren van hypothesen van de validatie die nodig is voor rapportage.
Empirische Kalibratie: Het gebruikt decoys om de "ruisvloer" van lift-scores te kalibreren, in het besef dat grote effecten door toeval kunnen ontstaan bij het doorzoeken van grote ruimtes.
Replicatie als Poortwachter: Het dwingt af dat een verklaring die op één split is geselecteerd, ook zijn richting en sterkte op een andere split behoudt.

De auteurs benadrukken dat Janus een rapportageregel is, geen volledige verklarende engine. Het garandeert geen controle over de eindige-steekproef False Discovery Rate (FDR) in de formele statistische zin (zoals Benjamini-Hochberg), omdat het geen vaste familie van geldige p-waarden of uitwisselbare knockoffs veronderstelt. In plaats daarvan biedt het een empirisch scherm om kandidaten te filteren voordat een definitieve holdout-check plaatsvindt. Het artikel concludeert dat kandidaten uit elke bron (domeinkennis, slice-mining, LLM's) pas audit-bevindingen worden wanneer ze de decoys verslaan en repliceren op verse data.