Technische Samenvatting: UNMASK – Het ontdekken en causaal verifiëren van spuriaat korte routes in tekstclassificaties

Probleemstelling

Neurale taalmodellen die getraind zijn op grote door crowdsourcing verkregen corpora, behalen vaak een hoge benchmarknauwkeurigheid door het uitbuiten van spuriaat oppervlaktepatronen (shortcuts) die correleren met doel-labels, maar die geen ware linguïstische of causale relevantie hebben. Hoewel bestaande benaderingen vooruitgang hebben geboekt bij het identificeren van deze correlaties, lijden ze aan twee primaire beperkingen:

1. Menselijke afhankelijkheid: De meeste methoden vereisen handmatige specificatie van de feature-vocabulaire of vertrouwen op ondoorzichtige proxies voor groepsstructuur.
2. De kloof tussen correlatie en causaliteit: Bestaande automatische ontdekking stopt vaak bij statistische correlatie op datasetniveau, en faalt in het verifiëren of een specifiek getraind model deze kenmerken daadwerkelijk exploiteert. Een kenmerk kan statistisch gecorreleerd zijn met een label in de dataset (bijv. het woord "never" in contradictie-paren) zonder dat het model dit gebruikt voor voorspellingen.

Het artikel behandelt de fundamentele vraag: Hoe kunnen we spuriaat oppervlaktekenmerken identificeren zonder voorkennis, en hoe kunnen we verifiëren dat een getraind model er causaal van afhankelijk is?

Methodologie: De UNMASK-pipeline

UNMASK is een volledig geautomatiseerde pipeline die opereert zonder aanvullende menselijke annotatie. Het bestaat uit vier afzonderlijke stadia, die verenigd worden door het gebruik van uitvoerbare Booleaanse expressies als de representatie voor kandidaat-kenmerken.

1. Kandidaat-generatie (Ontdekking)

• Input: Ongelabelde trainingsvoorbeelden.
• Proces: Een Large Language Model (LLM), aangeduid als SCGENLLM, wordt geprompt om oppervlakte-patronen voor te stellen die consistent voorkomen in voorbeelden, maar die niet logisch noodzakelijk zijn voor de taak.
• Output: Voor elke kandidaat retourneert het LLM een natuurlijke taalbeschrijving en, cruciaal, een uitvoerbare Booleaanse expressie $b(x)$ die deterministisch evalueert naar TRUE/FALSE op elke invoertekst.
• Rationale: Het gebruik van Booleaanse expressies maakt deterministische evaluatie mogelijk in alle downstream-stadia, in tegen tegenstelling tot natuurlijke taalbeschrijvingen die ambigu zijn.

2. Statistische Validatie

Dit stadium filtert kandidaten om te waarborgen dat ze echte artefacten op datasetniveau vertegenwoordigen.

• Deduplicatie: Kandidaten worden gededupliceerd op basis van beschrijvingsgelijkenis en vervolgens op basis van hun gerealiseerde dekking (de set monsters die ze triggeren).
• Logische Validatie: Een EVALUATORLLM controleert de syntactische en semantische correctheid van de Booleaanse expressies. Onjuiste expressies worden iteratief herschreven.
• Tweefasige Replicatie:
  • Ontdekkingsfase: Kenmerken worden getest tegen labels met behulp van de Fisher's exact test op een ontdekkingsset. De False Discovery Rate (FDR) wordt gecontroleerd via Benjamini-Hochberg.
  • Validatiefase: Significante kenmerken worden opnieuw getest op een onafhankelijke validatieset.
  • Filters: Kenmerken worden uitgesloten als ze definitief zijn (coverage ceiling) of niet-voorspellend (precision floor).
• Output: Een set statistisch gevalideerde kenmerken ($F_{val}$).

3. Causale Verificatie

Dit stadium onderscheidt kenmerken die het model zou kunnen gebruiken van kenmerken waar het model daadwerkelijk op vertrouwt.

• Betrouwbaarheidsscreening: Voordat counterfactual-generatie plaatsvindt, screent de pipeline op "spuriaat vertrouwen" door te controleren of het model het geassocieerde label overvoorspelt wanneer het kenmerk aanwezig is maar het ware label daarmee in strijd is.
• Counterfactual Generatie: Voor overlevende kenmerken creëert een GENERATORLLM minimale wijzigingen ($x_{cf}$) die het oppervlaktepatroon verwijderen terwijl de semantische label behouden blijft. Een onafhankelijke EVALUATORLLM verifieert de wijziging.
• Effectmeting: De pipeline meet de verschuiving in de voorspelde waarschijnlijkheid van het model voor het spuriaat label ($\Delta p$) tussen de originele en de counterfactual inputs.
• Classificatie: Een kenmerk wordt geclassificeerd als causaal geëxploiteerd ($F_{causal}$) alleen als het verwijderen ervan de zekerheid van het model over het spuriaat label significant vermindert. Dit scheidt dataset-correlatie van model-exploitatie.

4. Model Debiasing

• Groepdefinitie: De gevalideerde Booleaanse expressies dienen als annotatie-vrije groepslabels. Voor elk kenmerk en label worden groepen gedefinieerd door het Cartesiaans product van de aanwezigheid/afwezigheid van het kenmerk en de klassenlabels.
• Mitigatie: Deze groepen worden gebruikt om gedebiaanseerde modellen te trainen met standaardtechnieken zoals Deep Feature Reweighting (DFR), Product-of-Experts (PoE), of SCER, zonder dat daarvoor handmatige demografische of bias-annotaties nodig zijn.

Belangrijkste Bijdragen

1. Volledig Geautomatiseerde Pipeline: UNMASK genereert, valideert en mitigeert spuriaat kenmerken met behulp van uitvoerbare Booleaanse expressies, waardoor de noodzaak voor menselijk gedefinieerde feature-vocabularia vervalt.
2. Causaal Verificatieprotocol: De pipeline introduceert een counterfactual verificatiestadium dat de scheiding vormt tussen dataset-correlatie en model-exploitatie. Het onthult dat hoge odds ratio's op datasetniveau geen garantie bieden voor model-betrouwbaarheid.
3. Annotatie-vrije Debiasing: Door de ontdekte Booleaanse expressies als groepslabels te gebruiken, bereikt UNMASK een prestatie die vergelijkbaar is met hand-gelabelde Deep Feature Reweighting (DFR) op de CivilComments-WILDS dataset, zonder gebruik van demografische annotaties.
4. Cross-Task Generalisatie: De ontdekkings- en validatiestadia generaliseren naar RewardBench2 preferentie-data, waarbij interpreteerbare biases (bijv. lengte, formattering, weigerings-taal) in reward-modellen aan het licht komen zonder taakspecifieke modificatie.

Experimentele Resultaten

Natural Language Inference (MNLI, HANS, etc.)

• Herontdekking: Op BERT en RoBERTa getraind op MNLI, herontdekte UNMASK onafhankelijk gevestigde biases, waaronder lexicale overlap en negatie-biases.
• Verificatiesnelheden: Het verifieerde 9 van de 10 kenmerken op BERT en 6 van de 10 op RoBERTa.
• Divergentie tussen Architecturen: De causale verificatie onthulde dat RoBERTa immuun is voor drie contradictie-klasse kenmerken die BERT wel exploiteert, een divergentie die onzichtbaar is voor correlatie-gebaseerde analyse.
• Prestaties: Op de HANS-benchmark (ontworpen om robuustheid tegen shortcuts te testen), verbeterde UNMASK-gebaseerde debiasing de BERT-nauwkeurigheid met wel 12,58 procentpunt (van 52,41% naar 64,99% met PoE-IPW-Group) terwijl de in-distributie prestaties behouden bleven.

CivilComments-WILDS (Toxiciteitsdetectie)

• Demografisch Herstel: De pipeline vond kenmerken die demografische identiteitstokens bevatten, waardoor 6 van de 8 canonieke identiteiten werden teruggevonden zonder toegang tot demografische labels.
• Worst-Group Accuracy (WGA): Met behulp van programmatische groepen afgeleid van UNMASK, bereikte DFR een WGA van 71,84% op BERT en 72,12% op RoBERTa. Dit komt overeen met de 70,1% WGA gerapporteerd in eerder werk (Kirichenko et al., 2023) dat vertrouwde op handmatige demografische annotaties.
• Baseline Vergelijking: UNMASK presteerde beter dan simpelere ontdekkingsbaselines (PMI statistieken en LLM-alleen kandidaten) met 3,65 pp in WGA, wat de waarde van compositionele Booleaanse expressies boven single-token statistieken aantoont.

Sentiment Analyse (SST-2, IMDB)

• Gatekeeping Rol: Als een gecontroleerde ablatie werd de pipeline toegepast op sentimenttaken waarbij oppervlaktewoorden het taaksignaal zijn, en geen spuriaat shortcut.
• Resultaat: Causale verificatie gaf correct nul geëxploiteerde kenmerken terug, wat bevestigt dat de pipeline fungeert als een beslissingspoort in plaats van een verfijningsinstrument dat debiasing afdwingt waar dat niet nodig is.

RewardBench2

• Toegepast op reward model preferentie-data, herstelde de pipeline bekende biases zoals lengte/formattering voorkeuren in afgewezen responsen en een hiërarchie van weigerings-taal in safety taken, wat de toepasbaarheid buiten classificatie aantoont.

Betekenis en Claims

Het artikel claimt dat UNMASK de kloof overbrugt tussen statistische artefacten op datasetniveau en model-niveau shortcut-exploitatie. De primaire betekenis ligt in:

• Auditbaarheid: Het "benoembaar, testbaar en verwijderbaar" maken van de shortcuts van een classifier door middel van deterministische Booleaanse expressies.
• Causale Rigor: Het leveren van bewijs dat niet alle gecorreleerde kenmerken worden geëxploiteerd, en dat modelarchitectuur (bijv. BERT vs. RoBERTa) aanzienlijk invloed heeft op welke shortcuts worden gebruikt.
• Praktische Bruikbaarheid: Het mogelijk maken van hoogwaardige debiasing op complexe taken zoals toxiciteitsdetectie zonder de hoge kosten van handmatige demografische annotatie, waarbij pariteit wordt bereikt met hand-gelabelde methoden.

De auteurs merken beperkingen op: de pipeline wordt begrensd door de expressiviteit van uitvoerbare Booleaanse expressies (het mist latente/semantische shortcuts) en het causale stadium is beperkt door het vermogen van de generator om minimale wijzigingen aan te brengen zonder andere eigenschappen van de input te veranderen.