ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs

Titel: ICE: Interventie-Consistente Verklaringsevaluatie met Statistische Onderbouwing voor LLM's

Auteurs: Abhinaba Basu en Pavan Chakraborty (IIITA & NIELIT)
Publicatiedatum: Maart 2026 (arXiv)

1. Het Probleem

Het evalueren van de trouw (faithfulness) van verklaringen (zoals attention-maps of gradient-based attributies) van Large Language Models (LLMs) blijft een open probleem. Bestaande benchmarks, zoals ERASER, hebben drie fundamentele tekortkomingen:

1. Gebrek aan statistische toetsing: Ze rapporteren ruwe scores (bijv. "sufficiency" van 0,62) zonder te bepalen of dit significant beter is dan toeval.
2. Enkele interventie-operator: Ze gebruiken meestal slechts één methode om tokens te verwijderen (deletie). Dit creëert vaak "out-of-distribution" (OOD) invoer die de voorspelling van het model verstoort, ongeacht of de verwijderde tokens belangrijk waren. Dit kan de trouw kunstmatig inflateren of deflateren.
3. Onvermogen om "anti-trouw" te detecteren: Zonder willekeurige baselines kunnen bestaande methoden niet detecteren of een verklaring slechter presteert dan willekeurig geselecteerde tokens (anti-trouw).

Het paper stelt dat trouw geen enkel getal is, maar een operator-afhankelijke eigenschap die afhankelijk is van de gekozen interventiemethode en de tekstlengte.

2. Methodologie: Het ICE Framework

Het auteurs introduceren ICE (Intervention-Consistent Explanation), een framework dat verklaringen statistisch onderbouwd vergelijkt met gematchte willekeurige baselines.

Kerncomponenten:

• Normalised Score Retention (NSR): Een metriek die meet hoeveel van de oorspronkelijke voorspelling behouden blijft wanneer alleen de door de verklaring geïdentificeerde tokens (de "rationale") worden bewaard.
  $$NSR(r) = \frac{s(x_r^o) - s(\emptyset)}{s(x) - s(\emptyset)}$$
  Waarbij $s(x)$ de score is op de originele invoer, $s(x_r^o)$ de score met alleen rationale tokens onder operator $o$, en $s(\emptyset)$ de baseline score.

• Randomisatietests (Permutatietests): In plaats van een enkele score te nemen, vergelijkt ICE de NSR van de echte rationale met die van $M$ willekeurig geselecteerde token-sets van dezelfde lengte.

  • Win Rate: Het percentage keren dat de echte rationale een hogere NSR scoort dan de willekeurige baselines.
  • Effect Size (Cohen's d): Om de grootte van het effect te kwantificeren.
  • Betrouwbaarheidsintervallen: 95% bootstrap CIs voor onzekerheidskwantificering.

• Meerdere Interventie-Operators: ICE gebruikt meerdere interventiemethoden om OOD-artefacten te mitigeren en bias te detecteren:

  1. Deletie: Verwijdert niet-rationale tokens (snel, maar creëert onnatuurlijke, ingekorte tekst).
  2. Retrieval Infill: Vervangt niet-rationale tokens door contigu spans uit andere voorbeelden (behoudt de oppervlakte-vorm en tekstlengte, maar vernietigt de taak-relevante inhoud). Dit is cruciaal voor lange teksten waar deletie de context te sterk verstoort.

• Statistische Validatie: Toepassing van Benjamini-Hochberg FDR-correctie voor meervoudige toetsing.

3. Belangrijkste Bijdragen

1. Operator-afhankelijke trouw: Het paper demonstreert dat de keuze van de interventie-operator de conclusies fundamenteel verandert. De kloof tussen operators kan oplopen tot 44 procentpunten. De richting van deze kloof hangt af van de tekstlengte (deletie inflatert scores op korte teksten, terwijl retrieval infill beter presteert op lange teksten).
2. Statistische Onderbouwing: Door willekeurige baselines te gebruiken, kan ICE onderscheid maken tussen echte trouw en toeval, en anti-trouw detecteren (waarbij een verklaring slechter presteert dan willekeur). Dit bleek in bijna een derde van de geëvalueerde configuraties het geval.
3. Cross-linguale en Cross-architectuur Generalisatie: De bevindingen generaliseren over 6 niet-Engelse talen (Frans, Duits, Hindi, Chinees, Turks, Arabisch) en diverse modelarchitecturen, waarbij complexe interacties tussen model en taal worden blootgelegd die niet alleen door tokenisatie verklaard kunnen worden.

4. Resultaten

De evaluatie omvatte 7 LLMs (1.5B tot 8B parameters) op 4 Engelse taken en 6 niet-Engelse talen, met twee attributiemethoden (Attention en Gradient).

• Operator-effecten:

  • Op korte teksten (bijv. SST-2) levert de deletie-operator vaak hogere win-rates op dan retrieval infill.
  • Op lange teksten (bijv. IMDB) keert dit patroon zich om: retrieval infill geeft vaak hogere en betrouwbaardere scores, omdat deletie van een groot deel van een lange review de invoer te sterk degradeert.
  • Wanneer operators het eens zijn (bijv. beide tonen hoge win-rates), is het bewijs voor echte trouw sterk. Bij onenigheid quantificeert de kloof de methodologische onzekerheid.

• Anti-trouw:

  • In ongeveer 33% van de configuraties (vooral bij gradient-based methoden op korte teksten) presteerde de verklaring slechter dan willekeurige tokens.
  • Voorbeeld: Gradient-attributie selecteerde vaak functiewoorden aan het begin van de zin ("a", "the") in plaats van sentimentdragers, wat leidde tot een win-rate van <50%.

• Trouw vs. Plausibiliteit:

  • Er is geen correlatie ($|r| < 0.04$) tussen ICE-trouw (computational faithfulness) en menselijke plausibiliteit (hoe goed de rationale overeenkomt met menselijke redenering). Dit bevestigt dat deze twee concepten orthogonaal zijn en onafhankelijk moeten worden geëvalueerd.

• Multilinguale bevindingen:

  • Tokenisatie verklaart de verschillen niet volledig. Bijvoorbeeld, GPT-2 presteerde verrassend goed op Hindi ondanks een hoge token-expansie, terwijl Llama 3.1 op Chinees en Hindi anti-trouw vertoonde onder retrieval infill.
  • Model-taal interacties zijn complex en afhankelijk van morfologische structuur en operator-gevoeligheid.

5. Betekenis en Conclusie

Het paper concludeert dat trouw-evaluatie niet kan worden gereduceerd tot een enkele benchmark-score.

• Vergelijkende interpretatie: Trouw moet worden geïnterpreteerd als een operator-afhankelijke grootheid. Practici moeten meerdere interventies gebruiken; wanneer deze overeenkomen, is het bewijs robuust.
• Noodzaak van randomisatie: Zonder willekeurige baselines is het onmogelijk om te onderscheiden tussen een goede verklaring en een die per ongeluk werkt, of zelfs een die actief misleidt (anti-trouw).
• ICEBench: De auteurs hebben het ICE-framework en de bijbehorende benchmark (ICEBench) open source gemaakt om reproduceerbaarheid te garanderen.

Beperkingen:

• De randomisatietests verhogen de rekentijd aanzienlijk (ongeveer 50x ten opzichte van single-point metrics).
• Het framework evalueert gedragsmatige trouw (correlatie met voorspelling) en niet mechanistische trouw (interne representaties).
• Retrieval infill kan soms taak-relevante signalen behouden, wat de trouw onderschat, hoewel dit afhankelijk is van de taal en het model.

Samenvattend biedt ICE een rigoureuze, statistisch onderbouwde manier om de betrouwbaarheid van LLM-verklaringen te testen, waarbij het de valkuilen van eerdere benchmarks omzeilt en nieuwe inzichten biedt in de complexiteit van explainability in meertalige contexten.