Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition

Probleemstelling

Huidige evaluaties van Explainable AI (XAI) richten zich voornamelijk op instance-centric (per voorbeeld) interpretaties. Dit betekent dat men kijkt naar de uitleg voor één specifieke voorspelling, maar niet expliciet kwantificeert of deze uitleg consistent blijft voor invoer die tot dezelfde klasse behoort of kleine variaties van dezelfde invoer vertegenwoordigt.

In kritieke domeinen zoals gezondheidszorg en financiën is het niet voldoende dat een model alleen een uitleg geeft; deze uitleg moet stabiel en consistent zijn. Als een model voor gelijkaardige zinnen (bijvoorbeeld sentimentanalyse) totaal verschillende redeneringen geeft, ondermijnt dit het vertrouwen in het systeem. Bestaande methoden missen vaak een systematische manier om deze rationale stabiliteit te verifiëren, wat leidt tot het risico dat modellen in geïsoleerde gevallen interpreteerbaar lijken, maar in de praktijk onbetrouwbare redeneringen hanteren.

Methodologie

De auteurs stellen een nieuwe methode voor om de consistentie van modeluitleggen te kwantificeren, gebaseerd op de volgende pijlers:

1. Het ESS-metric (Explanation Stability Score):

   • De kern van de methode is het meten van de cosinus-ähnelijkheid (cosine similarity) tussen de SHAP-waarden (SHapley Additive exPlanations) van twee invoeritems die tot dezelfde labelklasse behoren.
   • De hypothese is dat gelijkaardige invoer (bijvoorbeeld zinnen met hetzelfde sentiment) ook gelijkaardige attributiepatronen (SHAP-waarden) moeten genereren.
   • De ESS wordt berekend als het gemiddelde van de cosinus-ähnelijkheid over alle paren van invoeritems met hetzelfde label. Een score dicht bij 1 duidt op perfecte consistentie, terwijl een lage score wijst op instabiliteit.

2. Experimenteel Opzet:

   • Modellen: Fine-tuned versies van BERT, RoBERTa en DistilBERT.
   • Datasets: SST-2 (Stanford Sentiment Treebank) en IMDB voor sentimentanalyse.
   • Ablatiestudie: Om de robuustheid te testen, worden invoeritems geparaphraseerd (met behulp van WordNet-synoniemen) terwijl het label behouden blijft. Dit simuleert kleine, betekenisloze variaties in de invoer.
   • Vergelijking: De ESS wordt vergeleken met standaard Fidelity-metrics (FID-k), die meten hoe sterk de voorspelling afneemt wanneer de belangrijkste features worden gemaskeerd.

3. Implementatie:

   • SHAP wordt gebruikt om de feature importance te berekenen.
   • De consistentie wordt getest op trainings- en testsets, zowel voor originele als geparafraseerde data.

Belangrijkste Bijdragen

1. Introductie van ESS: Een nieuwe metric om de consistentie van uitleggen over invoer met hetzelfde label te kwantificeren, wat een stap vooruit is ten opzichte van puur instance-gebaseerde evaluaties.
2. Uitgebreide Evaluatie: Een grondige analyse van de stabiliteit van populaire transformer-modellen (BERT, RoBERTa, DistilBERT) op sentimentdatasets, inclusief de impact van input-perturbaties (paraphrasing).
3. Detectie van Misalignement: Het aantonen dat de ESS-metric effectief misalignementen en inconsistente redeneringen kan detecteren die door standaard fidelity-metrics worden gemist.

Resultaten

De experimentele resultaten tonen de volgende inzichten:

• Algemene Stabiliteit: De ESS-waarden zijn over het algemeen laag (bijv. BERT op SST-2 testset: ~0.10), wat suggereert dat zelfs geavanceerde modellen moeite hebben om volledig consistente attributiepatronen te behouden voor gelijkaardige invoer.
• Impact van Paraphrasing: Het parafrazeren van invoer leidt tot een significante daling in de ESS (bijv. 11-14% daling voor BERT). Dit bevestigt dat modellen gevoelig zijn voor kleine variaties in de tekst, zelfs als het voorspelde label hetzelfde blijft. Een t-test bevestigt dat dit verschil statistisch significant is ($p < 0.05$).
• Modelvergelijking:
  • RoBERTa: Toont de hoogste ESS-waarden (hoogste consistentie), maar heeft zeer lage fidelity-scores, wat wijst op numerieke instabiliteit of een gebrek aan correlatie tussen SHAP-sommen en de daadwerkelijke output.
  • DistilBERT: Heeft de laagste ESS-waarden. De auteurs suggereren dat dit komt door het compacte ontwerp, wat leidt tot minder complexe feature-afhankelijkheden en dus minder variatie, maar niet per se tot betere interpretatie.
  • BERT: Biedt een goede balans tussen consistentie en fidelity, wat het een sterke kandidaat maakt voor taken die robuuste uitleggen vereisen.
• Sentimentverschillen: Er werd een verschil gevonden tussen positieve en negatieve sentimenten; negatieve sentimenten hadden vaak een hogere consistentie dan positieve, wat suggereert dat positieve voorspellingen minder stabiel worden onderbouwd door het model.

Betekenis en Conclusie

Dit werk benadrukt dat betrouwbaarheid in AI niet alleen gaat over het geven van een uitleg, maar over het geven van een consistent en stabiel verhaal voor gelijkaardige situaties.

• Vertrouwen: Mensen vertrouwen systemen alleen als ze logische consistentie zien. Inconsistentie in uitleggen creëert verwarring en ondermijnt het vertrouwen, zelfs als de voorspelling correct is.
• Nieuwe Evaluatiestandaard: De ESS-metric biedt een praktische manier om modellen te testen op "rationale stabiliteit" voordat ze in productie gaan, vooral in high-stakes domeinen.
• Toekomstperspectief: De auteurs pleiten voor het integreren van consistentie-verificatie direct in het trainingsproces van modellen, zodat AI-systemen niet alleen interpreteerbaar zijn, maar ook robuust en betrouwbaar in hun redenering.

Samenvattend biedt deze paper een cruciale stap in de evolutie van XAI: van het uitleggen van wat een model doet, naar het verifiëren van hoe en of het model consequent redeneert.