All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models

Probleemstelling

Het artikel behandelt de hardnekkige nauwkeurigheid–uitlegbaarheids-trade-off in Explainable AI (XAI). De gangbare opvatting is dat het verbeteren van de interpreteerbaarheid van een model (bijv. door gebruik te maken van intrinsiek interpreteerbare modellen) ten koste gaat van de voorspellende prestaties, terwijl hoogpresterende black-box modellen post-hoc verklaringen vereisen die vaak losstaan van het eigenlijke besluitvormingsproces.

De auteurs stellen dat deze trade-off niet fundamenteel is, maar een artefact van het behandelen van verklaring en voorspelling als afzonderlijke doelstellingen. Ze identificeren drie specifieke beperkingen in bestaande XAI-methoden die een gekoppte aanpak verhinderen:

1. Distributionele Fragiliteit: Geen enkele verklaringmethode blijft geldig onder distributieverschuivingen. Elke vereenvoudiging van een complex model zal onvermijdelijk falen op bepaalde inputs, en een kleine verschuiving naar deze foutregio's legt dit falen bloot (Theorema 1).
2. Inadequate Representatie: Scalaire attributies (bijv. SHAP, LIME) kunnen niet effectief niet-lineaire, conditionele of multivariate relaties vastleggen, die gebruikelijk zijn in real-world data.
3. Ontkoppeling: De meeste XAI-methoden opereren onafhankelijk van het voorspellingsmodel. Verklaringen die niet bijdragen aan de voorspellingsprestaties kunnen niet worden geverifieerd op het onthullen van ware datapatronen, waardoor ze potentieel slechts "verhalen" zijn die de geobserveerde data beschrijven.

Methodologie: RashomonLLM

Om deze beperkingen te overwinnen, stellen de auteurs het Rashomon Explanation paradigma voor en een specifieke implementatie genaamd RashomonLLM.

1. Het Rashomon Explanation Paradigma
In plaats van te zoeken naar één enkele "ware" verklaring, definiëren de auteurs een Rashomon Explanation Set: een collectie verklaringen die zowel getrouw (dicht bij de grondwaarheid van de kenmerk-uitkomstrelaties) als nuttig (in staat om een bijna optimale voorspellingsmodellen te sturen) zijn. De uiteindelijke verklaring is een aggregatie van deze set, waarbij gebruik wordt gemaakt van "collectieve intelligentie" om robuuste resultaten te produceren.

2. De Explanation–Prediction–Reflection (EPR) Agentic Workflow
RashomonLLM maakt gebruik van Large Language Models (LLMs) binnen een iteratief agentic framework bestaande uit drie agenten:

• Explanation Agent: Genereert natuurlijke taalverklaringen op basis van geobserveerde uitkomsten. Om diversiteit te waarborgen en overfitting op een enkel patroon te voorkomen, hanteert deze methode LLM Feature Dropout, waarbij in elke iteratie willekeurig 20% van de inputkenmerken wordt gemaskeerd om het model te dwingen verschillende subset-kenmerken te verkennen.
• Prediction Agent: Gebruikt de gegenereerde verklaringen als context om uitkomsten te voorspellen. De verklaringen dienen als instructies voor de LLM om over de data te redeneren.
• Reflection Agent: Analyseert voorspellingsfouten gemaakt door de Prediction Agent. Het identificeert welke regels in de huidige verklaring de fouten hebben veroorzaakt en herschrijft de verklaring-prompt om deze specifieke fouten te corrigeren zonder werkende regels weg te gooien.

Deze lus gaat door totdat de voorspellingsfout stabiliseert, wat double-loop learning implementeert (het herzien van het framework zelf) en complementariteit (het gezamenlijk optimaliseren van verklaring en voorspelling).

3. Schaalbaarheid: Batch LLM Learning
Om industriële datasets aan te kunnen die het contextvenster van een LLM overschrijden, introduceren de auteurs Batch LLM Learning. De trainingsdata wordt gesegmenteerd in batches die sequentieel worden verwerkt. Een "Data Monitor"-mechanisme behoudt sentinel-rijen van vorige batches om ervoor te zorgen dat de LLM consistent blijft en geen eerdere data vergeet naarmate de context groeit.

Belangrijkste Bijdragen

• Theoretisch:
  • Theorema 1: Bewijst dat elke enkele verklaring gevoelig is voor distributieverschuivingen en zal falen op een adversariële set.
  • Theorema 2: Stelt vast dat het excessieve risico van een verklaring-gestuurd model begrensd wordt door de getrouwheid (fidelity) van de verklaring; hogere getrouwheid leidt tot betere voorspellende prestaties.
  • Theorema 3: Bewijst het bestaan van een niet-lege Rashomon Explanation Set onder specifieke aannames.
  • Theorema 4: Demonstreert dat de EPR-workflow geometrisch convergeert en met variërende configuraties (templates en dropout), de volledige Rashomon Explanation Set kan herstellen.
• Methodologisch:
  • Introduceert het RashomonLLM framework, de eerste methode die de generatie van verklaringen koppelt aan de verbetering van voorspellingen via een iteratieve agentic loop.
  • Stelt LLM Feature Dropout en Batch LLM Learning voor als nieuwe technieken om de verklaring-set te verkennen en te schalen naar grote hoeveelheden data.
• Empirisch:
  • Valideert de aanpak op twee Kaggle-benchmarks (Bank Churn classificatie, HCT Survival regressie) en een grootschalige industriële Click-Through Rate (CTR) voorspellingstaak met behulp van Kuaishou's live-streaming logs.

Experimentele Resultaten

Het artikel rapporteert significante prestatiewinsten over alle datasets:

• Voorspellingsnauwkeurigheid: RashomonLLM presteerde beter dan state-of-the-art baselines, inclusief gespecialiseerde deep learning modellen (TabTransformer, DCNv2), winnende Kaggle-oplossingen en sterke klassieke modellen (Gradient-Boosted Trees). In de industriële CTR-taak bereikte het een nauwkeurigheid van 0.771, waarmee het de beste baseline (DCNv2 op 0.761) versloeg.
• Kwaliteit van de Verklaring: De methode produceerde verklaringen met aanzienlijk hogere getrouwheid (gemeten door Single Deletion en Randomization Check metrieken) vergeleken met post-hoc LLM explainers en sparse decision trees.
• Ablatie-studies:
  • Het verwijderen van de Reflection agent of de Iteration loop veroorzaakte aanzienlijke dalingen in zowel nauwkeurigheid als verklaringskwaliteit, wat de noodzaak van het gekoppelde EPR-proces bevestigt.
  • Het gebruik van een "placebo"-verklaring (willekeurige tekst) resulteerde in slechte prestaties, wat bewijst dat de winst voortkomt uit verklaringgetrouwheid, en niet louter uit het toevoegen van tekst.
  • De prestatiewinsten waren robuust over verschillende LLM-backbones (Llama-3, Qwen3), temperaturen en feature-orderingen.
• Industriële Implementatie: In de KuaiLive-applicatie vertaalde de nauwkeurigheidswinst van het model zich in een geschatte economische winst van ~$0.02 per 1.000 voorspellingen, wat de serveringskosten overtreft.

Betekenis en Claims

Het artikel beweert het begrip van de relatie tussen uitlegbaarheid en nauwkeurigheid fundamenteel te veranderen:

1. Complementariteit, Geen Trade-off: De auteurs demonstreren dat het uitrusten van een model om zichzelf uit te leggen de voorspellende nauwkeurigheid verbetert. Verklaring en voorspelling blijken complementair te zijn in plaats van substituten.
2. Pluraliteit boven Singulariteit: Door het "Rashomon"-concept (meerdere geldige verklaringen) te omarmen, bereikt het systeem een robuustheid tegen distributieverschuivingen die single-explanation methoden niet kunnen weerstaan.
3. Actiegericht Vertrouwen: Het framework genereert natuurlijke taal-rationales die direct consumeerbaar zijn door niet-technische belanghebbenden (bijv. productmanagers, toezichthouders), waardoor de kloof tussen black-box prestaties en organisatorische verantwoording wordt overbrugd.
4. Randvoorwaarden: De auteurs merken bescheiden op dat de methode is ontworpen voor gestructureerde, tabelvormige data met semantisch betekenisvolle kenmerken. Ze geven expliciet aan dat ze niet beweren de ware causale mechanismen (Niveau 4 verklaringen) te herstellen, maar eerder populatie-niveau structuren (Niveau 3) die getrouw zijn aan de datadistributie.

Concluderend stellen de auteurs dat door de verklaring en voorspelling op de juiste wijze te koppelen via een iteratief, multi-agent workflow, organisaties tegelijkertijd hun zakelijke prestaties kunnen verbeteren en de basis kunnen leggen voor consumentenvertrouwen.