Technische Samenvatting: Niet alle verklaringen simuleren even goed

Probleemstelling

Natuurlijke taalverklaringen voor Large Language Models (LLM's) worden vaak behandeld als een uniforme interface voor het begrijpen van modelgedrag. Deze verklaringen hebben echter uiteenlopende bronnen—variërend van input-feature attributies (het identificeren van belangrijke tokens of zinnen) tot zelfgegenereerde rationales (zoals post-hoc rechtvaardigingen of Chain-of-Thought redeneringen). Ondanks dat ze de term "verklaring" delen, verschillen deze objecten fundamenteel in bron, granulariteit, formaat en beoogd gebruik.

Eerdere evaluatieprotocollen beoordelen verklaringen vaak langs typespecifieke dimensies, zoals getrouwheid (faithfulness) aan het beslissingsproces, plausibiliteit voor menselijke lezers, of overeenstemming met menselijke rationales. Dit artikel betoogt dat deze typespecifieke metrieken het moeilijk maken om uiteenlopende verklaringsformaten op een gemeenschappelijke grond te vergelijken. De centrale uitdaging die wordt aangepakt is: Hoe kunnen we verschillende typen LLM-verklaringen systematisch vergelijken om te bepalen welke er werkelijk bijdragen aan het begrijpen en voorspellen van modelgedrag?

Methodologie

De auteurs stellen een uniform evaluatiekader voor gebaseerd op counterfactual simuleerbaarheid. In plaats van te vragen of een verklaring in isolatie plausibel is, vraagt dit kader of de verklaring helpt om een voorspeller nauwkeurig het gedrag van het model onder nieuwe, geperturbeerde inputs te laten anticiperen.

Experimentele Opzet

1. Taakformulering: De evaluatie wordt geformuleerd als een counterfactual simulatieprobleem. Gegeven een originele input $x = (c, q)$ (context en vraag) en een modelantwoord $y = M(x)$, wordt een counterfactual input $x_{cf} = (c, q_{cf})$ geconstrueerd met behoud van dezelfde context maar een gewijzigde vraag. Het doelmodel $M$ produceert een waar counterfactual antwoord $y_{cf}$.
2. Simulatieprotocol: Een LLM-rechter ($P$) fungeert als voorspeller om $y_{cf}$ te raden.
   • Fase 1 (Baseline): De voorspeller ziet $x$, $y$, en $x_{cf}$, maar geen verklaring.
   • Fase 2 (Verklaring): De voorspeller ziet dezelfde inputs plus een verklaring $e$ voor het originele antwoord $y$.
   • Metriek: Simuleerbaarheid wordt gemeten als de winst in nauwkeurigheid ($\Delta$) bij het voorspellen van $y_{cf}$ wanneer de verklaring wordt verstrekt: $\Delta = \text{Score}(2) - \text{Score}(1)$. Een positieve $\Delta$ geeft aan dat de verklaring het voorspellend begrip verbetert.
3. Vergeleken Verklaringstypen:
   • Verbaal geuite Feature Attributies: Gebruikmakend van het MExGen-framework identificeren de auteurs invloedrijke input-spans (zinnen of tokens) en zetten deze om in natuurlijke taal. Ze testen twee verbalisatiestrategieën:
     • Template-gebaseerd: Deterministische insertie van top-gerangschikte bewijslast in vaste templates (zinniveau, tokenniveau en hybride).
     • LLM-rewriter: Een LLM herschrijft de geselecteerde attributie-features naar vloeiende tekst zonder nieuwe informatie toe te voegen.
   • Zelfgegenereerde Rationales: Verklaringen gegenereerd door de doel-QA-modellen zelf via prompting:
     • Post-hoc: Het model geeft eerst antwoord, en geeft vervolgens een rechtvaardiging.
     • Chain-of-Thought (CoT): Het model redeneert stap voor stap voordat het antwoord geeft.
4. Modellen en Data: Experimenten werden uitgevoerd op de SQuAD 2.0 dataset met drie instructie-getunede doelmodellen (Llama-3-8B, Qwen2.5-7B, Mistral-7B) en GPT-5-mini als primaire rechter. Robuustheid werd gecontroleerd met DeepSeek-R1 en een teacher-student trainingsparadigma.

Belangrijkste Bijdragen

1. Uniform Evaluatiecriterium: Het artikel past counterfactual simuleerbaarheid toe als een enkele metriek om attributie-gebaseerde verklaringen en zelfgegenereerde rationales te vergelijken, wat een directe vergelijking mogelijk maakt tussen formaten die voorheen in isolatie werden geëvalueerd.
2. Gecontroleerde Vergelijking van Verbalisatie: De studie contrasteert template-gebaseerde verbalisaties met LLM-hergeschreven versies van dezelfde attributiegegevens, waardoor het effect van bewijs-granulariteit (zin versus token) wordt geïsoleerd van linguïstische vloeiendheid.
3. Granulariteit en Bronanalyse: Het werk analyseert systematisch hoe de bron van de verklaring, de verbalisatiestrategie en de feature-granulariteit de simuleerbaarheid beïnvloeden over meerdere modellen heen.

Resultaten

De studie levert verschillende duidelijke bevindingen op over wat een verklaring "nuttig" maakt voor simulatie:

• Granulariteit Is Cruciaal: Zinniveau-attributies bieden de sterkste winst in simuleerbaarheid onder de attributie-gebaseerde methoden. Token-niveau attributies (zelfs wanneer hoog gerangschikt) leveren vaak bijna nul of zelfs negatieve winsten op, wat sugggeert dat geïsoleerde woorden onvoldoende context bieden voor het voorspellen van modelgedrag. Hybride benaderingen (zin + tokens) presteren beter dan tokens alleen, maar slechter dan zuivere zinniveau-attributies.
• Vloeiendheid $\neq$ Nuttigheid: LLM-hergeschreven verklaringen zijn weliswaar vloeiender dan de template-gebaseerde versies, maar verbeteren de simuleerbaarheid niet significant. In sommige gevallen presteren ze zelfs slechter. Dit suggereert dat de informatieve inhoud (het geselecteerde bewijs) de simuleerbaarheid meer drijft dan de linguïstische vorm.
• Zelfgegenereerde Rationales Variëren: Er is een scherp contrast tussen post-hoc verklaringen en CoT-rationales. Post-hoc verklaringen bieden bescheiden verbeteringen, terwijl CoT-rationales de grootste winsten opleveren in counterfactual voorspelling over alle modellen en metrieken heen.
• Cross-Model Transfer: CoT-rationales bevatten aanzienlijke taakrelevante informatie die generaliseert over verschillende modellen (cross-model transfer), hoewel ze ook model-specifieke signalen coderen.
• Divergentie in Evaluatieparadigma: Terwijl CoT-rationales consistente positieve winsten laten zien in zowel de LLM-rechter als de teacher-student evaluaties, vertonen attributie-gebaseerde verklaringen een discrepantie. Ze presteren goed in de judge-gebaseerde (in-context) setting, maar laten zwakke of negatieve winsten zien in de teacher-student (training) setting, wat suggereert dat attributie-signalen nuttig zijn voor directe voorspelling, maar mogelijk niet gemakkelijk geïnternaliseerd kunnen worden als leerbare supervisie.

Betekenis en Claims

Het artikel claimt dat niet alle natuurlijke taalverklaringen dezelfde rol spelen bij het ondersteunen van het begrip van modelgedrag. De betekenis van deze bevindingen ligt in de verschuiving van de focus van "plausibiliteit" of "getrouwheid" in isolatie naar functionele bruikbaarheid: helpt een verklaring een gebruiker (of een geautomatiseerde agent) daadwerkelijk om te anticiperen hoe het model zal reageren op nieuwe inputs?

De auteurs concluderen dat:

1. Verklaringsformaat is cruciaal: Zinniveau-bewijs is superieur aan token-niveau bewijs voor simulatie.
2. De bron doet ertoe: CoT-rationales zijn momenteel de meest effectieve verklaringstypen voor het anticiperen van modelgedrag, waarbij ze zowel post-hoc rechtvaardigingen als verbale attributies overtreffen.
3. Evaluatie moet contextbewust zijn: Het nut van een verklaring hangt af van de vraag of deze wordt gebruikt voor directe in-context voorspelling (waar CoT en zinniveau-attributies excelleren) of voor het trainen van interne modellen (waar CoT robuust blijft, maar attributies mogelijk niet overdraagbaar zijn).

Uiteindelijk biedt het werk empirische richtlijieden voor het selecteren van verklaringsformaten in QA-settings, en waarschuwt het tegen de aanname dat alle natuurlijke taalverklaringen even effectief zijn voor simulatie.