Technische Samenvatting: LLM-uitlegbaarheid met Counterfactual Chains en Causale Grafen

Probleemstelling

Large Language Models (LLM's) vertonen brede capaciteiten, maar hun inferentiemechanismen blijven opaak. Beslissingsfactoren zijn niet observeerbaar en gegenereerde verklaringen missen vaak getrouwheid (faithfulness), wat risico's met zich meebrengt in kritieke domeinen zoals de geneeskunde en de juridische sector. Hoewel bestaande interpreteerbaarheidsmethoden (bijv. aandacht-analyse, feature attributie) correlationele inzichten bieden, falen ze in het leveren van het causale bewijs dat vereist is voor getrouwe verklaringen. Bovendien richt mechanistische interpreteerbaarheid zich op laag-niveau componenten (neuronen, circuits) die vaak niet overeenkomen met de hoog-niveau concepten die belanghebbenden willen begrijpen.

Huidige causale benaderingen in LLM's modelleren doorgaans reële structuren (bijv. hoe het veranderen van het geslacht van een auteur de voorspelling beïnvloedt) of gaan uit van een vaste causale graaf (concepten $\to$ tekst $\to$ voorspelling). Er is een kritieke kloof in methoden die de LLM-inferentie causale graaf zelf kunnen herstellen: een structuur die in kaart brengt hoe een specifieke model menselijk interpreteerbare concepten organiseert om inputtekst te reduceren tot een voorspelling (tekst $\to$ concepten $\to$ voorspelling). Een belangrijke bottleneck in dit herstelproces is de datadekking; betrouwbare causale ontdekking vereist een dichte bemonstering van conceptcombinaties, wat in de echte wereld vaak onmogofelijk of onethisch is.

Methodologie

De auteurs stellen een volledig geautomatiseerde, modelgestuurde vierfasen-pipeline voor om concept-niveau causale grafen te construeren voor classificatietaken. De methode gebruikt de doel-LLM zelf om concepten te extraheren, data te representeren en de counterfactuals (tegenfeitelijke scenario's) te generen die nodig zijn voor robuuste causale ontdekking.

1. Labelvoorspelling

De grondwaarheid-labels in de dataset worden vervangen door de eigen voorspellingen ($\hat{y}$) van de doel-LLM. Dit zorgt ervoor dat de resulterende graaf de interne redenering van het model reflecteert in plaats van de grondwaarheid van de dataset.

2. Discriminatieve Conceptontdekking en Annotatie

Het framework identificeert iteratief een set menselijk interpreteerbare concepten ($C$) die onderscheid maken tussen de voorspelde klassen.

• Extractie: De LLM stelt kandidaat-concepten voor op basis van batches tekst en voorspelde labels.
• Filtering: Concepten worden alleen behouden als ze zowel relevant (aanwezig in de tekst) als discriminatief (uitgelijnd met een strikte deelverzameling van klassen, niet met alle of geen van de klassen) zijn.
• Annotatie: Elke inputtekst wordt in kaart gebracht naar een conceptvector $\phi(x)$, waarbij elke concept $c_i$ een categorische waarde krijgt die de subset van klassen vertegenwoordigt die het model hiermee associeert.

3. MCMC-geïnspireerde Data-expansie

Om de schaarste aan observationele data in de latente conceptruimte aan te pakken, introduceren de auteurs een procedure voor counterfactual augmentatie geïnspireerd door Markov Chain Monte Carlo (MCMC).

• Proces: Vertrekkend vanuit een originele tekst, stelt het algoritme iteratief tekstuele perturbaties voor om de uitlijning van specifieke concepten te verschuiven naar of weg van doelklassen.
• Acceptatiecriteria: Een voorgestelde counterfactual wordt alleen geaccepteerd als deze de beoogde conceptuele verschuiving bereikt (target alignment) en onbedoelde veranderingen aan niet-doelconcepten minimaliseert (minimale bijwerkingen).
• Verfijning: Mislukte voorstellen ondergaan recursieve verfijning, waarbij de LLM wordt geprompt om specifieke schendingen te corrigeren.
• Resultaat: Dit genereert een dichtere dataset ($D_{mcmc}$) die diverse combinaties van concepttoestanden dekt, wat stabiele causale ontdekking mogelijk maakt.

4. Causale Ontdekking via $\sigma$-CG

De uitgebreide, geannoteerde dataset wordt ingevoerd in het $\sigma$-CG algoritme, een methode voor causale ontdekking die in staat is om discrete variabelen en potentieel cyclische structuren te verwerken. De resulterende gerichte graaf $G$ legt de causale stroom vast van de inputtekst, via door de LLM waargenomen concepten, naar de uiteindelijke voorspelling, met beperkingen die garanderen dat tekst een wortel is en de voorspelling een sink (put).

Belangrijkste Bijdragen

1. Causaal Paradigma voor Globale Uitlegbaarheid: Het artikel introduceert een framework dat LLM-redenering in kaart brengt via causale grafen over menselijk interpreteerbare concepten, waarmee het verder gaat dan lokale, op input gecentreerde verklaringen naar een globaal verslag van het inferentiemechanisme.
2. MCMC-geïnspireerde Data-augmentatie: Een nieuw algoritme dat counterfactuals genereert om de latente conceptruimte dicht te bevolken, waarmee de bottleneck van datadekendheid die inherent is aan causale ontdekking voor black-box modellen wordt overwonnen.
3. Evaluatieprotocol: Een rigoureus protocol voor het beoordelen van structurele stabiliteit en predictieve getrouwheid in afwezigheid van grondwaarheid-redeneer-grafen, waarbij wordt aangetoond dat ontdekte causale ouders superieure voorspellers zijn van knopen vergeleken met alternatieve concept-subsets.

Resultaten

Het framework werd geëvalueerd op drie LLM's (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) over drie taken: Ziekte-diagnose (synthetisch), Sentimentanalyse (IMDB) en LLM-als-rechter (Reddit).

• Predictieve Getrouwheid: In alle settings presteerden de causale ouder-sets beter dan willekeurige concept-subsets bij het voorspellen van zowel het uiteindelijke label als de tussenliggende concepttoestanden. In de meeste gevallen behoorden de op de graaf gebaseerde ouders tot de top 3 voorspellers, wat bevestigt dat de ontdekte structuren betekenisvolle afhankelijkheden vastleggen.
• Model-specifieke Redenering: Op synthetische taken convergeerden verschillende modellen naar vergelijkbare verklarende concepten (het herstellen van grondwaarheid-variabelen). Echter, op natuurlijke data ontwikkelden modellen verschillende latente heuristieken en causale topologieën, wat benadrukt dat modelselectie niet alleen begrip van prestaties vereist, maar ook van redeneer-alignment.
• Convergentie en Stabiliteit: De MCMC-expansie vertoonde distributionele convergentie, waarbij de Kullback-Leibler (KL) divergentie stabiliseerde naarmate de ketens de theoretische ondergrens van perfecte overlap naderden. Structurele stabiliteit werd bevestigd doordat de Hamming-afstand tussen opeenvolgende graaf-topologieën naar nul daalde.
• Impact van Augmentatie: Counterfactual expansie verbeterde de predictieve nauwkeurigheid aanzienlijk ten opzichte van de originele data alleen, wat het belang van de augmentatiefase voor robuuste causale ontdekking bewijst.

Betekenis en Claims

Dit artikel positioneert dit werk als een fundamentele stap richting "concept-niveau uitlegbaarheid" voor LLM's. Door het inferentieproces te modelleren als een causale graaf over menselijk interpreteerbare concepten, stellen de auteurs dat deze representatie een toegankelijkere en actievere vorm van interpreteerbaarheid biedt voor zowel ontwikkelaars als domeinexperts.

De auteurs claimen bescheiden dat dit werk een fundament legt voor een nieuwe generatie proces-georiënteerde uitlegbaarheidsmethoden. Ze benadrukken dat hun aanpak de specifieke uitdaging van data-schaarste in latente ruimtes aanpakt via hun MCMC-geïnspireerde expansie, wat de herwinning van globale causale structuren mogelijk maakt die voorheen ontoegankelijk waren. Het werk claimt niet alle problemen van interpreteerbaarheid op te lossen, maar vestigt een levensvatbare pipeline voor het ontdekken van hoe modellen concepten organiseren om beslissingen te nemen, waarbij onderscheid wordt gemaakt tussen modellen die mogelijk vergelijkbaar presteren maar verschillend redeneren.