Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd op diverse NLP-taken, maar hun interne werking blijft een "black box". Deze gebrek aan transparantie vormt een risico voor betrouwbaarheid en veilige implementatie, vooral in kritieke domeinen zoals gezondheidszorg en recht.

Bestaand onderzoek naar explainable AI (XAI) focust voornamelijk op post-hoc methoden. Deze analyseren een getraind model met externe hulpmiddelen (zoals LIME, SHAP of causale interventies) om een verklaring te geven. De beperkingen hiervan zijn:

1. Fideliteitskloof: De verklaring is een benadering en komt niet exact overeen met de werkelijke berekening van het model.
2. Schaalbaarheid: Causale post-hoc methoden zijn vaak te fijnmazig om tot coherente, hoog-niveau verklaringen te komen.
3. Afhankelijkheid: Ze vertrouwen op surrogate-modellen in plaats van de native berekening van het model.

In tegenstelling hieraan biedt intrinsieke interpreteerbaarheid een alternatief door transparantie direct in de modelarchitectuur en het trainingsproces in te bouwen. Het doel is dat de uitleg onlosmakelijk verbonden is met de berekening zelf, zonder externe approximaties. Een historisch probleem was echter dat transparante modellen vaak te weinig expressieve kracht hadden voor complexe taalopgaven. Dit artikel onderzoekt hoe moderne methoden dit compromis overbruggen.

Methodologie en Taxonomie

De auteurs presenteren een systematische review van recente vooruitgang in intrinsieke interpreteerbaarheid. Ze classificeren bestaande benaderingen in vijf kernontwerpprincipes die de basis vormen voor transparante architecturen:

1. Functionele Transparantie (Functional Transparency):

   • Principe: Architecturen waarbij de berekening zowel structureel expliciet als semantisch betekenisvol is. De "waar" (structuur) en "wat" (operaties) van de berekening zijn direct inspecteerbaar.
   • Voorbeelden:
     • Generalized Additive Models (GAMs) & Neural Additive Models: Vervangen lineaire combinaties door sommen van gladde functies per feature.
     • Self-Explaining Neural Networks (SENN): Voorspellingen gebaseerd op een expliciete combinatie van interpreteerbare concepten en relevantiescores.
     • B-cos Networks: Vervangen standaard lineaire transformaties door transformaties die de uitlijning tussen gewichten en input bevorderen.
     • Kolmogorov-Arnold Networks (KANs): Lerenbare univariate functies op de randen van het netwerk in plaats van vaste activeringen, wat symbolische regressie mogelijk maakt.

2. Concept-uitlijning (Concept Alignment):

   • Principe: Latente variabelen worden direct gekoppeld aan menselijk begrijpbare concepten om polysemie (één eenheid die meerdere features encodeert) te verminderen.
   • Voorbeelden:
     • Concept Bottleneck Models (CBM): Een strakke "bottleneck" waar voorspellingen uitsluitend gebaseerd zijn op voorspelde concepten.
     • Hybrid CBMs: Voegen een zijkanaal toe voor niet-gecontroleerde latente embeddings om prestatieverlies te minimaliseren terwijl het concept-bottleneck behouden blijft.
     • Concept Embedding Models (CEM): Representeren concepten als hoge-dimensionale vectoren in plaats van scalaren om nuance (zoals polysemie) vast te houden.
     • Unsupervised Discrete Bottlenecks: Gebruik van vector-quantization om discrete, interpreteerbare features te laten ontstaan zonder handmatige annotatie.

3. Representatieve Decomposeerbaarheid (Representational Decomposability):

   • Principe: De geometrie van de latente ruimte wordt gestructureerd zodat verschillende semantische factoren in orthogonale subruimtes worden gescheiden, zodat ze onafhankelijk kunnen worden gemanipuleerd.
   • Voorbeelden:
     • Backpack Language Models (BLM): Decomponeren voorspellingen in interpreteerbare "sense vectors" per woord, waarbij de zelf-attentie mechanismen niet-negatieve gewichten gebruiken voor additieve combinaties.
     • CoCoMix: Integreert Sparse Autoencoders (SAE) in pre-training om continue concept-representaties te voorspellen naast token-probabiliteiten.

4. Expliciete Modularisatie (Explicit Modularization):

   • Principe: Berekening wordt opgedeeld in distincte, onafhankelijk werkende modules, vaak gerealiseerd via een routeringsmechanisme.
   • Voorbeelden:
     • Mixture-of-Experts (MoE) varianten: In plaats van alleen schaalbaarheid te maximaliseren, worden experts ontworpen voor semantische transparantie.
     • Strategieën omvatten: Intra-expert sparsiteit (vereenvoudigde expert-architecturen), Fine-grained decompositie (duizenden experts voor specifieke features), en Semantisch uitgelijnde routing (experts gekoppeld aan specifieke taken of taalfamilies).

5. Latente Sparsiteitsinductie (Latent Sparsity Induction):

   • Principe: In plaats van een handgemaakte modulaire structuur, wordt modulaire structuur "opgewekt" binnen standaard netwerken door selectieve activatie te bevorderen en superpositie te verminderen.
   • Voorbeelden:
     • Weight Sparsity: Trainen met strenge sparsiteitsbeperkingen (bijv. L0 regularisatie) om polysemische verbindingen te verminderen.
     • Gated Architectures: Gebruik van GLU/SwiGLU lagen die conditionele berekening toelaten, waardoor informatie selectief door verschillende subruimtes wordt gerouteerd.

Belangrijkste Bijdragen

1. Conceptuele Distinctie: Het artikel maakt een duidelijke scheiding tussen post-hoc uitleg (externe analyse) en intrinsieke interpreteerbaarheid (inherent ontwerp), met name op het vlak van causaliteit en fideliteit.
2. Gestructureerde Taxonomie: De auteurs introduceren een unificerend raamwerk met de vijf bovengenoemde ontwerpprincipes, wat de versnipperde literatuur op dit gebied ordenbaar maakt.
3. Synthese van Vooruitgang: Het document analyseert hoe moderne methoden de historische trade-off tussen transparantie en prestatie overbruggen, van stijve lineaire modellen (GAMs) naar schaalbare, datagedreven sparsere architecturen.
4. Toekomstrichtingen: Het identificeert kritieke uitdagingen en biedt een roadmap voor toekomstig onderzoek.

Resultaten en Status van het Veld

Hoewel de survey geen nieuw experimenteel resultaat presenteert, concludeert het dat:

• Intrinsieke interpreteerbaarheid en hoge prestaties niet langer wederzijds uitsluitend zijn.
• Er een duidelijke evolutie is gaande van rigide, mens-gedefinieerde structuren (zoals GAMs) naar flexibele, datagedreven architecturen (zoals gespecialiseerde MoE's en sparsely trained Transformers).
• Bestaande methoden vaak een compromis moeten maken tussen expressiviteit, trainingskosten en interpretatiekwaliteit.

Significantie en Toekomstige Uitdagingen

De significantie van dit werk ligt in het bieden van een blauwdruk voor het bouwen van "glass-box" LLMs die betrouwbaar en veilig zijn. De auteurs benadrukken vijf kritieke uitdagingen voor de toekomst:

1. Definitie en Evaluatie: Er ontbreekt een robuust, breed geaccepteerd evaluatiemeta voor intrinsieke interpreteerbaarheid. Huidige metrics (zoals sparsiteit) garanderen niet semantische duidelijkheid.
2. Balans tussen Interpreteerbaarheid en Expressiviteit: Het is nog onduidelijk wanneer architecturale bias (zoals modulariteit) het leren verbetert of beperkt.
3. Schaalbaarheid: De meeste methoden zijn getest op kleine modellen. Het toepassen hiervan op modellen met miljarden parameters brengt uitdagingen met zich mee op het gebied van geheugen en optimalisatie.
4. Trainings-efficiëntie: Intrinsieke beperkingen maken optimalisatie vaak complexer en duurder. Efficiëntere trainingsstrategieën zijn nodig.
5. Complementariteit met Post-hoc Analyse: De auteurs pleiten voor een hybride aanpak waarbij post-hoc tools dienen als diagnostische instrumenten om intrinsieke modellen te valideren, en omgekeerd.

Kortom, dit survey positioneert intrinsieke interpreteerbaarheid als een essentieel pad naar veilige en betrouwbare AI-systemen, en biedt een gestructureerd kader voor onderzoekers om nieuwe transparante architecturen te ontwerpen.