Technische Samenvatting: Schalen van inherent interpreteerbare taalmodellen

Probleemstelling

Huidige grote taalmodellen (LLM's) worden doorgaans getraind als opake systemen, waarbij interpreteerbaarheid wordt behandeld als een post-hoc "belasting" op capaciteit. De standaard workflows omvatten het trainen van een hoogwaardig model en vervolgens proberen het gedrag ervan te reverse-engineeren met behulp van probes, feature-attributies of sparse autoencoders. De auteurs stellen dat deze aanpak lijdt onder een fundamentele structurele beperking: het model is nooit getraind om de verklaring een geldige interface in zijn berekening te maken. Bijgevolg voldoen post-hoc methoden vaak niet aan de vereisten voor getrouwheid (de verklaring weerspiegelt de werkelijke redenering) en geldigheid (interventies zijn betekenisvol). Bovendien bestaat er een heersende aanname dat het beperken van modellen tot menselijk begrijpelijke structuren noodzakelijkerwijs de prestaties verslechtert, wat een afruil creëert tussen capaciteit en interpreteerbaarheid.

Methodologie

1. Het recept voor inherente interpreteerbaarheid

De auteurs stellen een trainingspipeline voor waarbij interpreteerbaarheid een beperking is die gelijktijdig met de taalmodellering-doelstelling wordt geoptimaliseerd, in plaats van een achteraf toegevoegde stap. Dit recept wijzigt de standaard trainingsfasen om te voldoen aan vijf formele condities voor inherente interpreteerbaarheid:

• Nativiteit: Geattribueerde variabelen moeten deel uitmaken van het computationele pad dat de output produceert.
• Overeenstemming: Attributiescores moeten het effect van interventies (bijv. maskeren of concept-sturing) voorspellen voordat deze worden toegepast.
• Geldigheid: Interventies moeten binnen de distributie liggen (het model moet de geperturbeerde staten tijdens de training hebben gezien).
• Interpretatie: Semantische beschrijvingen (kaarten) moeten de interne variabelen van het model accuraat representeren.
• Dekking: De interpreteerbare componenten moeten een significant deel van de voorspelling verklaren, waarbij de onverklaarde residu tot een minimum wordt beperkt.

2. Data: De Atlas-pipeline

Een grote hindernis was het gebrek aan een menselijk interpreteerbare conceptenbibliotheek op de schaal van moderne pre-training corpora. Om dit aan te pakken, bouwden de auteurs Atlas, een driefasige geautomatiseerde pipeline:

• Fase 1 (Tagging): Samplet 6,6 miljoen documenten, hakelt deze in stukken en gebruikt een LLM om hoog-recall, vrij vormgegeven tags te genereren.
• Fase 2 (Canonicalisering): Clusteren tags in een coherente bibliotheek van 33.732 menselijk begrijpelijke concepten, gelabeld en gededupliceerd.
• Fase 3 (Annotator): Traint een model om deze concepten toe te wijzen aan willekeurige tekstblokken over een corpus van 1,5 biljoen tokens.
  De resulterende bibliotheek dekt diverse domeinen (wetenschap, code, recht, etc.) en is gevalideerd om te waarborgen dat concepten menselijk betekenisvol zijn, en niet alleen LLM-vloeiend.

3. Architectuur: Steerling-8B

De auteurs implementeren dit recept met Steerling-8B, een Causal Diffusion taalmodel met een Additive Concept Bottleneck.

• Causal Diffusion: In tegenstelling tot standaard autoregressieve modellen gebruikt Steerling een gemaskeerde diffusie-doelstelling met block-causale aandacht. Dit maakt parallel denoising binnen blokken mogelijk, terwijl autoregressieve-stijl KV-caching over blokken heen behouden blijft voor efficiënte inferentie. Cruciaal is dat de masking-doelstelling het model traint op een "geen informatie" baseline ([MASK]), wat geldige input-attributie mogelijk maakt.
• Concept Module: Ingevoegd tussen de transformer-backbone en de taalmodellering-head, deconstrueert deze module de verborgen staat $h$ in drie additieve componenten:
  $$\bar{h} = \hat{k} + \hat{u} + \epsilon$$
  Waarbij $\hat{k}$ een gewogen som is van bekende concepten (uit de Atlas-bibliotheek), $\hat{u}$ een gewogen som is van onbekende concepten (geleerd tijdens training), en $\epsilon$ een residu-term is.
• Verliesfuncties: De trainingsdoelstelling combineert:
  • Taalmodellering Verlies: Voorspelt tokens op basis van de gedeconstrueerde staat $\bar{h}$.
  • Concept Verlies: Stemt de activaties van bekende concepten af met de grondwaarheid van chunk-niveau annotaties.
  • Reconstructie Verlies: Zorgt ervoor dat de onbekende head informatie vangt die niet verklaard wordt door bekende concepten.
  • Onafhankelijkheidsverlies: Stimuleert orthogonaliteit tussen bekende en onbekende representaties om redundantie te voorkomen.

4. Trainingsdynamiek

De auteurs maken gebruik van teacher forcing schedules voor zowel de bekende als de onbekende concept-heads. In een vroeg stadium van de training worden grondwaarheid concept-representaties geïnjecteerd om het leren te stabiliseren, waarna ze geleidelijk worden geanneald naar de eigen voorspellingen van het model. Dit voorkomt dat het model leunt op de residu-kanaal of spuriose correlaties leert voordat de concept-heads betrouwbaar zijn.

Belangrijkste Resultaten

1. Schalingswetten

De auteurs voerden IsoFLOP schaling-sweeps uit over drie ordes van grootte van rekenkracht (van 10M tot 8B parameters) op zowel autoregressieve als causale diffusie-backbones.

• Capaciteit: Het toevoegen van de concept-module introduceert een kleine, vaste per-backbone offset in de rekenoptimalisatie, in plaats van een groeiende straf. De irreducibele loss ($L_\infty$) neemt zelfs af voor de interpreteerbare varianten.
• Interpreteerbaarheid: Alle vier de interpreteerbaarheidsmetrieken (Concept Loss, Independence Loss, Contribution en Alignment) verbeteren met schaling. In tegen strijd met de aanname dat interpreteerbaarheid verslechtert bij grotere omvang, worden de modellen meer ontkoppeld en uitgelijnd met menselijke concepten naarmate ze schalen.
• Voorspelling: Kleine-schaal fits voorspelden de validatie-loss van de 8B Steerling-model nauwkeurig (binnen 0,11 nats) en begrensd de interpreteerbaarheidsmetrieken.

2. Prestaties van Steerling-8B

Steerling-8B werd voorgetraind op 1,2 biljoen tokens en mid-getraind op 150 miljard tokens.

• Concurrentievermogen: Ondanks de interpretatiebeperkingen bereikt Steerling-8B een prestatie binnen ongeveer 10% van open peer-modellen die op 2–16× meer rekenkracht zijn getraind.
• Capaciteiten: Het model ondersteunt closed-loop interventie:
  • Attributie: Het kan outputs traceren naar input-tokens, specifieke concepten en vergelijkbare trainingsdata.
  • Sturing: Gebruikers kunnen specifieke concepten tijdens de inferentie versterken of onderdrukken zonder hertraining, door direct de concept-embeddings te manipuleren die worden gebruikt in de forward pass.

Betekenis en Claims

Het artikel daagt de premisse uit dat interpreteerbaarheid een belasting is op capaciteit. De primaire claims zijn:

1. Interpreteerbaarheid kan in het ontwerp van de training worden opgenomen: Door de condities van getrouwheid en geldigheid tijdens het trainingsproces te bevredigen, kunnen modellen verklaringen bieden die structureel gekoppeld zijn aan hun berekeningen.
2. Interpreteerbaarheid schaalt met capaciteit: In plaats van moeilijker te begrijpen te worden naarmate ze groeien, worden inherent interpreteerbare modellen op schaal meer ontkoppeld en uitgelijnd met menselijke concepten.
3. Concurrentievermogen is haalbaar: Een model kan zowel interpreteerbaar als competitief zijn met opake peers die aanzienlijk meer rekenkracht gebruiken, wat suggereert dat er een nieuw schalingsparadigma bestaat waarbij begrip een kenmerk van de architectuur is, en geen post-hoc kostenpost.

De auteurs concluderen dat het "Rashomon-effect" (waarbij meerdere modellen met identieke prestaties verschillende interne mechanismen hebben) kan worden gemitigeerd door de verklarende interface (conceptenbibliotheek, baselines, decompositie) over alle modellen die door de trainingsprocedure worden geproduceerd, te verankeren.