Interpreting Language Models Through Concept Descriptions: A Survey

Probleemstelling

De interpretatie van Large Language Models (LLMs) is een centraal uitdaging in het veld van de mechanistische interpretatie. Hoewel deze modellen complexe taken uitvoeren, blijft hun interne werking een "black box".

• De Kernuitdaging: Het toewijzen van menselijk begrijpelijke betekenissen aan fundamentele modelcomponenten (zoals individuele neuronen en attentiekoppen) en geabstraheerde representaties (zoals features van Sparse Autoencoders of SAEs).
• Beperkingen van eerdere methoden: Traditionele benaderingen, zoals het gebruik van probe-classifiers of het testen op vooraf gedefinieerde concepten, zijn beperkt door een vast vocabularium. Ze missen vaak de nieuwe, unieke representaties die het model zelf heeft geleerd.
• Polysemantisme: Een specifiek probleem is dat individuele neuronen vaak "polysemantisch" zijn; ze reageren op een diverse en ogenschijnlijk ongerelateerde set inputs, waardoor het moeilijk is ze met één coherent concept te beschrijven.

Methodologie

Het artikel is een survey die de opkomende paradigma verschuiving analyseert: het gebruik van generatieve LLMs om open-vocabulary conceptbeschrijvingen (in natuurlijke taal) te genereren voor interne modelcomponenten.

1. Doelstellingen (Targets):
De survey categoriseert de beschreven entiteiten in twee hoofdgroepen:

• Native Model Components:
  • Neurones: De basis eenheden in Feed-Forward Networks (FFN).
  • Attentiekoppen: De eenheden binnen Multi-Head Attention die specifieke relationele patronen leren.
• Model Abstractions:
  • SAE Features: Representaties die zijn afgeleid via Sparse Autoencoders, bedoeld om de polysemantische aard van neurones op te lossen door meer monosemantische (één concept per feature) eenheden te creëren.
  • Circuits: Subgrafieken van interacterende componenten die samen een specifieke taak uitvoeren (bijv. indirect object identificatie).

2. Generatieproces:
De standaardmethode (geïntroduceerd door Bills et al., 2023) werkt als volgt:

1. Selectie van Activaties: Er worden tekstfragmenten geselecteerd die een specifieke component (neuron, feature) maximaal activeren.
2. Prompting: Deze fragmenten worden aan een krachtige generator-LLM (zoals GPT-4) gepresenteerd.
3. Generatie: De generator produceert een natuurlijke taalbeschrijving van het concept dat de component lijkt te detecteren (bijv. "juridische clausules" of "verwijzingen naar de jaren 80").

3. Evaluatiemethoden:
De survey identificeert vijf categorieën voor het evalueren van de kwaliteit van deze beschrijvingen:

• Predictive Simulation: Een "simulator" LLM probeert, op basis van de beschrijving, de activatie van de feature te voorspellen. De correlatie tussen voorspelling en werkelijkheid is de maatstaf.
• Input-based Evaluation: Meet hoe puur de beschrijving is (reageert de feature alleen op beschreven concepten?) en hoe goed deze de activerende inputs dekt (bijv. AUROC, Specificity).
• Output-based Evaluation: Test causale trouw door interventies. Wordt de output van het model beïnvloed op de manier die de beschrijving voorspelt als de feature wordt gemanipuleerd?
• Semantische Similariteit: Vergelijking van de gegenereerde tekst met een "ground truth" label via cosine similarity.
• Menselijke Evaluatie: Menselijke beoordeling van juistheid, leesbaarheid en geloofwaardigheid.

Belangrijkste Bijdragen

1. Eerste Survey: Dit is het eerste overzicht dat zich specifiek richt op het veld van het genereren van conceptbeschrijvingen voor modelcomponenten en abstracties.
2. Gestructureerd Overzicht: Het biedt een gestructureerde taxonomie van methoden, datasets (zoals WebText, OpenWebText, en gespecialiseerde corpora) en evaluatiemetrics.
3. Identificatie van Trends:
   • De verschuiving van neurones naar SAE-features om polysemantisme te omzeilen.
   • De evolutie van evaluatie van simpele correlaties naar complexe, causale en menselijke beoordelingen.
4. Roadmap voor Toekomst: Het artikel schetst een duidelijk pad voor toekomstig onderzoek, inclusief de noodzaak van gestandaardiseerde benchmarks.

Resultaten en Bevindingen

• Evaluatie is complex: Automatische metrics (zoals simulator-correlatie) zijn vaak laag (slechts een klein percentage neurones scoort hoog) en kunnen misleidend zijn omdat ze afhankelijk zijn van een andere "black box" (de generator).
• SAEs als oplossing: Het gebruik van SAEs leidt tot meer interpreteerbare, monosemantische features dan het analyseren van ruwe neurones.
• Causale trouw is cruciaal: Er is een groeiende consensus dat beschrijvingen niet alleen correlatief moeten zijn, maar causaal getest moeten worden (via interventie) om te bewijzen dat ze de werkelijke functie van de component weergeven.
• Menselijke oordeelsvorming: Hoewel essentieel, wordt menselijke evaluatie nog onderbelicht in de community vanwege de hoge kosten en de moeilijkheid om polysemantische componenten te labelen.

Significantie en Toekomstperspectief

Deze survey is van fundamenteel belang voor het bouwen van transparante en betrouwbare AI-systemen.

• Van Componenten naar Circuits: De volgende stap is het beschrijven van niet alleen individuele onderdelen, maar van volledige computatie-circuits (interacties tussen onderdelen).
• Domain-expansie: Toepassing op gespecialiseerde domeinen (juridisch, medisch, code) en andere talen/modaliteiten.
• Kritische Analyse van Interpreters: Er is behoefte aan onderzoek naar de bias van de LLMs die de beschrijvingen genereren; ze kunnen te simplistisch of te abstract zijn.
• Standaardisatie: De auteurs pleiten voor de ontwikkeling van gestandaardiseerde benchmarks (vergelijkbaar met de MIB suite) om verschillende beschrijvings- en evaluatiemethoden systematisch te kunnen vergelijken.

Conclusie:
Het gebruik van LLMs om conceptbeschrijvingen te genereren is een krachtige stap in het ontmaskeren van de interne werking van AI. Hoewel er nog uitdagingen zijn op het gebied van causale validatie en kosten, biedt dit veld een essentieel raamwerk voor het debuggen, auditen en verbeteren van toekomstige taalmodellen.