What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Technische Samenvatting: Afbakening, Onderzoek en Volgen van Concepten in LLM's

Probleemstelling
Aangezien Large Language Models (LLM's) steeds meer invloed uitoefenen op besluitvorming, is er een kritieke behoefte om hun interne "denkprocessen" te begrijpen. Hoewel eerdere research heeft aangetoond dat lineaire probes specifieke linguïstische eigenschappen (bijvoorbeeld woordsoorten, tijd) en concepten (bijvoorbeeld tijd, locatie, waarheid) binnen LLM-embeddings kunnen detecteren, staan bestaande methoden voor conceptdetectie voor aanzienlijke beperkingen. Sparse Autoencoders (SAE's) bijvoorbeeld vereisen rekenkundig duur onbewaakt training en bieden geen controle over welke specifieke concepten worden gedetecteerd, waardoor ze ongeschikt zijn voor gerichte monitoring. Andere benaderingen, zoals het vragen aan een LLM om een concept te identificeren, zijn te duur voor continue monitoring omdat ze aparte modeloproepen vereisen. Dit artikel adresseert de behoefte aan een goedkope, schaalbare methode om specifieke probes te creëren die het aanwezig zijn en afwezig zijn van impliciete concepten binnen LLM-embeddings tijdens normale operatie kunnen monitoren.

Methodologie
De auteurs stellen een drie-traps pijplijn voor het creëren en gebruiken van conceptprobes voor:

1. Conceptafbakening: De kerninnovatie is een semi-automatische methode voor het creëren van hoogwaardige binaire datasets voor specifieke concepten.

   • Sjabloongeneratie: De auteurs creëerden 30.000 zinsjablonen uit teksten van Project Gutenberg, gefilterd om ervoor te zorgen dat ze zich richten op menselijke onderwerpen en coherente structuren bevatten.
   • Voorbeeldgeneratie: Met behulp van een geprompte LLM (gpt-4o) genereerden ze paren voorbeelden voor elk concept (aanwezig versus afwezig) door de syntactische structuur van de sjablonen na te bootsen terwijl ze de semantiek aanpasten om het doelconcept te reflecteren. Deze aanpak beoogt "labellekage" te voorkomen, waarbij het model misschien spurious correlaties leert in plaats van het concept zelf.
   • Verfijning en Labeling: Om betrouwbaarheid te waarborgen, herbekleedde een geprompte LLM-classificator alle gegenereerde voorbeelden. De prompts werden iteratief verfijnd om >90% nauwkeurigheid te bereiken op handmatig gelabelde validatiedatasets. Datasets werden gefilterd om alleen paren met tegenovergestelde labels te behouden, zodat de probe het concept leert in plaats van structurele gelijkenissen. Vier concepten werden geselecteerd: ambitie, onderzoek, democratie, en jaloersheid.

2. Probe-training en Evaluatie:

   • Training: Lineaire probes (binaire classifiers) werden getraind op de embeddings die uit verschillende lagen van de doel-LLM's werden geëxtraheerd. De auteurs testten twee representatieve embeddingstrategieën: de embedding van het laatste token ($N$-de) en het gemiddelde van alle embeddings in een laag.
   • Controletaken: Om te verifiëren dat de probes concepten detecteren die in de embeddings zijn gecodeerd in plaats van de taak onafhankelijk te leren, hanteerden de auteurs controletaken:
     • Randomisatie: Training op gerandomiseerde embeddings of labels resulteerde in een nauwkeurigheid die daalde tot ~50%, wat bevestigt dat de probes vertrouwen op betekenisvolle informatie in de embeddings.
     • Parameterreductie: Probes werden beperkt tot minder dan 80 parameters (via PCA). Hoge nauwkeurigheid werd behouden zelfs bij aanzienlijke compressie, wat suggereert dat de embeddings de kenmerken robuust coderen.

3. Conceptvolgen (Opbloei en Verval):

   • Verhaaldatasets: De auteurs construeerden 50 verhalen van drie alinea's voor elk concept. Het doelconcept was alleen aanwezig in de overgangszinnen die de alinea's verbinden en elders afwezig.
   • Dynamische Monitoring: De getrainde probes werden toegepast op de embeddings van uitbreidende invoercontexten (woord voor woord). Dit stelde de auteurs in staat om te observeren hoe de waarschijnlijkheid van de aanwezigheid van het concept fluctueert naarmate de context evolueert, specifiek het volgen van de "opbloei en verval" van het conceptsignaal.

Belangrijkste Resultaten

• Conceptinference: De studie bevestigt dat LLM's (getest op de Llama-3-8B, Gemma-2 en Qwen2.5 families) de vier doelconcepten infereren. Probes behaalden nauwkeurigheid significant boven de 50% over de meeste lagen, waarbij de embeddinglaag (laag 0) verrassend hoge nauwkeurigheid (87%) toonde voor ambitie bij gebruik van gemiddelde embeddings, hoewel dit niet gold voor langere contexten.
• Probe-efficiëntie: Probes behaalden sterke prestaties met zeer weinig parameters. Voor ambitie bleef de nauwkeurigheid boven de 75% met slechts 40 parameters en plateauerde rond de 80 parameters, ver onder de embeddingdimensie van het model (4.096 voor Llama-3-8B).
• Volg-dynamiek: De probes slaagden erin de aanwezigheid en afwezigheid van concepten in real-time te volgen naarmate de invoercontext uitbreidde. Bij gebruik van embeddings van het laatste token steeg de probe-uitvoer boven de 0,5-drempel wanneer het concept in de tekst aanwezig was en daalde eronder wanneer het afwezig was. Daarentegen verdundden cumulatieve gemiddelde embeddings het signaal, faalden ze deze dynamiek te vangen, wat aangeeft dat conceptinference in LLM's meer omvat dan simpele bag-of-words-representaties.
• Lagspecificiteit: Verschillende lagen in verschillende modellen bleken optimaal voor het volgen van specifieke concepten. Bijvoorbeeld, in Llama-3-8B was laag 13 het beste voor het volgen van ambitie, terwijl laag 31 het beste was voor onderzoek.

Betekenis en Claims
Het artikel claimt de "eerste stappen" te zetten naar een capaciteit voor het creëren van brede sets probes voor het monitoren van LLM's. De primaire bijdragen zijn:

1. Een reproduceerbare, semi-automatische methodologie voor het afbakenen van concepten in binaire datasets die accidentele labellekage minimaliseren.
2. Aantonen dat lineaire probes impliciete concepten met hoge nauwkeurigheid kunnen detecteren met minimale parameters (<80), waardoor ze rekenkundig goedkoop zijn.
3. Bewijs dat deze probes kunnen dienen als goedkope, continue monitors, die in staat zijn de dynamische "opbloei en verval" van concepten te volgen naarmate de context uitbreidt.
4. De release van de gecreëerde datasets (sjablonen en concept-specifieke voorbeelden) om verder onderzoek in LLM-explainability mogelijk te maken.

De auteurs handhaven een bescheiden toon, waarbij ze beperkingen erkennen zoals de potentie dat gegenereerde data specifieke distributies volgt en de afhankelijkheid van op LLM gebaseerde classifiers voor labeling. Zij postuleren dat hoewel hun huidige werk zich richt op vier concepten, het schalen van dit proces monitoring van nieuwe modellen mogelijk zou kunnen maken en het verkennen van causale verbanden tussen afgeleide interne concepten en gegenereerde output, waardoor LLM-veiligheid en explainability worden bevorderd.