Technische Samenvatting: Functionele Subruimten in Groot Taalmodellen

Probleemstelling

Hoewel Groot Taalmodellen (LLMs) opmerkelijke "emergente vaardigheden" hebben aangetoond, zoals Contextueel Leren (In-Context Learning, ICL), blijven de onderliggende mechanismen die deze mogelijkheden mogelijk maken slecht begrepen. Eerdere onderzoeken hebben vastgesteld dat hoogwaardige concepten worden gecodeerd als lineaire richtingen in activatieruimten en dat de geometrie van woordembeddings semantische betekenis draagt. Het is echter onduidelijk hoe LLMs generaliseren naar nieuwe taken zonder fine-tuning of hoe ze bewijs verzamelen uit contextuele voorbeelden om correcte antwoorden te genereren. Het gebrek aan inzicht in deze operationele mechanismen belemmert de mogelijkheid om LLMs correct te diagnosticeren en te repareren, met name voordat ze worden ingezet in veiligheidskritieke domeinen. Dit artikel onderzoekt of LLMs specifieke subruimten en vectoralgebra gebruiken om ICL-taken op te lossen.

Methodologie

De auteurs stellen de hypothese dat LLMs invoertokens projecteren in functionele subruimten waar taken kunnen worden opgelost via eenvoudige vectoralgebra. Om dit te testen, analyseerden ze de residustromen en functionele modules (Zelf-Attention en Feed-Forward Netwerken) van zes publiek beschikbare vooraf getrainde LLMs: GPT-J-6B, Meta-Llama-3.1-8B, OLMo-2-0325-32B, Pythia-12B, Gemma-3-27b-it en GPT-NEOX-20B.

Het experimentele ontwerp omvatte de volgende stappen:

1. Taakgeneratie: De auteurs genereerden 200 ICL-prompts voor zes verschillende taken: antoniemen, synoniemen, land-hoofdstadparen, Engels-Franse vertalingen, bedrijf-productparen en persoon-sportparen. Elke prompt bevatte vijf voorbeeldparen en één testvraag.
2. Dataverzameling: Residustromen werden verzameld van alle tokens over alle transformerlagen terwijl de modellen deze prompts verwerkten.
3. Dimensionaliteitsreductie: Hoofdkomponentenanalyse (PCA) werd toegepast op de residustromen om potentiële laagdimensionale subruimten te identificeren. De auteurs evalueerden de cumulatieve verklaarde variantie van de top 30 hoofdkomponenten.
4. Lineaire regressieanalyse: Om te bepalen of ICL-taken als vectoroperaties kunnen worden gemodelleerd, voerden de auteurs lineaire regressie uit op de hoofdkomponenten. Ze testten of antwoordtokens ($\vec{a}$) kunnen worden beschreven als een lineaire functie van vraagtokens ($\vec{q}$) en scheidings tokens ($\vec{s}$) volgens de vergelijking $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$. De kwaliteit van deze fit werd gemeten met de determinatiecoëfficiënt ($R^2$).
5. Correlatie met besluitvorming: Om de functionele relevantie van deze subruimten te beoordelen, vergeleken de auteurs de projecties van tokens in de best presterende hoofdkomponenten tussen gevallen waarin de LLM correcte voorspellingen deed versus onjuiste voorspellingen, waarbij t-tests werden gebruikt om statistische significantie te evalueren.

Belangrijkste Bijdragen en Resultaten

1. Bestaan van Functionele Subruimten

De analyse van residustromen onthulde dat 40% tot 90% van de variabiliteit in de activaties van de modellen kon worden verklaard door slechts 30 hoofdkomponenten, ondanks de hoge dimensionaliteit van de modellen (bijvoorbeeld $d \approx 5000$). Dit suggereert dat LLMs tijdens ICL-taken opereren binnen laagdimensionale subruimten.

2. ICL als Vectoralgebra

De studie vond dat antwoordtokens goed worden benaderd door lineaire combinaties van vraag- en scheidings tokens binnen specifieke subruimten.

• Hoge $R^2$-waarden: Over alle zes modellen en taken heen vertoonden specifieke hoofdkomponenten hoge $R^2$-waarden (naderend tot 1), wat aangeeft dat de relatie tussen invoer en uitvoer in deze subruimten grotendeels lineair is.
• Lagenprogressie: De kwaliteit van de lineaire fit ($R^2$) neigde laag te zijn in vroege lagen en nam toe in latere lagen, wat suggereert dat vroege lagen activaties geleidelijk transformeren naar subruimten waar ICL kan worden opgelost via eenvoudige vectoroperaties.
• Consistentie: De hoofdkomponenten met hoge $R^2$ waren consistent over lagen, wat impliceert dat specifieke richtingen taakspecifieke concepten coderen (bijvoorbeeld "antoniem" of "hoofdstad").

3. Bewijsaccumulatie en Clustering

Theoretische analyse suggereerde dat Feed-Forward Netwerken (FFN's) fungeren als associatief geheugen dat potentiële antwoorden opslaat, terwijl Self-Attention (SA) lagen de juiste voorspelling selecteren op basis van context. De auteurs hypotheseren dat intersecties van potentiële antwoorden toelaten dat bewijs zich ophoopt langs specifieke subruimtebasissen.

• Tokenclustering: Visualisaties van tokens in 3D-subruimten (gespannen door de top 3 hoofdkomponenten) toonden aan dat vraag-, scheidings- en antwoordtokens distincte, goed gescheiden clusters vormden op basis van hun tokentype.
• Correlatie met Nauwkeurigheid: Cruciaal waren de projecties van tokens in de best presterende componenten significant verschillend ($p < 0.05$), afhankelijk van of het model een correct of onjuist antwoord genereerde. Deze correlatie gold over meerdere intermediaire en late lagen, wat suggereert dat deze subruimten direct betrokken zijn bij het besluitvormingsproces van het model.

Betekenis en Claims

Het artikel beweert dat LLMs native subruimten creëren om bewijs te verzamelen uit contextuele voorbeelden en taken op te lossen met behulp van vectoralgebra binnen deze subruimten. De auteurs stellen dat:

• Mechanisme van Generalisatie: Het vermogen om ICL uit te voeren, berust op het projecteren van invoertokens in subruimten waar de geometrie van de data direct overeenkomt met de gewenste taak (bijvoorbeeld het omkeren van een richting voor antoniemen).
• Emergente Vaardigheden: Hoewel ICL-taken eenvoudiger zijn dan algemene codering of redeneertaken, is het mechanisme van het extraheren van taakinformatie en het toepassen daarvan via vectoroperaties fundamenteel voor hoe LLMs slagen in complexere taken.
• Diagnostisch Potentieel: Als LLMs afhankelijk zijn van deze functionele subruimten voor besluitvorming, kunnen deze subruimten dienen als basis voor het diagnosticeren van modelgedrag en het maken van stuurvectoren om modeloutput te interveniëren of te repareren, met name in veiligheidskritieke toepassingen.

De auteurs behouden een bescheiden toon en erkennen dat hun theoretische analyse berust op geïdealiseerde omstandigheden en dat het identificeren van dergelijke subruimten in complexere, algemene taaltaken uitdagend kan zijn vanwege ingewikkelde tokeninteracties. Ze betogen echter dat de bevindingen een concreet verband bieden tussen de lineaire representatiehypothese en de operationele mechanica van contextueel leren.