Technische Samenvatting: De Waarheid Ligt Ergens in het Midden (van de gegenereerde tokens)

Probleemstelling

In autoregressieve taalkundige modellen (LLMs) worden verborgen toestanden sequentieel gegenereerd onder causale masking, wat betekent dat de representatie van elk token afhankelijk is van de prompt en alle voorgaande gegenereerde tokens. Er rijst een kritieke methodologische vraag: hoe moeten deze temporair verdeelde verborgen toestanden worden samengevoegd tot een enkele vectorrepresentatie die de interne semantische toestand van het model nauwkeurig weerspiegelt?

Vorig werk over bidirectionele encoders maakt doorgaans gebruik van mean pooling of pooling van het laatste token. In autoregressieve settings heeft eenvoudige gemiddelde vorming echter aangetoond dat het slecht presteert, omdat het verborgen toestanden mengt die zijn berekend onder ongelijke contexten. Bijgevolg vertrouwen bestaande benaderingen vaak op het selecteren van een enkel token (bijvoorbeeld het laatste token) of het trainen van modellen met specifieke doelstellingen om de kwaliteit van de embeddings te verbeteren. Het blijft onduidelijk of semantische informatie in standaard, vooraf getrainde autoregressieve modellen gelokaliseerd is tot een specifieke tokenpositie of verspreid is over het generatietraject, en of mean pooling superieure semantische representaties kan opleveren zonder aanvullende training.

Methodologie

De auteurs evalueren de semantische kwaliteit van representaties afgeleid van gegenereerde tokens door hun alignering te meten met referentieruimten in drie verschillende domeinen: visie-taal, redenering en eiwitstructuren.

Evaluatiemetric: Kernel Alignment

De kernmetric is Centered Kernel Alignment (CKA), specifiek de gedebiaserde versie om inflatie-artefacten te vermijden. De auteurs vergelijken de similariteitsstructuur (kernel) die wordt geïnduceerd door de embeddings van het taalkundige model met een referentiekern die is opgebouwd uit grondwaarheid semantische structuren:

• Visie-Taal: Referentiekernen zijn afgeleid van image embeddings (met DINOv2) die corresponderen met afbeeldingsbijschriften. Hoge alignering impliceert dat het model bijschriften van visueel vergelijkbare afbeeldingen dichter bij elkaar plaatst.
• Redenering: Referentiekernen zijn afgeleid van gouden standaardoplossingen voor wiskunde- en wetenschapsproblemen.
• Eiwit: Referentiekernen zijn afgeleid van eiwitstructuur embeddings (met ESM-3).

Experimentele Opstelling

• Modellen: De primaire experimenten gebruiken Qwen3-14B (een decoder-only Transformer). Vergelijkingen worden gemaakt met OLMo3-7B-Think en gpt-oss-20B.
• Pooling-strategieën: De auteurs vergelijken last-token pooling (selecteren van de laatste toestand van het traject) met mean-token pooling (gemiddelde nemen van verborgen toestanden over de volledige gegenereerde sequentie).
• Menganalyse: Om te bepalen of semantische informatie gelokaliseerd of verspreid is, construeren de auteurs convexe combinaties van embeddings van verschillende tokensegmenten (bijvoorbeeld de eerste, middelste en laatste derde van de generatie) en evalueren ze de alignering over het resulterende simplex.
• Controlecondities: Experimenten omvatten het schudden van tokenordes, het schudden van afbeelding-tekstkoppelingen, en het embedden van tekst gegenereerd door één model met de embeddingruimte van een ander model om de effecten van generatiedynamiek te isoleren.

Belangrijkste Bijdragen en Resultaten

1. Mean Pooling van Gegenereerde Tokens Presteert Beter dan Selectie van Een Enkel Token

In tegenstelling tot de beperkingen die zijn waargenomen bij embeddings aan de prompt-zijde, levert mean pooling over gegenereerde tokens aanzienlijk hogere semantische alignering op dan enig individueel token, inclusief het laatste token.

• In visie-taaltaken bereikte mean-gepoolde gegenereerde representaties een aligneringsscore van 0,410, vergeleken met 0,291 voor het beste enkele token en 0,184 voor prompt-tokens.
• Deze verbetering is consistent over decoding-zaden, wat aangeeft dat de onderliggende semantische structuur stabiel is ondanks tekstvariatie.
• Het voordeel geldt voor verschillende pooling-methoden (mean pooling presteert beter dan attention, max en best-per-token pooling).

2. Semantische Informatie is Verspreid over de Generatie

Het artikel toont aan dat semantische informatie niet gelokaliseerd is tot een enkele positie, maar verspreid is over het tokentraject.

• Meng-effect: Convexe combinaties van embeddings van verschillende tokensegmenten (bijvoorbeeld het mengen van de eerste, middelste en laatste derde) bereiken consistent hogere alignering dan enig enkel segment alleen.
• Granulariteit: Dit "meng"-voordeel blijft bestaan zelfs wanneer tokensegmenten recursief worden onderverdeeld, wat suggereert dat verschillende delen van de generatie complementaire semantische informatie dragen.
• Domeingeneralisatie: Dit fenomeen wordt niet alleen waargenomen in visie-taaltaken, maar ook in redenering (Math-500, GPQA) en eiwitstructuurtaken, wat aangeeft dat het een algemeen kenmerk is van autoregressieve generatie.

3. Gegenereerde Tokens versus Prompt Tokens

Een tegenintuïtieve bevinding is dat representaties afgeleid van gegenereerde tokens beter gealigneerd zijn dan die van prompt-tokens, zelfs wanneer de prompt de volledige semantische inhoud bevat.

• Representaties van prompt-tokens profiteren niet van mean pooling; het middelen van hen verwaterde vaak informatie door beperkingen van causale masking.
• Generatie lijkt "dezelfde semantische inhoud makkelijker te maken om te herstellen" in de ruimte van de verborgen toestanden. Naarmate het model een voortzetting produceert, worden zijn interne toestanden beter gealigneerd met de referentiestructuur die verbonden is aan de oorspronkelijke prompt.

4. Representatiefasen en Interne Toestandsdynamiek

De aligneringstrajectorie over gegenereerde tokens onthult interpreteerbare fasen van modelgedrag:

• Fasen: Het generatieproces vertoont distincte fasen: generieke voorafgaande tekst, prompt-herhaling, recall en bijschrift-specifiek antwoord. De alignering neemt toe naarmate de generatie verschuift van generieke tekst naar inhoudsspecifieke beschrijvingen.
• Causale Probes: Specifieke generieke zinnen (bijvoorbeeld "Laat me herinneren wat ik weet") induceren scherpe pieken in alignering, zelfs voordat scènerelateerde inhoud verschijnt. Dit suggereert dat dergelijke tokens overeenkomen met verschuivingen in de interne toestand van het model richting de referentiestructuur.
• Modellspecificiteit: Deze fasestructuren verdwijnen wanneer een model tekst embedt die is gegenereerd door een ander model. Bijvoorbeeld, de aligneringstrajectorie van Qwen3 degradeert bij het verwerken van generaties van OLMo3 als OLMo3 feiten hallucineert (bijvoorbeeld het verkeerd identificeren van de locatie van een elektriciteitscentrale). Dit geeft aan dat de waargenomen dynamiek verbonden is aan de specifieke interne berekening en consistentie van het model, en niet alleen aan de tekst zelf.

5. Laagdiepte versus Tokendimensie

Hoewel mean pooling over de tokendimensie de alignering verbetert, doet mean pooling over laagdiepte dit niet. Het middelen over lagen levert prestaties op die vergelijkbaar zijn met de beste enkele laag (doorgaans de laatste laag), maar verbetert deze niet. Dit staat in contrast met embeddings aan de prompt-zijde, waar tussenliggende lagen vaak het beste presteren.

Betekenis en Claims

Het artikel beweert dat verborgen toestanden die worden gevormd tijdens autoregressieve generatie het beste worden samengevoegd tot een vectorrepresentatie door mean pooling over tokens, in plaats van het selecteren van een enkel token. Dit daagt het heersende standpunt uit dat causale masking mean pooling inefficiënt maakt voor decoder-only modellen.

De auteurs betogen dat:

1. Generatie als Context: De eigen voortzetting van het model fungeert als een bron van context die de semantische inhoud van de invoer toegankelijker maakt in de ruimte van de verborgen toestanden.
2. Traject-gebaseerde Representatie: Semantische informatie in autoregressieve modellen moet worden beschouwd als verspreid over het generatietraject in plaats van gelokaliseerd tot een enkele verborgen toestand.
3. Interpreteerbaarheid: Kernel alignment dient als een causale probe voor interne modeltoestanden, en onthult dat specifieke token-outputs (zoals "denken" of "herinner"-zinnen) overeenkomen met meetbare verschuivingen in de representatieve geometrie van het model.

Het werk suggereert dat voor taken die hoge kwaliteit tekstembeddings vereisen van autoregressieve modellen, het genereren van een voortzetting en het mean-poolen van de resulterende verborgen toestanden een eenvoudige, effectieve en trainingsvrije methode is die superieur is aan standaard prompt-gebaseerde embeddings. De auteurs merken echter beperkingen op: deze benadering brengt een rekenkosten met zich mee die evenredig is aan de generatielengte en produceert representaties die probes zijn van interne toestanden in plaats van "zachte" tokens die bruikbaar zijn voor verdere generatie.