💬 NLP

Rep2Text: Decoding Full Text from a Single LLM Token Representation

Dit paper introduceert Rep2Text, een raamwerk dat aantoont dat ongeveer de helft van de tokens in een korte tekstreeks kan worden gereconstrueerd uit de laatste token-representatie van een groot taalmodel, waarbij de semantische coherentie behouden blijft ondanks een informatieknelpunt bij langere sequenties.

Oorspronkelijke auteurs: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ Het Grote Raadsel: Kan je een hele roman lezen aan één letter?

Stel je voor dat je een gigantisch, super-intelligent brein hebt (een Groot Taalmodel of LLM, zoals die in ChatGPT). Dit brein leest een zin, denkt erover na, en aan het einde van de zin slaat het de "essentie" van wat het net heeft gelezen op in één enkel, klein geheugendeel.

In de technische wereld noemen we dit de laatste-token representatie. Het is alsof het brein na het lezen van een heel verhaal, alleen nog maar één klein notitiekaartje overhoudt met de samenvatting.

De grote vraag van dit onderzoek:
Als we alleen dat ene kleine notitiekaartje hebben, kunnen we dan het hele oorspronkelijke verhaal weer terugvinden? Of is de informatie voor altijd weg?

🛠️ De Oplossing: Rep2Text (Van Gedachte naar Woord)

De onderzoekers hebben een nieuwe tool bedacht, genaamd Rep2Text. Ze noemen het een "decoder".

Stel je voor dat het notitiekaartje (de representatie) in een vreemde taal is geschreven die alleen het brein begrijpt. Rep2Text is als een super-vertaler die een brug slaat tussen dat vreemde notitiekaartje en een gewoon woordenboek.

Hoe werkt het?

De Adapter (De Vertaler): Dit is een klein, trainbaar stukje software. Het leert hoe het de "vreemde code" van het brein moet omzetten in gewone woorden die een ander computerprogramma begrijpt.
Het Herlezen: Zodra de vertaler de code heeft omgezet, neemt een ander taalmodel de tekst en schrijft de zin opnieuw op, alsof het een detective is die een verdwenen brief probeert te reconstrueren.

📊 Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben dit getest met verschillende modellen en zinnen. Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse termen:

1. Je kunt de helft van de zin terugvinden!
Als je een zin van 16 woorden hebt, kan Rep2Text gemiddeld ongeveer 8 woorden exact terugvinden. Maar het belangrijkste is: zelfs als ze niet elk woord exact terugvinden, is de betekenis van de zin vaak nog steeds perfect herkenbaar.

Vergelijking: Het is alsof je een foto van een huis hebt die wazig is. Je ziet niet elk baksteen, maar je weet zeker dat het een huis is, en je kunt de kleur en het type dak nog wel zien.

2. Hoe langer de zin, hoe lastiger het wordt (De "Info-druk")
Als de zin heel kort is (bijv. 8 woorden), werkt het heel goed. Maar als de zin lang wordt (64 woorden), wordt het moeilijker om elk woord exact terug te halen.

Vergelijking: Stel je voor dat je iemand vraagt om een heel verhaal uit zijn hoofd na te vertellen, maar hij mag alleen één zin zeggen om het hele verhaal te vatten. Bij een kort verhaal lukt dat aardig. Bij een dik boek wordt het onmogelijk om elk detail te onthouden. Het brein moet dus dingen "opofferen" om alles in dat ene notitiekaartje te proppen.

3. De "Gouden Middenweg" in het brein
Ze keken ook naar waar in het brein deze informatie zit.

In de vroege lagen (het begin van het denkproces) zit de informatie over de structuur van de zin (waar staan de werkwoorden, hoe klinkt het?).
In de latere lagen (aan het einde van het denkproces) zit de informatie over de betekenis en het onderwerp.
Vergelijking: Het is alsof je een brief schrijft. Eerst bedenk je de zinsbouw (de raamwerk), en later vul je de inhoud in. Rep2Text werkt het beste als je de "raamwerk-informatie" uit het midden van het denkproces haalt.

4. Het werkt zelfs met medische dossiers (Algemeenheid)
Ze hebben het getest op gewone Wikipedia-teksten én op moeilijke, medische patiëntdossiers (die het model nooit eerder had gezien). Rep2Text werkte ook daar goed!

Vergelijking: De vertaler is niet alleen slim in het vertalen van sprookjes, maar kan ook medische rapporten vertalen, zelfs als hij die specifieke patiënten nooit eerder heeft gezien. Dit betekent dat de tool echt iets begrijpt van hoe taal werkt, en niet alleen het uit zijn hoofd heeft geleerd.

⚠️ Waarom is dit belangrijk? (De Gevolgen)

Dit onderzoek heeft twee kanten:

Privacy-gevaar: Het laat zien dat er nog steeds veel informatie in die "verborgen" notitiekaartjes zit. Als hackers toegang krijgen tot die interne gedachten van een AI, kunnen ze misschien gevoelige informatie (zoals namen of medische gegevens) terugvinden. Het is alsof je dacht dat je een brief in een brandveilige kluis had gedaan, maar het bleek dat je de sleutel in je broekzak had laten hangen.
Begrip van AI: Het helpt ons begrijpen hoe deze modellen werken. Het bewijst dat het "zwarte doosje" van een AI niet helemaal zwart is; er zit nog veel leesbaar materiaal in.

🎯 Conclusie in één zin

Rep2Text toont aan dat we, zelfs als we alleen maar naar het allerlaatste "gedachte" van een AI kijken, nog steeds een groot deel van het oorspronkelijke verhaal kunnen teruglezen – alsof je een hele film kunt reconstrueren op basis van één enkel frame.

Titel: Rep2Text: Decoding Full Text from a Single LLM Token Representation

1. Probleemstelling

Grote Taalmodellen (LLMs) worden vaak gezien als "black boxes", waarbij de interne mechanismen ondoorzichtig zijn. Bestaand onderzoek richt zich op het decoderen van informatie uit LLMs, maar dit gebeurt meestal via:

Linear probes of Sparse Autoencoders (SAEs) om specifieke features te interpreteren.
Logit Lens of Tuned Lens om interne representaties direct af te beelden op de vocabulaire-ruimte.
Inversie van embeddings (bijv. Vec2Text) die vaak iteratieve zoekprocessen vereisen of gebruikmaken van volledige sequenties van token-embeddings.

De kernvraag die dit paper adresseert is: In welke mate kan de originele invoer-tekst volledig worden hersteld (geïnverteerd) vanuit slechts één enkele representatie: het laatste-token (last-token) van een LLM?

Dit is een fundamenteel uitdagende taak omdat de laatste-token representatie is geoptimaliseerd voor het voorspellen van het volgende token. Het fungeert als een "informatie-bottleneck" waarin alle eerdere context is samengeperst. Bestaande methoden zijn vaak niet ontworpen om deze specifieke, gecondenseerde representatie zonder iteratieve zoektocht terug te vertalen naar de volledige originele tekst.

2. Methodologie: Rep2Text Framework

Het auteurs stellen Rep2Text voor, een nieuw raamwerk dat tekst decodeert vanuit de laatste-token representatie van een LLM. Het systeem bestaat uit drie hoofdcomponenten:

Doelmodel (Target Model): De LLM waarvan de interne representatie wordt gebruikt (bijv. Llama-3.1-8B, Mistral-7B). De focus ligt op de residual stream representatie ( $h_\ell$ ) van het laatste token op een specifieke laag $\ell$ .
Adapter (Inverter): Een trainbare module die de representatie van het doelmodel projecteert naar de token-embedding-ruimte van een decoderend taalmodel.
- De architectuur is geïnspireerd op Vision-Language Models (zoals LLaVA).
- Het bestaat uit een twee-laags MLP met een "gated skip connection".
- De adapter neemt de vector $h_\ell$ en transformeert deze naar een reeks projectie-embeddings ( $X_e$ ) die kunnen worden behandeld als token-embeddings.
- De adapter kan een variabele aantal tokens ( $k$ ) genereren, wat helpt om meer informatie uit de bottleneck te halen.
Decoderend Model (Decoding Model): Een LLM (kan hetzelfde zijn als het doelmodel of een ander model) dat de geprojecteerde embeddings ontvangt.
- De embeddings worden gevoed in het decoderend model (na de embedding-laag), samen met systeem- en gebruikersprompts.
- Het model genereert vervolgens autoregressief de gereconstrueerde tekst ( $\hat{S}$ ).

Training:

Het adapter wordt getraind om de kansverdeling van de grond-waarheid (ground-truth) tokens te maximaliseren, gegeven de geprojecteerde embeddings.
Er wordt gebruik gemaakt van Teacher Forcing en Label Smoothing om overfitting te voorkomen en generalisatie te verbeteren.
Twee trainingsschema's worden onderzocht: alleen de adapter finetunen, of gezamenlijk finetunen van de adapter en het decoderend model (via LoRA).

3. Belangrijkste Bijdragen en Resultaten

A. Prestaties in Inversie

Token Herstel: Experimenten tonen aan dat gemiddeld ongeveer 50% van de tokens in een 16-token sequentie kan worden hersteld vanuit de laatste-token representatie, zonder iteratieve zoektocht.
Semantische Coherentie: Hoewel niet alle tokens exact worden hersteld, behoudt de gegenereerde tekst een sterke semantische coherentie. De onderwerpen en de algemene betekenis blijven grotendeels intact.
Structuur en Entiteiten: De syntactische structuur van zinnen wordt grotendeels behouden (Structure Score > 64%), en entiteiten worden vaak semantisch consistent hersteld, zelfs als de exacte woordkeuze verschilt.

B. Analyse van Informatie Bottlenecks

Sequentielengte: Er is een duidelijke afname in prestaties naarmate de sequentielengte toeneemt.
- Voor korte sequenties (8-16 tokens) is de herstelkwaliteit hoog.
- Bij langere sequenties (64 tokens) daalt de token-nauwkeurigheid (ROUGE-1) aanzienlijk, maar blijft het onderwerp (topic) en de semantische relevantie relatief goed behouden. Dit bevestigt dat de laatste-token representatie meer informatie over het "grote plaatje" behoudt dan over specifieke details.
Laag-afhankelijkheid:
- Vroege tot middellaag (bijv. laag 10): Bevat de meeste concrete informatie over de syntactische structuur en de letterlijke inhoud van de tekst.
- Midden tot late lagen (bijv. laag 15-20): Bevat meer geabstraheerde, semantische en thematische informatie. Lexicale details worden hier steeds moeilijker te herleiden.

C. Generalisatie en Schaalbaarheid

Cross-Model Inversie: Het framework werkt effectief wanneer het doelmodel en het decoderend model verschillend zijn (bijv. Mistral als doel, Llama als decoder). Dit ondersteunt de "Platonic Representation Hypothesis", die stelt dat interne representaties van verschillende modellen convergeren naar een gedeelde structuur.
Schaal-effecten: Het vergroten van de decoder (bijv. van 14B naar 32B parameters) levert slechts marginale verbeteringen op. De prestaties hangen meer af van het model-gezin dan van de grootte alleen.
Out-of-Distribution (OOD) Generalisatie: Rep2Text toont sterke generalisatie op klinische data (medische notities) die niet in de trainingsdata (Wikipedia) zaten. In tegenstelling tot de baseline Vec2Text, die op OOD-data bijna faalt, behoudt Rep2Text een redelijk herstelpercentage voor token- en semantische informatie. Dit suggereert dat Rep2Text echte representatieve eigenschappen leert in plaats van alleen patronen in de trainingsdata te memoriseren.

D. Vergelijking met Baselines

In vergelijking met Vec2Text (dat iteratieve correctie gebruikt) presteert Rep2Text beter op token-niveau en is het veel robuuster op OOD-data. Vec2Text faalt volledig op klinische notities, terwijl Rep2Text nog steeds zinvolle informatie kan extraheren.

4. Betekenis en Implicaties

Privacy Risico's: De bevinding dat ongeveer de helft van de invoer-tekst kan worden hersteld vanuit één enkel token, wijst op aanzienlijke privacyrisico's. Het betekent dat interne representaties van LLMs kwetsbaar zijn voor "inversie-aanvallen", waarbij gevoelige invoerdata (zoals medische gegevens of persoonlijke informatie) mogelijk kunnen worden gereconstrueerd.
Interpretability: Het werk biedt een nieuw perspectief op wat er daadwerkelijk in de "black box" van een LLM wordt opgeslagen. Het toont aan dat de laatste-token representatie, ondanks zijn rol als bottleneck, een aanzienlijke hoeveelheid recoverable informatie bevat.
Technische Innovatie: Rep2Text introduceert een efficiënte, niet-iteratieve methode voor representatie-inversie die overdraagbaar is tussen verschillende modelarchitecturen en domeinen.

Conclusie

Rep2Text demonstreert dat het mogelijk is om een aanzienlijk deel van de originele invoer-tekst te decoderen vanuit de gecondenseerde laatste-token representatie van een LLM. Hoewel de herstelkwaliteit afneemt bij langere sequenties, blijft de semantische kern behouden. Dit onderstreept de noodzaak van voorzichtigheid bij het delen van interne modelrepresentaties en biedt een krachtige tool voor het bestuderen van de interne kennisrepresentatie van LLMs.