Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

Technische Samenvatting: Het herstellen van invoertekst uit verborgen toestanden

Probleemstelling
Dit werk onderzoekt het probleem van "hidden-state inversie" voor decoder-only taalmodellen (specifiek GPT-2 small). De kernuitdaging is het herstellen van de oorspronkelijke invoertokensequentie $x$ uitsluitend op basis van de matrix van de verborgen toestanden van de laatste laag $H(x)$ die wordt geproduceerd tijdens een forward pass. Hoewel recent theoretisch werk (SIPIT [1]) heeft vastgesteld dat de mapping van tokens naar verborgen toestanden injectief is — wat betekent dat de verborgen toestanden theoretisch alle informatie bevatten die nodig is om de invoer te reconstrueren — richt dit artikel zich op de praktische vraag hoe efficiënt deze inversie kan worden uitgevoerd en onder welke omstandigheden dit slaagt. De studie werkt onder een white-box dreigingsmodel, waarbij wordt aangenomen dat de aanvaller toegang heeft tot de modelgewichten, de tokenizer en de embedding-matrix, maar geen kennis heeft van de oorspronkelijke tekst buiten de vorm van de verborgen toestands-tensor.

Methodologie
De auteurs stellen een gradiëntgebaseerd inversie-algoritme voor dat het probleem behandelt als een continue optimalisatie in de embedding-ruimte in plaats van een discrete, eenmalige reconstructie. De methode werkt positie voor positie door drie onderscheidende lagen:

1. Outer Loop (Tokenposities): Iterereert door elke positie $t$ in de sequentie.
2. Inner Loop (Continue Optimalisatie): Voor de huidige positie wordt een continue proxy-vector $e_t$ (aanvankelijk een willekeurige token-embedding) geoptimaliseerd met behulp van de Adam-optimizer. Het doel is om de Mean Squared Error (MSE) te minimaliseren tussen de voorspelde verborgen toestand van het model (geconditioneerd op eerder vastgestelde tokens) en de gelekte doel-verborgen toestand. Cruciaal is dat de proxy gedurende deze loop in de continue ruimte blijft; er vindt tijdens de optimalisatie geen harde token-projectie plaats.
3. Discrete Verificatie en Commit: Zodra de inner loop convergeert (of een stap-budget bereikt), worden de top-$C$ dichtstbijzijnde discrete token-embeddings bij de geoptimaliseerde proxy opgehaald. Deze kandidaten worden geverifieerd via een enkele forward pass. De eerste kandidaat die de doel-verborgen toestand binnen een tolerantiedrempel reproduceert, wordt "gecommit". Als geen enkele kandidaat slaagt, wordt de dichtstbijzijnde buur gecommit als fallback.

Een belangrijk ontwerpprincipe is de strikte scheiding tussen de continue zoektocht en de discrete beslissing. Door een token pas aan het einde van de inner loop te committen, genereert de methode een schone "discrete loss" ($L^{disc}_t$), gedefinieerd als de MSE wanneer de gecommitteerde token voorwaarts wordt gevoed. Deze metriek dient als een directe maatstaf voor de reconstructiefaillieteit.

Belangrijkste Bijdragen en Resultaten

• Continue versus Discrete Formulering: Het artikel demonstreert dat het houden van de optimalisatie in de continue ruimte rijke interne signalen blootlegt, inclus\u00ad bij de rank-trajecten van de grondwaarheid-token en per-positie loss-curves. Dit staat in contrast met "per-step hard projection" methoden (zoals de SIPIT referentie), die sneller zijn maar de continue en discrete weergaven laten instorten, waardoor het optimalisatieproces opaak wordt.
• Zelfdiagnostische Foutdetectie: De auteurs identificeren dat de cumulatieve discrete loss fungeert als een krachtig, grondwaarheid-vrij foutsignaal. Exacte reconstructies produceren een cumulatieve loss nabij de machineprecisie ($\sim 10^{-11}$), terwijl elke reconstructiefout een scherpe, binaire piek in de cumulatieve loss veroorzaakt (gescheiden door ongeveer tien ordes van grootte). Dit stelt een aanvaller of auditor in staat om fouten online te detecteren zonder toegang tot de oorspronkelijke tekst.
• Nauwkeurigheid en Efficiëntie:
  • Op 10-token prompts van de C4-dataset stijgt de exact-match rate (EM) van 66,9% (Baseline configuratie: $K=1000$ stappen, $C=2000$ kandidaten) naar 97,5% (High-accuracy configuratie: $K=2000$, $C=10.000$), met een gemiddelde gelijkenis van 0,994.
  • De resultaten geven aan dat de meeste fouten "near-misses" zijn (de juiste token wordt hoog gerangschikt maar niet geselecteerd) in plaats van echte ambiguïteiten, aangezien het verbreden van de kandidaat-window $C$ de meerderheid van deze fouten herstelt.
  • De runtime-analyse toont een trade-off: de voorgestelde continue methode is trager (17,8s/token voor Baseline) vergeleken met de SIPIT referentie (0,65s/token), die 100% EM bereikt via agressieve vroege exit en per-stap projectie.
• Foutanalyse en Asymmetrie: De studie onthult een scherpe categorische asymmetrie in foutmodi. Het overgrote deel van de reconstructiefouten treedt op bij spatie-geprefixte, hoogfrequente functiewoorden (bijv. " the", " ,", " and"). Deze tokens bevinden zich in dichte, bijna collinear regio's van de embedding-matrix, waardoor ze moeilijk te onderscheiden zijn via $\ell_1$ afstand. Daarentegen worden inhoudelijke tokens (eigen namen, technische termen) bijna perfect gereconstrueerd. Dit suggereert dat gevoelige, laagfrequente inhoud gemakkelijker kan lekken dan algemene natuurlijke taal.

Betekenis en Claims
Het artikel betoogt dat de verborgen toestanden van de laatste laag van decoder-only modellen even gevoelig zijn als de oorspronkelijke tekst. De bevindingen dagen de aanname uit dat verborgen toestand-vectoren opaciteit-grenzen vormen voor de privacy in gedistribueerde architecturen (bijv. split inference, federated learning, of embedding API's).

De auteurs beweren dat hun continue formulering significant is, niet omdat het de snelste methode is, maar omdat het het inversieproces "observeerbaar" maakt. Door de continue zoektocht te scheiden van de discrete commit, biedt de methode diagnostische instrumenten (rank-trajecten, discrete loss) die de detectie van reconstructiefouten en een dieper begrip van de geometrie van de embedding-ruimte mogelijk maken. De studie concludeert dat in systemen waar de verborgen toestanden van de laatste laag worden verzonden of opgeslagen, het privacy-argument instort, aangezien een voldoende krachtig algoritme de invoer met een hoge waarschijnlijkheid kan herstellen. De auteurs adviseren om deze verborgen toestanden met dezelfde gevoeligheid te behandelen als de ruwe tekst en suggereren dat toekomstige verdedigingen (bijv. differential privacy) geëvalueerd moeten worden met behulp van de discrete-loss diagnostiek om de degradatie van de herstelbaarheid te kwantificeren.