Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

Sintesi Tecnica: Recupero del Testo di Input dai Rapporti di Stato Nascosto (Hidden States)

Definizione del Problema
Questo lavoro investiga il problema dell' "inversione dello stato nascosto" per i modelli linguistici decoder-only (nello specifico GPT-2 small). La sfida centrale è recuperare la sequenza originale di token di input $x$ esclusivamente dalla matrice dei rapporti di stato nascosto dell'ultimo strato $H(x)$ prodotti da un passaggio in avanti (forward pass). Mentre recenti lavori teorici (SIPIT [1]) hanno stabilito che la mappatura dai token agli stati nascosti è iniettiva — il che significa che gli stati nascosti contengono teoricamente tutte le informazioni necessarie per ricostruire l'input — questo articolo affronta la questione pratica di come tale inversione possa essere eseguita in modo efficiente e in quali condizioni abbia successo. Lo studio opera sotto un modello di minaccia white-box, assumendo che l'avversario abbia accesso ai pesi del modello, al tokenizer e alla matrice di embedding, ma non conoscenza del testo originale oltre alla forma del tensore dello stato nascosto.

Metodologia
Gli autori propongono un algoritmo di inversione basato sul gradiente che tratta il problema come un'ottimizzazione continua nello spazio degli embedding piuttosto che come una ricostruzione discreta e istantanea (one-shot). Il metodo opera posizione per posizione attraverso tre livelli distinti:

1. Ciclo Esterno (Posizioni dei Token): Itera attraverso ogni posizione $t$ nella sequenza.
2. Ciclo Interno (Ottimizzazione Continua): Per la posizione corrente, un vettore proxy continuo $e_t$ (inizialmente un embedding di token casuale) viene ottimizzato utilizzando l'ottimizzatore Adam. L'obiettivo è minimizzare l'Errore Quadratico Medio (MSE) tra lo stato nascosto predetto dal modello (condizionato dai token precedentemente impegnati) e lo stato nascosto target trapelato. Fondamentalmente, il proxy rimane nello spazio continuo durante questo ciclo; non avviene alcuna proiezione hard del token durante l'ottimizzazione.
3. Verifica Discreta e Impegno (Commit): Una volta che il ciclo interno converge (o raggiunge un budget di step), vengono recuperati i top-$C$ embedding di token discreti più vicini al proxy ottimizzato. Questi candidati vengono verificati tramite un singolo passaggio in avanti. Il primo candidato che riproduce lo stato nascosto target entro una soglia di tolleranza viene "impegnato" (committed). Se nessun candidato supera la soglia, viene impegnato il vicino più prossimo come fallback.

Un principio di progettazione chiave è la rigorosa separazione tra la ricerca continua e la decisione discreta. Impegnando un token solo alla fine del ciclo interno, il metodo genera una "perdita discreta" (discrete loss, $L^{disc}_t$) pulita, definita come l'MSE quando il token impegnato viene alimentato nel modello. Questa metrica funge da misura diretta della fedeltà della ricostruzione.

Contributi Chiave e Risultati

• Formulazione Continua vs. Discreta: Il documento dimostra che mantenere l'ottimizzazione nello spazio continuo espone segnali interni ricchi, inclusi le traiettorie di rango del token reale e le curve di perdita per posizione. Ciò contrasta con i metodi di "proiezione hard per step" (come il riferimento SIPIT), che sono più veloci ma collassano le viste continua e discreta, rendendo il processo di ottimizzazione opaco.
• Rilevamento del Fallimento Auto-Diagnostico: Gli autori identificano che la perdita discreta cumulativa agisce come un potente segnale di fallimento basato sulla verità di base (ground-truth-free). Le ricostruzioni esatte producono una perdita cumulativa vicina alla precisione di macchina ($\sim 10^{-11}$), mentre qualsiasi errore di ricostruzione causa un picco binario e netto nella perdita cumulativa (separato da circa dieci ordini di grandezza). Ciò consente a un attaccante o a un auditor di rilevare i fallimenti online senza accesso al testo originale.
• Accuratezza ed Efficienza:
  • Su prompt di 10 token dal dataset C4, il tasso di corrispondenza esatta (Exact Match, EM) aumenta dal 66,9% (Configurazione baseline: $K=1000$ step, $C=2000$ candidati) al 97,5% (Configurazione ad alta accuratezza: $K=2000$, $C=10.000$), con una similarità media di 0,994.
  • I risultati indicano che la maggior parte degli errori sono "quasi successi" (il token corretto è classificato molto in alto ma non viene selezionato) piuttosto che ambiguità genuine, poiché l'ampliamento della finestra dei candidati $C$ recupera la maggior parte di questi fallimenti.
  • L'analisi del runtime mostra un compromesso: il metodo continuo proposto è più lento (17,8s/token per la Baseline) rispetto al riferimento SIPIT (0,65s/token), che raggiunge il 100% di EM tramite un'uscita anticipata aggressiva e proiezione per step.
• Analisi del Fallimento e Asimmetria: Lo studio rivela una netta asimmetria categorica nei modi di fallimento. La stragrande maggioranza dei fallimenti di ricostruzione avviene su parole funzionali ad alta frequenza precedute da spazi (es. " the", " ,", " and"). Questi token risiedono in regioni dense e quasi collineari della matrice di embedding, rendendoli difficili da distinguere tramite distanza $\ell_1$. Al contrario, i token portatori di contenuto (nomi propri, termini tecnici) vengono recuperati quasi perfettamente. Ciò suggerisce che il contenuto sensibile e a bassa frequenza potrebbe essere più facile da trapelare rispetto al linguaggio naturale comune.

Significatività e Rivendicazioni
Il documento sostiene che gli stati nascosti dell'ultimo strato dei modelli decoder-only sono sensibili quanto il testo originale. I risultati mettono in discussione l'assunto che i vettori degli stati nascosti siano confini di privacy opachi nelle architetture distribuite (ad esempio, split inference, federated learning o API di embedding).

Gli autori affermano che la loro formulazione continua è significativa non perché sia il metodo più veloce, ma perché rende il processo di inversione "osservabile". Separando la ricerca continua dall'impegno discreto, il metodo fornisce strumenti diagnostici (traiettorie di rango, perdita discreta) che consentono di rilevare gli errori di ricostruzione e di comprendere meglio la geometria dello spazio degli embedding. Lo studio conclude che nei sistemi in cui gli attivazioni dell'ultimo strato vengono trasmesse o memorizzate, l'argomento della privacy crolla, poiché un algoritmo sufficientemente potente può recuperare l'input con alta probabilità. Gli autori raccomandano di trattare questi stati nascosti con la stessa sensibilità del testo grezzo e suggeriscono che le future difese (ad esempio, la privacy differenziale) debbano essere valutate utilizzando la diagnostica della perdita discreta per quantificare la degradazione della recuperabilità.