Rep2Text: Decoding Full Text from a Single LLM Token Representation

1. Il Problema

I Large Language Models (LLM) sono spesso considerati "scatole nere" il cui funzionamento interno è opaco. Sebbene esistano ricerche precedenti sulla decodifica delle rappresentazioni interne (ad esempio tramite Logit Lens o Tuned Lens), queste si concentrano spesso su:

• L'inversione di intere sequenze di token o embedding di frasi.
• L'uso di prompt contestuali o informazioni di input originali per guidare la decodifica.
• L'ottimizzazione iterativa per recuperare il testo.

Il lavoro si pone una domanda fondamentale e finora poco esplorata: in che misura è possibile recuperare l'intero testo di input originale partendo esclusivamente dalla rappresentazione dell'ultimo token (last-token representation) di un LLM?
Questa sfida è particolarmente difficile perché la rappresentazione dell'ultimo token è ottimizzata per la previsione del prossimo token, agendo di fatto come un "collo di bottiglia" dell'informazione. L'obiettivo è invertire questa rappresentazione compressa in testo leggibile senza iterazioni e senza ausili esterni.

2. Metodologia: Rep2Text

Gli autori propongono Rep2Text, un nuovo framework per decodificare il testo dalle rappresentazioni dell'ultimo token. L'architettura è ispirata ai modelli visione-linguaggio (come LLaVA) e si compone di due elementi principali:

1. Adapter Addestrabile: Un modulo che mappa la rappresentazione interna del modello target (spazio latente) nello spazio degli embedding dei token di un modello di decodifica.
   • L'adapter è implementato come un MLP a due livelli con connessioni di skip gateate.
   • Trasforma il vettore di stato residuo dell'ultimo token ($h_\ell$) in un insieme di $k$ embedding di token proiettati ($X_e$).
   • Include meccanismi di normalizzazione (LayerNorm) e funzioni di attivazione (GELU).
2. Modello di Decodifica (Decoder LLM): Un modello linguistico (che può essere lo stesso del target o diverso) che riceve gli embedding proiettati dall'adapter, insieme a prompt di sistema e utente, e ricostruisce il testo originale in modo autoregressivo.

Addestramento:

• Viene utilizzato un approccio di teacher forcing per massimizzare la verosimiglianza dei token ground-truth.
• Viene impiegato lo smoothing delle etichette (label smoothing) per stabilizzare l'addestramento e prevenire l'overconfidence.
• Vengono testati due schemi: fine-tuning solo dell'adapter e joint fine-tuning (adapter + LoRA sul modello base).

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su diverse combinazioni di modelli (Llama-3.1-8B, Gemma-7B, Mistral-7B, Llama-3.2-3B, Qwen-2.5) e dataset (Wikipedia, note cliniche).

• Recupero del Testo: Su sequenze di 16 token, il framework riesce a recuperare in media circa la metà dei token originali (ROUGE-1 $\approx$ 0.5) mantenendo una forte coerenza semantica, senza ricerca iterativa.
• Effetto del Collo di Bottiglia: All'aumentare della lunghezza della sequenza, le prestazioni di recupero a livello di token diminuiscono drasticamente (da ~0.6 per 8 token a ~0.3 per 64 token). Tuttavia, le informazioni semantiche di alto livello (argomento, coerenza tematica) rimangono ben preservate anche per sequenze lunghe.
• Analisi per Layer:
  • Le informazioni strutturali e sintattiche sono più recuperabili nei layer intermedi (intorno al 10° layer).
  • Le informazioni lessicali e sugli entità raggiungono il picco nei layer centrali (15° layer).
  • Le informazioni semantiche di alto livello si consolidano nei layer successivi.
• Generalizzazione (OOD): Il metodo dimostra una robusta capacità di generalizzazione su dati fuori distribuzione (note cliniche), recuperando informazioni significative dove i metodi basati (come Vec2Text adattato) falliscono quasi completamente.
• Scalabilità: L'aumento delle dimensioni del modello di decodifica (es. da 14B a 32B) porta a miglioramenti marginali, suggerendo che l'efficacia dipende più dall'allineamento degli spazi di rappresentazione che dalla semplice scala del modello.

4. Contributi Chiave

1. Nuovo Paradigma di Inversione: Introduce il primo framework sistematico per decodificare il testo completo partendo da una singola rappresentazione dell'ultimo token, senza iterazioni o prompt contestuali.
2. Quantificazione dell'Informazione: Dimostra empiricamente che, nonostante l'ottimizzazione per la previsione del prossimo token, le rappresentazioni finali contengono una quantità sostanziale di informazioni recuperabili (circa il 50% dei token per sequenze brevi).
3. Analisi del Collo di Bottiglia: Fornisce una mappa dettagliata di come le informazioni (struttura, lessico, semantica) si evolvono e vengono compresse attraverso i layer di un LLM.
4. Robustezza e Generalizzazione: Evidenzia che il metodo supera i baseline esistenti (come Vec2Text) nella generalizzazione su dati reali e non visti (es. dati medici), suggerendo che cattura proprietà rappresentazionali genuine piuttosto che memorizzare pattern specifici.

5. Significato e Implicazioni

Il lavoro ha profonde implicazioni per la sicurezza e l'interpretabilità degli LLM:

• Rischi per la Privacy: Il fatto che il testo originale possa essere recuperato da una singola rappresentazione interna solleva preoccupazioni sulla privacy. Se un attaccante può accedere agli stati interni di un modello (ad esempio in scenari di API o modelli locali compromessi), potrebbe potenzialmente ricostruire dati sensibili di input.
• Interpretabilità: Offre un nuovo strumento per "leggere" cosa un modello sta effettivamente "pensando" o memorizzando in uno stato specifico, aiutando a comprendere meglio i meccanismi interni dei LLM.
• Limiti: Gli autori notano che le prestazioni diminuiscono con sequenze molto lunghe e che l'adattamento a domini specifici (come la medicina) può richiedere un allineamento attento, sebbene la generalizzazione sia comunque superiore ai metodi esistenti.

In sintesi, Rep2Text dimostra che le rappresentazioni interne degli LLM, anche se compresse in un singolo vettore, non sono completamente opache e contengono tracce significative dell'input originale, ponendo nuove sfide per la sicurezza e offrendo nuove opportunità per l'analisi dei modelli.