Rep2Text: Decoding Full Text from a Single LLM Token Representation

Titel und Kernproblem

Das Paper untersucht eine fundamentale Frage im Bereich der Interpretierbarkeit von Large Language Models (LLMs): Inwieweit kann der ursprüngliche Eingabetext aus einer einzigen Repräsentation des letzten Tokens (Last-Token Representation) eines LLMs wiederhergestellt werden?

Obwohl LLMs in vielen Aufgaben hervorragend abschneiden, bleiben ihre internen Mechanismen oft undurchsichtig („Black Box"). Bisherige Arbeiten zur Repräsentationsinversion konzentrierten sich entweder auf die Sicherheit (Wiederherstellung von Eingaben aus Embeddings) oder auf die Interpretierbarkeit unter Nutzung von Kontextinformationen (wie Templates oder Originaltext). Ein entscheidendes Forschungslücke bestand darin, zu verstehen, wie viel Information in der komprimierten, letzten Token-Repräsentation allein enthalten ist, ohne iterative Suchverfahren oder zusätzliche Hinweise. Da diese Repräsentation für die Vorhersage des nächsten Tokens optimiert ist, fungiert sie als Informations-Engpass (Information Bottleneck).

Methodik: Das Rep2Text-Framework

Die Autoren stellen Rep2Text vor, ein neues Framework zur Dekodierung von Text aus diesen komprimierten Repräsentationen. Der Ansatz ist inspiriert von Vision-Language-Modellen (wie LLaVA) und besteht aus zwei Hauptkomponenten:

1. Trainierbarer Adapter:

   • Dieser Adapter projiziert die interne Repräsentation $h_\ell$ des letzten Tokens aus dem Zielmodell $M$ (Target Model) in den Token-Embedding-Raum eines Decodierungsmodells $M'$.
   • Die Architektur ist ein zweischichtiges MLP (Multi-Layer Perceptron) mit gated skip connections.
   • Der Adapter wandelt die eindimensionale Repräsentation in eine Sequenz von $k$ Token-Embeddings um, die als Eingabe für das Decodierungsmodell dienen.
   • Die Projektion aligniert den latenten Raum des Zielmodells mit dem Embedding-Raum des Decoders.

2. Decodierungs-LLM:

   • Ein separates LLM (z. B. Llama-3.1-8B oder Qwen-2.5) nimmt die projizierten Embeddings zusammen mit System- und User-Prompts entgegen.
   • Es ignoriert dabei seine eigene Embedding-Schicht für diese Eingaben und generiert autoregressiv den rekonstruierten Text $\hat{S}$.

Training:
Das Training erfolgt durch Minimierung der Kreuzentropie zwischen dem generierten Text und dem Ground-Truth-Text (Original). Es werden zwei Schemata verglichen:

• Adapter-only Fine-Tuning: Nur der Adapter wird trainiert, das Decodierungsmodell bleibt eingefroren.
• Joint Fine-Tuning: Adapter und Decodierungsmodell (via LoRA) werden gemeinsam aktualisiert.
  Zur Stabilisierung wird Label Smoothing eingesetzt.

Hauptergebnisse

Die Experimente wurden mit verschiedenen Modellkombinationen (Llama-3.1-8B, Gemma-7B, Mistral-7B, Llama-3.2-3B, Qwen-2.5) und Datensätzen (Wikipedia, klinische Notizen) durchgeführt.

1. Hohe Wiederherstellungsrate trotz Kompression:

   • Überraschenderweise können ca. 50 % der ursprünglichen Tokens in Sequenzen von 16 Tokens aus der einzigen letzten Token-Repräsentation wiederhergestellt werden.
   • Dies geschieht ohne iterative Suche, rein durch autoregressive Generierung.
   • Die semantische Kohärenz bleibt dabei stark erhalten, auch wenn nicht jedes Wort exakt übereinstimmt.

2. Informations-Engpass-Effekt (Sequence Length):

   • Mit zunehmender Sequenzlänge nimmt die token-level-Wiederherstellung deutlich ab (z. B. sinkt ROUGE-1 von ~0,6 bei 8 Tokens auf ~0,3 bei 64 Tokens).
   • Semantische Information (Themenrelevanz, BERTScore) bleibt jedoch auch bei längeren Sequenzen relativ gut erhalten. Das Modell verliert die Details, behält aber den Kerninhalt bei.

3. Schichtspezifische Analyse (Layer-wise Analysis):

   • Frühe bis mittlere Schichten (ca. Layer 10–15): Enthalten die beste Information für strukturelle und lexikalische Details (Syntax, Entitäten).
   • Spätere Schichten: Fokussieren sich stärker auf hochrangige Semantik und Themen, verlieren aber die Fähigkeit, die genaue Wortwahl wiederherzustellen.

4. Skalierungseffekte:

   • Die Skalierung des Decodierungsmodells (z. B. von 14B auf 32B Parameter) bringt nur marginale Verbesserungen.
   • Die Leistung hängt stärker von der Modellfamilie ab als von der reinen Größe.
   • Cross-Model-Inversion (z. B. Mistral als Target, Llama als Decoder) funktioniert robust, was die Hypothese einer gemeinsamen Repräsentationsstruktur (Platonic Representation Hypothesis) stützt.

5. Generalisierung (OOD-Daten):

   • Im Vergleich zur Baseline Vec2Text (die auf iterativer Optimierung basiert) zeigt Rep2Text eine überlegene Generalisierungsfähigkeit auf Out-of-Distribution-Daten (klinische Notizen).
   • Vec2Text scheiterte bei klinischen Daten fast vollständig, während Rep2Text sinnvolle medizinische Zusammenfassungen rekonstruierte. Dies deutet darauf hin, dass Rep2Text echte repräsentative Eigenschaften lernt und nicht nur Trainingsmuster überanpasst.

Bedeutung und Implikationen

• Sicherheitsrisiko: Die Ergebnisse zeigen, dass selbst die komprimierte letzte Token-Repräsentation, die oft als sicherer Engpass betrachtet wird, signifikante Informationen über den ursprünglichen Eingabetext enthält. Dies unterstreicht potenzielle Datenschutzrisiken und die Möglichkeit von Inversionsangriffen.
• Interpretierbarkeit: Das Framework bietet ein neues Werkzeug, um zu verstehen, welche Art von Information (Syntax vs. Semantik) in welchen Schichten eines LLMs kodiert ist.
• Effizienz: Die Fähigkeit, Text aus einem einzigen Vektor zu rekonstruieren, ohne aufwendige iterative Suchprozesse, eröffnet neue Wege für die Analyse und Kompression von LLM-Interaktionen.

Zusammenfassend beweist Rep2Text, dass die „Black Box" der LLMs durch eine einzige Repräsentation teilweise entschlüsselbar ist, wobei die Art der wiederherstellbaren Information (Detail vs. Kontext) stark von der Tiefe der Schicht und der Länge der Eingabe abhängt.