Cell-Based Representation of Relational Binding in Language Models

Problemstellung

Das Verständnis von Diskursen erfordert die Fähigkeit, Entitäten und die Beziehungen zwischen ihnen über mehrere Sätze hinweg zu verfolgen. Während Large Language Models (LLMs) in relationalen Schlussfolgerungen gut abschneiden, ist der interne Mechanismus, durch den sie Entitäten, Relationen und Attribute „binden" (verknüpfen), weitgehend unklar. Bisherige Forschung konzentrierte sich stark auf sehr kurze Texte mit wenigen Entitäten und untersuchte oft nur eindimensionale Bindungen (z. B. Entität zu Attribut). Es fehlte jedoch an Erkenntnissen darüber, wie LLMs komplexe, diskursübergreifende relationalen Strukturen verarbeiten, bei denen eine Entität über mehrere verschiedene Relationen hinweg mit verschiedenen Attributen verknüpft ist.

Methodik

Die Autoren führen eine mechanistische Analyse durch, um zu verstehen, wie LLMs diese Bindungen kodieren. Die zentrale Methode besteht aus folgenden Schritten:

1. Datengenerierung und Indexierung: Es wurden kontrollierte, mehrsätzige Diskurse generiert, die mehrere Entitäten und Relationstypen enthalten. Jeder Attribut-Token wurde mit einem Indexierten Relationalen Schema (IRS) annotiert. Dies abstrahiert die semantische Struktur in diskrete Indizes: einen Entitätsindex ($e_i$) und einen Relationsindex ($r_i$), die die Einführungsreihenfolge im Diskurs widerspiegeln.
2. Identifikation des CBR-Unterraums: Um den Raum zu finden, in dem diese Indizes kodiert sind, wurde Partial Least Squares (PLS) Regression verwendet. Das Ziel war es, eine lineare Projektion zu finden, die die Aktivierungsvektoren von Attribut-Tokens (aus einer mittleren Schicht des Modells, z. B. Layer 15) auf die zugehörigen Indizes ($e_i, r_i$) abbildet.
3. Kausale Interventionen (Activation Patching): Um die kausale Relevanz des identifizierten Unterraums zu testen, wurden gezielte Eingriffe vorgenommen:
   • Patching: Die Aktivierungen wurden entlang der PLS-Richtungen manipuliert, um zu sehen, ob sich die Vorhersagen des Modells systematisch ändern.
   • Steering: Die Indizes in den Eingaben wurden künstlich verschoben (z. B. Änderung des Relationsindex im One-Shot-Beispiel), um zu prüfen, ob das Modell die Antwort entsprechend anpasst.
   • Störungsanalyse: Das Hinzufügen von Rauschen in den CBR-Unterraum im Vergleich zu einem zufälligen Unterraum, um den Einfluss auf die Genauigkeit zu messen.
4. Generalisierungstests: Die Stabilität und Generalisierbarkeit des CBR-Unterraums wurde über verschiedene Domänen (Länder, Städte, Jobs, Objekte), verschiedene Modellfamilien (Llama3-8B, Qwen3-8B) und verschiedene Diskursmuster getestet.

Hauptbeiträge: Cell-Based Binding Representation (CBR)

Die Studie identifiziert und charakterisiert einen neuen Mechanismus, den sie Cell-Based Binding Representation (CBR) nennen:

• Gitterartige Struktur: Der CBR-Unterraum ist ein niedrigdimensionaler linearer Unterraum im Aktivierungsraum des Modells. In diesem Raum sind die Bindungen in einer gitterartigen Struktur angeordnet. Jede „Zelle" (Cell) entspricht einem spezifischen Paar aus Entitätsindex und Relationsindex ($e_i, r_i$).
• Lineare Decodierbarkeit: Die Indizes $e_i$ und $r_i$ können linear aus den Aktivierungen decodiert werden. Die Visualisierung zeigt zwei dominante Richtungen: eine für die Entitätsindizes und eine für die Relationsindizes.
• Kausaler Mechanismus: Die Manipulation der Aktivierungen innerhalb dieses CBR-Unterraums führt zu vorhersehbaren Änderungen in den Logits des Modells. Wenn eine Aktivierung von einer Zelle in eine andere verschoben wird, ändert sich die vorhergesagte Antwort entsprechend der neuen Zelle (z. B. von „China" zu „Frankreich", wenn der Relationsindex geändert wird).
• Kontextübergreifende Transferfähigkeit: Obwohl die genaue Position des CBR-Unterraums kontextabhängig ist, lassen sich die Unterräume verschiedener Kontexte durch Translationsvektoren im Aktivierungsraum aufeinander abbilden. Dies ermöglicht es, Indizes über verschiedene Kontexte hinweg zu übertragen.

Ergebnisse

• Hohe Decodierbarkeit: PLS-Modelle erreichen eine nahezu perfekte Anpassung ($R^2 \approx 1.0$) bei der Vorhersage der Indizes aus den Aktivierungen mit nur wenigen Komponenten (2–5).
• Kausale Evidenz: Störungen im CBR-Unterraum führen zu einem signifikanten Abfall der Vorhersagegenauigkeit, während Störungen in zufälligen Richtungen kaum Auswirkungen haben. Dies beweist, dass das Modell diesen spezifischen Unterraum für das Binden nutzt.
• Robustheit: Die CBR-Struktur bleibt stabil, selbst wenn die Oberflächenstruktur des Textes verändert wird (z. B. durch Ablation von Attributen oder Umordnung der Sätze), solange die zugrunde liegende relationale Struktur erhalten bleibt.
• Semantische Information: Der Unterraum kodiert nicht nur Indizes, sondern reflektiert auch semantische Ähnlichkeiten zwischen Relationen (z. B. bilden semantisch ähnliche Relationen Cluster im Unterraum).
• Modellunabhängigkeit: Die Ergebnisse gelten für verschiedene Modellarchitekturen (Llama3 und Qwen) und verschiedene Domänen.
• Anwendung auf reale Daten: Der CBR-Signal lässt sich auch in realen Relationsextraktions-Datensätzen (Re-DocRED) identifizieren, insbesondere wenn der Kontext dem Trainingskontext ähnelt.

Bedeutung und Implikationen

Diese Arbeit liefert einen fundamentalen Einblick in die interne Funktionsweise von LLMs bei der Diskursverarbeitung:

1. Erweiterung der Linearen Repräsentations-Hypothese: Sie zeigt, dass komplexe, mehrdimensionale relationalen Bindungen nicht chaotisch, sondern in einer strukturierten, gitterförmigen Geometrie kodiert werden.
2. Interpretierbarkeit und Kontrolle: Das Verständnis des CBR-Unterraums ermöglicht es, interne Weltzustände von LLMs präzise zu überwachen und zu manipulieren. Dies ist ein wichtiger Schritt zur Verbesserung der Zuverlässigkeit und zur Reduzierung von Verzerrungen (Bias), da man Bindungen gezielt korrigieren kann.
3. Grundlage für zukünftige Forschung: Die Entdeckung bietet eine neue Perspektive für die Analyse von Reasoning-Prozessen in LLMs und könnte zu besseren Methoden für Relationsextraktion und Diskursverständnis führen.

Zusammenfassend beweist das Paper, dass LLMs diskursübergreifende relationale Bindungen nicht durch komplexe, nicht-lineare Muster, sondern durch eine elegante, niedrigdimensionale und geometrisch strukturierte „Zellen-basierte" Repräsentation lösen.