To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

1. Problemstellung

Das Paper untersucht die Fähigkeit von Decoder-only-Transformer-Modellen, abstrakte symbolische Reasoning-Aufgaben (insbesondere Aussagenlogik) im Kontext (In-Context-Learning) zu lösen. Ein zentrales Problem besteht darin, dass diese Modelle oft scheitern, wenn sie mit unbeobachteten Token (neuen Variablennamen, die während des Trainings nicht vorkamen) konfrontiert werden.

Frühere Arbeiten zeigten, dass Transformer Schwierigkeiten haben, unbeobachtete Token zu kopieren oder zu generieren. Die Autoren identifizieren jedoch einen bisher übersehenen mechanistischen Grund für dieses Versagen: Während des Trainings kollabieren die Unembeddings (die Gewichte der letzten Schicht für die Token-Ausgabe) unbeobachteter Token zu fast identischen Vektoren. Dies macht es dem Modell unmöglich, verschiedene unbeobachtete Variablen voneinander zu unterscheiden, was zu einem Versagen bei der symbolischen Verallgemeinerung führt.

2. Methodik und Theoretische Analyse

Theoretischer Beweis (Kollaps der Gewichte):
Die Autoren beweisen theoretisch, dass bei der Optimierung von Softmax-Klassifikatoren mittels Gradient Descent (GD) oder Stochastic Gradient Descent (SGD) mit $L_2$-Regularisierung (Weight Decay) und Layer Normalization die Gewichte für unbeobachtete Labels (Token) zwangsläufig kollabieren.

• Mechanismus: Wenn ein Label $i$ oder $j$ in den Trainingsdaten nicht vorkommt, führt jeder Optimierungsschritt dazu, dass sich die Gewichtsvektoren $W_i$ und $W_j$ annähern (kontrahieren).
• Bedingung: Dieser Effekt tritt auf, wenn die Eingabe-Features normiert sind (durch LayerNorm) und das Modell die Trainingsdaten gut genug passt, sodass die Wahrscheinlichkeit für unbeobachtete Labels gegen Null geht.

Architekturelle Änderungen:
Um das Kopieren von Token zu erleichtern, wird eine modifizierte Architektur eingeführt:

• Copy Attention: Eine zusätzliche Attention-Schicht, die direkt auf die Eingabe-Embeddings ($X W_E$) zugreift, anstatt auf die verarbeiteten Hidden States. Dies ermöglicht es dem Modell, Eingabe-Token direkt in die Ausgabe zu kopieren, ohne sie durch die MLP-Schichten propagieren zu müssen. Dies ist eine Erweiterung des Ansatzes von Boix-Adserà et al. (2024).

Experimentelle Strategien zur Vermeidung des Kollapses:
Um den Kollaps zu verhindern und die Generalisierung zu ermöglichen, testen die Autoren drei Hauptansätze:

1. Einfrieren der (Un)Embeddings: Die Embedding-Matrix wird während des Trainings nicht aktualisiert (bleibt orthogonal und unterscheidbar).
2. Aktives Vergessen (Active Forgetting): Die Embeddings werden periodisch (z. B. alle 100 Schritte) zurückgesetzt.
3. Temporäres aktives Vergessen: Das Zurücksetzen erfolgt nur in den ersten Trainingsphasen (basierend auf Anand et al., 2025).
4. Daten-Diversität: Erhöhung der Anzahl der Trainings-Token, um die Induktionsverzerrung zu überwinden.

3. Experimente und Ergebnisse

Die Autoren führten umfangreiche kontrollierte Experimente auf synthetischen Daten der Aussagenlogik durch (Horn-Klauseln, Forward-Chaining-Algorithmus).

Synthetische Experimente:

• Standard-Transformer: Scheitert vollständig, wenn unbeobachtete Token als Variablen oder in der Query vorkommen. Das Modell lernt, diese Token nicht zu generieren, und ignoriert sie oder ersetzt sie durch bekannte Token.
• Copy Attention allein: Verbessert die Leistung bei einem unbeobachteten Token, scheitert aber, wenn alle Variablen unbeobachtet sind, da der Kollaps der Unembeddings die Unterscheidung unmöglich macht.
• Kombinierte Lösung: Die Kombination aus Copy Attention, hoher symbolischer Diversität im Trainingsdatensatz und entweder eingefrorenen oder periodisch zurückgesetzten (Un)Embeddings führt zu einer robusten Generalisierung auf unbeobachtete Token.
• Ergebnis: Modelle mit eingefrorenen Embeddings erreichen hohe Genauigkeit auch bei vollständig unbeobachteten Prädikaten. Temporäres Zurücksetzen funktioniert nur in Kombination mit Copy Attention gut.

Experimente mit Gemma 3 (Open-Weight Modelle):
Die Autoren untersuchten die Gemma 3-Familie (1B bis 27B Parameter), die 99 absichtlich ungenutzte Token für Downstream-Anwendungen enthält.

• Beobachtung: Die Embeddings der ungenutzten Token zeigen eine signifikant höhere kosinische Ähnlichkeit (Korrelation) als die der verwendeten Token. Dies bestätigt den Kollaps-Effekt auch in großen, vortrainierten Modellen.
• Fine-Tuning: Beim Fine-Tuning von Gemma 3 1B auf Logik-Aufgaben mit ungenutzten Token war der Lernprozess deutlich langsamer (ca. 5000 Schritte für 90% Genauigkeit) im Vergleich zu bekannten Token wie Buchstaben oder Adjektiven (ca. 500 Schritte). Dies deutet darauf hin, dass die korrelierten Embeddings eine schlechte Initialisierung für Downstream-Aufgaben darstellen.

4. Wichtige Beiträge

1. Identifikation des Kollaps-Mechanismus: Der Nachweis, dass der Kollaps der Unembeddings unbeobachteter Token ein Hauptgrund für das Versagen der symbolischen Verallgemeinerung ist.
2. Theoretische Fundierung: Ein mathematischer Beweis, dass $L_2$-regularisiertes SGD in Kombination mit LayerNorm zu diesem Kollaps führt.
3. Lösungsansatz: Die Demonstration, dass eine Kombination aus architektonischen Änderungen (Copy Attention), Datendiversität und Strategien zur Verhinderung des Kollapses (Einfrieren/Resetting) das Problem löst.
4. Relevanz für große Modelle: Der Nachweis, dass dieser Effekt auch in großen, kommerziell verfügbaren Modellen (Gemma 3) existiert und negative Auswirkungen auf das Fine-Tuning hat.

5. Bedeutung und Implikationen

Das Paper liefert eine mechanistische Erklärung dafür, warum Transformer-Modelle oft nur oberflächliche Muster lernen und bei echten symbolischen Reasoning-Aufgaben mit neuen Symbolen versagen. Es widerlegt die Annahme, dass reine Architekturänderungen (wie Copy Heads) allein ausreichen; die Dynamik der Embedding-Parameter ist entscheidend.

Die Ergebnisse haben direkte Auswirkungen auf:

• Architektur-Design: Die Notwendigkeit, Mechanismen zur Unterscheidung unbeobachteter Token (z. B. durch Copy Heads oder spezielle Embedding-Strategien) zu integrieren.
• Training-Strategien: Die Empfehlung, Embeddings bei Aufgaben, die starke symbolische Verallgemeinerung erfordern, zu frieren oder periodisch zu resetten.
• Downstream-Anwendungen: Die Warnung, dass ungenutzte Token in großen Sprachmodellen aufgrund von Kollaps-Effekten eine suboptimale Basis für Fine-Tuning bilden können.

Zusammenfassend bietet das Paper einen tiefen Einblick in die Grenzen der aktuellen Transformer-Architekturen bei abstraktem Denken und liefert praktische, theoretisch untermauerte Lösungen, um diese Grenzen zu überwinden.