Latent Chain-of-Thought Improves Structured-Data Transformers

Technischer Zusammenfassung: Latente Chain-of-Thought verbessert Transformer für strukturierte Daten

Problemstellung
Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben gezeigt, dass die Skalierung der Rechenleistung zur Laufzeit, insbesondere durch Chain-of-Thought (CoT)-Schlussfolgerungen, die Fähigkeiten zur logischen Schlussfolgerung erheblich verbessern kann und dabei manchmal eine einfache Skalierung der Parameteranzahl übertrifft. Während Mechanismen wie „Coconut" (Rückführung verborgener Zustände als Embeddings) und rekursive Tiefe (iteratives Anwenden gemeinsamer Transformer-Blöcke) im Bereich natürlicher Sprache untersucht wurden, ist unklar, ob diese Vorteile auf Domänen strukturierter Daten übertragbar sind. State-of-the-Art-Modelle für tabellarische Vorhersagen (z. B. TabPFN, TabICL) und Zeitreihenvorhersagen (z. B. Chronos, TimesFM) arbeiten derzeit über einen einzigen Vorwärtsdurchlauf über strukturierte Beobachtungen. Dieser Beitrag untersucht, ob die Einführung einer latenten Chain-of-Thought – mehrere Runden latenter Berechnung vor der Vorhersage – die Leistung in diesen Umgebungen strukturierter Daten verbessern kann.

Methodik
Die Autoren schlagen ein rekursives Schema für Transformer für strukturierte Daten vor, das mehrere Berechnungsrunden vor der Generierung einer endgültigen Vorhersage ermöglicht. Der Kernmechanismus funktioniert wie folgt:

1. Erster Durchlauf: Ein Transformer $f_\theta$ verarbeitet die Eingabe (Kontext- und Abfrage-Token), um verborgene Zustände zu erzeugen.
2. Komprimierung: Die verborgenen Zustände an den Abfragepositionen ($H_q$) werden über ein kleines Multi-Layer-Perceptron (MLP) $\phi_\theta$ zu „Feedback-Token" ($Z$) komprimiert.
3. Rekursion: Diese Feedback-Token werden an die ursprüngliche Eingabesequenz angehängt. Der Transformer wird dann erneut auf dieser erweiterten Sequenz ausgeführt.
4. Iteration: Dieser Vorgang wiederholt sich für $R$ Rekursionen. Die endgültige Vorhersage wird aus den verborgenen Zuständen an den ursprünglichen Abfragepositionen nach dem $R$-ten Durchlauf decodiert.

Die Studie bewertet diesen Ansatz in zwei Domänen:

• Tabellarische Vorhersage: Nutzung der dreistufigen Architektur von TabICL (spaltenweise, zeilenweise und im-Kontext-Lernen-Transformer). Die Rekursion wird spezifisch im Stadium des im-Kontext-Lernens angewendet, wobei Feedback-Token an die Sequenz der Zeilen-Embeddings angehängt werden.
• Zeitreihenvorhersage: Verwendung eines patch-basierten Vorhersage-Transformers. Verborgene Zustände zukünftiger Abfragen werden komprimiert und an die Eingabesequenz angehängt, bevor der Transformer-Stack erneut ausgeführt wird.

Experimentelles Design und Baselines
Um die spezifischen Beiträge der latenten CoT zu isolieren, trainieren die Autoren Modelle von Grund auf auf einzelnen Datensätzen und vergleichen sie mit drei unterschiedlichen Baselines:

1. Baseline gleicher Tiefe: Ein Standard-Transformer ohne Rekursion ($R=0$) und mit gleicher Anzahl an Schichten. Dies kontrolliert die Parameteranzahl.
2. Tiefere Baseline: Ein Transformer mit doppelt so vielen Schichten ($2L$), der ohne Rekursion trainiert wurde. Dies entspricht der effektiven Vorwärtsdurchlauf-Tiefe und den FLOPs eines CoT-Modells mit $R=1$, verdoppelt jedoch die Parameteranzahl und isoliert Gewinne aus Tiefe/Kapazität gegenüber Rekursion.
3. Geregelte Baselines (Looped Baselines): Modelle, die Gewichte über die Durchgänge hinweg teilen (rekursive Tiefe), aber keine Feedback-Token an die Eingabe anhängen. Dazu gehören gewichtsgespannte Einzelblock-Schleifen und Schleifen im Stil von Universal-Transformern über Multi-Block-Stacks. Dies isoliert den Beitrag der expliziten CoT-Token gegenüber einer bloßen gewichtsgespannten Rekursion.

Wichtige Ergebnisse
Der Ansatz wurde auf 36 Datensätzen evaluiert: 9 aus dem LTSF-9-Zeitreihen-Benchmark und 27 aus einem OpenML-Teilbereich, der in TabPFN-Evaluierungen verwendet wurde.

• Leistungssteigerungen: Latente CoT verbesserte sich gegenüber der Baseline gleicher Tiefe auf 8/9 Zeitreihendatensätzen (durchschnittlicher Gewinn von +10,99% im Quantilverlust) und 22/27 tabellarischen Datensätzen (durchschnittlicher Gewinn von +5,31% in der Genauigkeit).
• Vergleich mit tieferen Baselines: CoT-Modelle übertrafen die tieferen, nicht-rekursiven Baselines durchschnittlich um 21,01% (Zeitreihen) und 4,75% (tabellarisch). Die tieferen Baselines schnitten bei Zeitreihenaufgaben oft schlechter ab als die ursprüngliche Baseline gleicher Tiefe, was auf Overfitting bei kleineren Datensätzen hindeutet.
• Vergleich mit geregelten Baselines: CoT-Modelle übertrafen gewichtsgespannte geregelte Modelle (die keine Feedback-Token besitzen) um 7,74% (Zeitreihen) und 3,82% (tabellarisch).
• Tiefenskalierung:
  • Zeitreihen: Die Leistung verbesserte sich über alle getesteten Tiefen hinweg ($R \in \{1, 2, 4, 8\}$), ohne einen klaren monotonen Trend, obwohl die Gewinne einen Sättigungspunkt erreichten. Bemerkenswert ist, dass ein bei $R=4$ trainiertes Modell bei der Evaluation auf $R=8$ generalisierte.
  • Tabellarisch: Die Leistung zeigte einen nicht-monotonen Trend; eine einzelne Rekursion ($R=1$) verschlechterte die Leistung leicht, aber zusätzliche Rekursionen ($R=2, 4$) erholten sich und übertrafen die Baseline.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass Chain-of-Thought eine nützliche Achse für die Skalierung der Rechenleistung zur Laufzeit für strukturierte Daten ist, die sich von einer einfachen Erhöhung der Modelltiefe oder der Parameteranzahl unterscheidet. Die Ergebnisse zeigen, dass:

1. Mechanismus der Verbesserung: Die Gewinne sind nicht allein auf erhöhte Rechenleistung oder Gewichtsspannung zurückzuführen. Der spezifische Mechanismus der Komprimierung verborgener Zustände an Abfragepositionen zu Feedback-Token und deren erneute Verarbeitung ist entscheidend. Die Unterperformance der geregelten Baselines deutet darauf hin, dass der Vorteil aus der Fähigkeit stammt, Zwischenberechnungen in eine Sequenz zu „schreiben", auf die nachfolgende Durchgänge achten können, und nicht nur aus der iterativen Verfeinerung eines verborgenen Zustands.
2. Übertragbarkeit: Das Paradigma der latenten CoT, das zuvor im Sprachmodellierung erfolgreich war, überträgt sich erfolgreich auf tabellarische und Zeitreihenvorhersageaufgaben.
3. Einschränkungen: Die Autoren stellen fest, dass ihre Erkenntnisse auf von Grund auf trainierten Modellen basieren; die Wirksamkeit latenter CoT auf großskaligen vortrainierten Foundation-Modellen bleibt eine offene empirische Frage. Zudem verwendet die aktuelle Implementierung eine feste Rekursionstiefe pro Modell statt eines adaptiven Mechanismus pro Eingabe, und die Interaktion mit Verteilungsverschiebungen wurde nicht untersucht.