Technische Zusammenfassung: Generative Rekursive Reasoning-Modelle (GRAM)

Problemstellung

Zukünftige neuronale Reasoning-Systeme stehen vor einer zentralen Herausforderung: Wie lässt sich erweiterte Berechnung effizient implementieren? Während große autoregressive Modelle das Reasoning durch Verlängerung der Sequenzgenerierung skalieren (z. B. Chain-of-Thought), bieten Rekursive Reasoning-Modelle (RRMs) eine Alternative, indem sie einen persistenten latenten Zustand durch wiederholte Anwendung geteilter Übergangsfunktionen verfeinern. Dieser Ansatz entkoppelt die Reasoning-Tiefe von der Parametergröße und der Ausgabelänge.

Bestehende RRMs (z. B. HRM, TRM) sind jedoch fundamental deterministisch. Bei gleichem Input und gleicher Initialisierung folgen sie einer einzigen latenten Trajektorie und konvergieren zu einer einzigen Vorhersage. Dieser Determinismus kollabiert den Raum plausibler Reasoning-Pfade zu einem einzigen Attraktor, versagt darin, Unsicherheit zu bewahren, alternative Hypothesen zu berücksichtigen oder multiple Lösungsstrategien zu erkunden. Dies ist besonders einschränkend für Probleme mit intrinsischer Ambiguität, mehreren gültigen Lösungen oder dort, wo ein einzelner Verfeinerungspfad in suboptimalen Reasoning-Trajektorien stecken bleiben kann. Die zentrale Frage lautet: Kann rekursive latente Berechnung probabilistisches, generatives, multi-hypothesenbasiertes Reasoning unterstützen, während die Effizienz kompakter rekurrenter Modelle erhalten bleibt?

Methodik: Generative Rekursive Reasoning-Modelle (GRAM)

GRAM führt ein Framework ein, das rekursive latente Reasoning in probabilistische Multi-Trajektorien-Berechnung transformiert. Es behandelt den Reasoning-Prozess als stochastische latente Trajektorie und ermöglicht dem Modell, mehrere Hypothesen zu bewahren und alternative Lösungsstrategien zu erkunden.

1. Architektur

GRAM modelliert die bedingte Verteilung $p_\theta(y | x)$ durch Marginalisierung über stochastische latente Reasoning-Trajektorien. Die Architektur besteht aus einem Encoder, einem rekursiven Kern und einem Decoder, organisiert in zwei verschachtelten Schleifen:

• Innere Schleife (Niedrig-Level-Verfeinerung): Innerhalb eines einzelnen Übergangs wird eine niedrig-level latente Komponente $l$ $K$-mal unter Verwendung einer deterministischen Funktion $f_L$ verfeinert, konditioniert auf den High-Level-Zustand $h$ und das Input-Embedding $e_x$.

• Äußere Schleife (High-Level-Übergang): Die High-Level-Komponente $h$ wird einmal pro Übergang aktualisiert. Im Gegensatz zu deterministischen RRMs definiert GRAM diese Aktualisierung als stochastischen Übergang:

  1. Ein deterministischer Update $u_t$ wird berechnet: $u_t = f_H(h_{t-1}, l_t; \theta)$.
  2. Ein lernbarer stochastischer Guidance $\epsilon_t$ wird aus einem zustandsabhängigen Gauß-Prozess gesampelt: $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$.
  3. Der neue Zustand ist $h_t = u_t + \epsilon_t$.

  Dieses Design ermöglicht es dem Modell, Unsicherheit zu erfassen und die Trajektorie über den Mittelwert $\mu_\theta$ zu steuern, während die Exploration über die Varianz $\sigma^2_\theta$ kontrolliert wird. Die niedrig-level Verfeinerung bleibt deterministisch, während Stochastizität nur im hoch-level abstrakten Zustand injiziert wird.

• Rekursive Struktur: Die Berechnung verläuft durch $N_{sup}$ Supervisionsschritte. Der Endzustand eines Schritts dient als Anfangszustand des nächsten und bildet eine vollständige rekursive Kette.

2. Training

GRAM wird unter Verwendung amortisierter variationaler Inferenz trainiert, um die Evidence Lower Bound (ELBO) zu maximieren.

• Latente Variablen-Formulierung: Das Modell marginalisiert über latente Trajektorien $\tau$. Die ELBO wird bezüglich der generativen Parameter $\theta$ und der variationalen Parameter $\phi$ optimiert.
• Tiefe Supervision: Um dichte Lernsignale bereitzustellen, wendet das Modell tiefe Supervision über $N_{sup}$ aufeinanderfolgende Schritte an. Gradienten werden nur durch den finalen Übergang jedes Supervisionsschritts propagiert (abgeschnittene Backpropagation), um Speichereffizienz zu gewährleisten und dienen als Surrogat-Ziel für die vollständige ELBO.
• Unbedingte Generierung: Durch Ersetzen des Inputs mit einem leeren Konditionierungs-Embedding definiert derselbe rekursive Prozess ein unbedingtes generatives Modell $p_\theta(x)$.

3. Inference-Time-Skalierung

GRAM unterstützt zwei Achsen der Skalierung:

• Tiefe: Unter Verwendung von Adaptive Computation Time (ACT) können Trajektorien bei einer gelernten Halte-Tiefe terminieren.
• Breite: Das Modell sampelt mehrere latente Trajektorien parallel aus der gelernten Prior. Kandidaten werden per Mehrheitsvoting oder einem Latent Process Reward Model (LPRM) ausgewählt, das die finale Qualität einer Trajektorie aus ihrem latenten Zustand vorhersagt. Dies ermöglicht das Skalieren des Inference ohne Erhöhung der sequenziellen Rekursionstiefe.

Hauptbeiträge

1. Probabilistische Formulierung: Die Autoren formulieren rekursives Reasoning als latent-variable-generativen Prozess, bei dem Lösungen durch Marginalisierung über stochastische Reasoning-Trajektorien erhalten werden, anstatt einem einzigen deterministischen Pfad zu folgen.
2. Breitenbasierte Skalierung: Die Arbeit führt eine „breitenbasierte" Inference-Time-Skalierung ein, die Leistungsverbesserungen durch paralleles Sampeln mehrerer latenter Trajektorien ermöglicht und die traditionelle tiefenbasierte Skalierung ergänzt.
3. Empirische Validierung: Die Autoren liefern Belege dafür, dass diese Formulierung architektonische Vorteile gegenüber deterministischen rekurrenten und rekursiven Baselines bietet, speziell in strukturiertem Reasoning, Multi-Lösungs-Einschränkungserfüllung und unbedingter Generierung.

Experimentelle Ergebnisse

GRAM wurde auf kontrollierten Reasoning- und Generierungsaufgaben evaluiert, im Vergleich zu deterministischen Baselines (Looped Transformers, HRM, TRM) und großen Reasoning-Modellen (LRMs) als externe Referenzen.

• Strukturiertes Reasoning (Sudoku-Extreme, ARC-AGI): GRAM übertrifft deterministische rekursive Baselines konsistent. Auf Sudoku-Extreme erreicht GRAM 97,0% Genauigkeit im Vergleich zu 87,4% für TRM und 55,0% für HRM. Auf ARC-AGI-1 erreicht GRAM 52,0% und übertrifft TRM (44,6%) und HRM (40,3%). Die Autoren führen dies auf die Fähigkeit zurück, diverse Reasoning-Trajektorien zu erkunden.
• Multi-Lösungs-Aufgaben (N-Queens, Graph Coloring): Deterministische Modelle leiden unter Mode-Collapse, wenn die Anzahl gültiger Lösungen zunimmt. GRAM behält eine konsistente Genauigkeit unabhängig von der Lösungsanzahl bei. Auf 8x8 N-Queens erreicht GRAM 99,7% Genauigkeit und 90,3% Abdeckung (einzigartige gültige Lösungen gefunden) und übertrifft damit signifikant deterministische Modelle (max. 36,1% Abdeckung) sowie generative Baselines wie AR (84,8% Abdeckung).
• Unbedingte Generierung:
  • Binarisiertes MNIST: GRAM produziert erkennbare Ziffern mit Inception Scores (IS) und FID, die mit D3PM vergleichbar sind, während die deterministische TRM-Baseline einen schweren Mode-Collapse zeigt (FID 303,29).
  • Sudoku-Generierung: Von einem leeren Brett aus generiert GRAM gültige Sudoku-Bretter mit 99,05% Validität unter Verwendung von nur 16 Inference-Schritten und 10,9M Parametern und übertrifft D3PM-Baselines, die bis zu 1000 Schritte und 55,1M Parameter verwenden.
• Ablationsstudien: Das Entfernen der stochastischen Guidance führt zu Leistungseinbußen, insbesondere bei Multi-Lösungs-Aufgaben. Das vollständige Entfernen der Stochastizität verursacht einen kompletten Zusammenbruch (0% Genauigkeit), was bestätigt, dass die Gewinne aus dem variationalen Framework und nicht aus bloßer Zufälligkeit stammen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GRAM probabilistische Multi-Trajektorien-Rekursion als Designprinzip für zukünftige rekurrente und rekursive Reasoning-Architekturen etabliert. Indem GRAM deterministische Rekursion in einen generativen Prozess verwandelt, ermöglicht es:

• Robuste Exploration: Die Fähigkeit, komplexe Problemräume zu navigieren und lokalen Minima zu entkommen, indem mehrere Hypothesen bewahrt werden.
• Effiziente Skalierung: Eine neue Achse für Inference-Time-Skalierung (Breite), die die Latenz-Engpässe der rein tiefenbasierten Skalierung umgeht.
• Einheitliche Modellierung: Die Fähigkeit, sowohl als bedingtes Reasoning-Modell ($p(y|x)$) als auch als unbedingtes generatives Modell ($p(x)$) unter Verwendung desselben rekursiven Mechanismus zu fungieren.

Die Autoren weisen darauf hin, dass GRAM zwar Potenzial in strukturiertem Reasoning und Generierung demonstriert, die sequenzielle Natur der tiefen Supervision jedoch die Trainingseffizienz im Vergleich zu Transformern begrenzt und eine Hürde für die Skalierung hin zu größeren Foundation-Modellen darstellt. Sie warnen zudem, dass plausible, aber ungültige Generierungen in hochriskanten Umgebungen mit verifizierten Lösungen verwechselt werden könnten, was eine rigorose Validierung und Unsicherheitskalibrierung erfordert.