💬 NLP

The Complexity Ceiling Benchmark: A Multi-Domain Evaluation of Sequential Reasoning Under Depth Scaling

Der Complexity Ceiling Benchmark (CCB) bewertet, wie die Argumentationsfähigkeit von Sprachmodellen mit zunehmender Aufgabentiefe über drei Domänen hinweg abnimmt, wobei er aufzeigt, dass einige Modelle in räumlichen und symbolischen Aufgaben bis zu 50 Schritten eine hohe Genauigkeit beibehalten, während sie in der relationalen Inferenz schnell zusammenbrechen, wobei eine spezifische Metrik (k*) die Langzeitleistung besser vorhersagt als die Parameteranzahl.

Ursprüngliche Autoren: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr intelligenten, aber etwas vergesslichen Assistenten, ein langes, mehrstufiges Rätsel zu lösen. Sie könnten fragen: „Kannst du das machen?“ und er sagt „Ja.“ Aber wenn das Rätsel 50 Schritte hat, könnte er sich irgendwo in der Mitte verlieren.

Dieses Paper stellt einen neuen Test namens Complexity Ceiling Benchmark (CCB) vor. Anstatt nur zu fragen: „Hat er die richtige Antwort gefunden?“, fragt dieser Test: „Wie viele Schritte kann er gehen, bevor er anfängt, den Faden zu verlieren?“

So haben die Forscher dies unter Verwendung einfacher Analogien aufgeschlüsselt:

1. Die drei Arten von Rätseln

Die Forscher haben nicht nur ein schweres Rätsel erstellt; sie haben drei verschiedene Arten von „Long-Horizon“-Aufgaben entworfen, um zu sehen, wie die verschiedenen Denkweisen standhalten.

Das bewegliche Zimmer (Räumliches Tracking): Stellen Sie sich ein 3x3-Gitter aus Möbeln vor. Bei jedem Schritt müssen Sie den Raum drehen oder zwei Stühle vertauschen. Das Modell muss sich nach 5 So 50 Bewegungen merken, wo jedes Möbelstück steht.
- Das Ergebnis: Die klügsten Modelle waren wie exzellente Umzugshelfer. Sie konnten die Möbel fast perfekt im Blick behalten, selbst nach 50 Bewegungen. Sie haben selten einen Stuhl verloren.
Das magische Kassenbuch (Symbolisches Tracking): Stellen Sie sich ein Notizbuch mit 7 Variablen (A bis G) vor, die Zahlen halten. Bei jedem Schritt müssen Sie rechnen und Zahlen vertauschen, aber Sie dürfen niemals dieselbe Zahl an zwei Stellen gleichzeitig schreiben.
- Das Ergebnis: Das Top-Modell (Claude) war wie ein Super-Buchhalter. Es hielt sein Kassenbuch lange Zeit sauber. Aber andere Modelle begannen schon früh, die Zahlen zu vermischen, wie ein Schüler, der nach Schritt 10 vergisst, welche Variable welche ist.
Die Klatschkette (Relationale Logik): Stellen Sie sich 10 Leute auf einer Party vor. Bei jedem Schritt werden zwei Personen Freunde oder Feinde. Die Regel lautet: Wenn A mit B befreundet ist und B mit C befreundet ist, dann ist A automatisch auch mit C befreundet. Das Modell muss das gesamte Beziehungsgeflecht nach jeder einzelnen neuen Freundschaft aktualisieren.
- Das Ergebnis: Hier brach alles zusammen. Unabhängig davon, wie klug das Modell war, brachen alle nach etwa 4 oder 5 Schritten zusammen. Es ist, als versuche man, ein Gerücht zu erinnern, das sich durch eine Menge verbreitet; bis es beim 5.ten Menschen ankommt, ist die Geschichte völlig verzerrt, und das Modell kann sie nicht mehr korrigieren.

2. Der „Geometrische Zerfall“ (Der lecke Eimer)

Die Forscher fanden ein Muster: Wenn die Anzahl der Schritte länger wird, sinkt die Chance, die richtige Antwort zu erhalten, wie ein Ball, der immer tiefer aufspringt.

Wenn ein Modell eine 99%-ige Chance hat, einen Schritt richtig zu machen, kann diese Chance bis Schritt 50 auf nahezu Null sinken.
Die Forscher nennen dies die „Complexity Ceiling“ (Komplexitätsdecke). Das ist der Punkt, an dem das Modell einfach nicht mehr weiterkommt, ohne einen Fehler zu machen.

3. Die „Glücklicher Tipp“-Falle

Eine der interessantesten Erkenntnisse ist, dass eine richtige Antwort nicht bedeutet, dass das Modell korrekt gedacht hat.

Die Forscher untersuchten den „Denkprozess“ (Trace) der Modelle.
Sie fanden heraus, dass in 14,5 % der Fälle ein Modell die korrekte Endantwort gab, aber sein Zwischenschritt-Denken völlig falsch war.
Die Analogie: Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt. Er schreibt für die ersten 10 Aufgaben die falschen Rechenwege auf, aber durch reines Glück rät er die richtige Endantwort. Wenn man nur auf die Endantwort schaut, hält man ihn für ein Genie. Wenn man sich die Schritte ansieht, erkennt man, dass er nur geraten hat. Die Forscher fanden heraus, dass bei den schwierigsten Rätseln (der Klatschkette) die meisten „korrekten“ Antworten eigentlich nur glückliche Tipps waren.

4. Warum „Größer“ nicht immer „Besser“ bedeutet

Normalerweise denken wir, dass ein größeres KI-Modell (mit mehr „Gehirnschmalz“ oder Parametern) besser bei langen Aufgaben ist.

Die Erkenntnis: Nicht unbedingt. Ein massives Modell (LLaMA-3.3 mit 70 Milliarden Parametern) scheiterte bei der schwierigsten Aufgabe mit derselben Geschwindigkeit wie kleinere Modelle.
Die Metrik: Die Forscher entwickelten einen neuen Score namens $k^*$ . Dieser misst genau, wann das Modell beginnt, verwirrt zu sein.
- Beim Rätsel der „Klatschkette“ begann selbst das beste Modell nach Schritt 4,3, verwirrt zu sein.
- Dies deutet darauf hin, dass das Problem nicht ist, dass die Modelle „zu klein“ sind; es ist, dass ihre Art der Informationsverarbeitung (das Lesen eines Wortes nach dem anderen) eine harte Wand störmt, wenn es darum geht, komplexe, miteinander verbundene Beziehungen zu verwalten.

5. Können wir sie einfach bitten, sich mehr anzustrengen?

Die Forscher versuchten, das Scheitern der „Klatschkette“ zu beheben, indem sie die Modelle dazu zwangen, ausführlicher zu sein (z. B. „Bitte wiederhole die gesamte Liste der Freunde nach jedem Schritt“).

Das Ergebnis: Es funktionierte nicht. Die Modelle verschwendeten nur Platz damit, falsche Informationen zu wiederholen. Es ist, als würde man einem verirrten Autofahrer sagen, er solle „vorsichtig weiterfahren“, während er bereits in die falsche Richtung fährt; er fährt dann einfach vorsichtiger in die falsche Richtung.

Das Fazit

Dieses Paper zeigt uns, dass aktuelle KI-Modelle eine harte Grenze haben, wie viele Schritte sie hintereinander verknüpfen können, bevor sie die Kohärenz verlieren.

Sie sind gut in einfachen, linearen Aufgaben (wie das Verschieben von Möbeln).
Sie sind okay in Aufgaben, die strikte Regeln erfordern (wie mathematische Kassenbücher).
Sie sind schlecht in Aufgaben, bei denen ein kleiner Fehler das gesamte Bild ruiniert (wie komplexe soziale Beziehungen).

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, nur zu fragen: „Haben sie die richtige Antwort gefunden?“, und stattdessen fragen müssen: „Wie viele Schritte haben sie richtig gemacht, bevor sie angefangen haben zu raten?“, denn bei langen, komplexen Aufgaben ist die Antwort oft: „sehr wenige“.

Technisches Resümee: Der Complexity Ceiling Benchmark (CCB)

Problemstellung

Aktuelle Benchmarks für Large Language Models (LLMs) berichten typischerweise die aggregierte Genauigkeit bei Aufgaben mit fester Schwierigkeit. Dieser Ansatz verschleiert die spezifischen Fehlermodi der Langzeit-Argumentationsketten (long-horizon reasoning), wie etwa Wissenslücken, Fehlinterpretationen von Prompts, Erschöpfung des Kontextfensters oder den kumulativen Verlust der Kohärenz über sequentielle Schritte hinweg. Während aggregierte Metriken angeben, dass ein Modell gescheitert ist, erklären sie nicht das Warum oder wie die Leistung mit steigender Anzahl der erforderlichen Argumentationsschritte ( $N$ ) abnimmt. Dieser Mangel an Granularität begrenzt den Einsatz von LLMs als Agenten, bei denen eine anhaltende Kohärenz über viele Schritte hinweg entscheidend ist.

Methodik

Die Autoren führen den Complexity Ceiling Benchmark (CCB) ein, ein kontrolliertes Evaluierungsframework, das die Argumentationstiefe als primäre experimentelle Variable behandelt, während der semantische Inhalt konstant gehalten wird.

Benchmark-Design

Der CCB evaluiert Modelle über drei strukturell unterschiedliche Domänen, wobei die Anzahl der erforderlichen Schritte $N$ von 5 bis 50 variiert wird:

D1 (Grounded Spatial State-Tracking): „Alien Grid“-Aufgaben mit einem $3\times3$ -Gitter, das diskreten Transformationen (Rotation, Vertauschen, Verschieben) unter Kollisionsbeschränkungen unterliegt. Fehler summieren sich deterministisch.
D2 (Abstract Symbolic Pointer Manipulation): Aufgaben, die die Pflege von sieben Variablen erfordern, die unterschiedliche Ziffern halten, unter zyklischen Verschiebungen und modularer Arithmetik, unterliegt einer Zuweisungs-Eindeutigkeitsbeschränkung.
D3 (Transitive Relational Inference): „Social Logic“-Aufgaben involving eines diplomatischen Graphen von zehn Agenten, bei dem neue Allianz-/Rivalitäts-Kanten hinzugefügt werden, was die Neuberechnung des transitiven Abschlusses ( $O(n^2)$ Beziehungen) bei jedem Schritt erfordert.

Evaluierungspipeline

Modelle: Fünf Frontier- und Open-Weight-LLMs (Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B) wurden über 6.000 Versuche ( $n=40$ pro Zelle) evaluiert.
Parsing: Ein strenger, Regex-basierter Parser kategorisiert die Ausgaben in disjunkte Ergebnisse: Korrekt, Reasoning (weicht von der kanonischen Spur ab), Beschränkungsverletzung, Formatfehler, Abbruch oder API-Fehler. Dies vermeidet die Abhängigkeit von „LLM-as-a-judge“.
Trace-Level-Metrik (TFBC): Die Autoren definieren Trace First Branch Correct (TFBC), um Fälle zu identifizieren, in denen die finale Antwort zwar mit der Grundwahrheit übereinstimmt, der Zwischenschritt der Argumentation jedoch bei einem Schritt $k^*$ von der kanonischen Spur abgewichen ist. Dies unterscheidet „spurgetreue“ Korrektheit von „Glückstreffer“-Korrektheit.

Das geometrische Zerfallsmodell

Das Paper modelliert die Beibehaltung pro Schritt mittels einer geometrischen Zerfallsfunktion:
$P(\text{korrekt} | N) = p_d^N$
wobei $p_d$ die Wahrscheinlichkeit ist, den Zustandsübergang $S_k \to S_{k+1}$ korrekt zu berechnen, vorausgesetzt, $S_k$ wurde aufrechterhalten. Der Parameter $p_d$ wird mittels Maximum-Likelihood-Schätzung (MLE) für jedes (Modell, Domänen)-Paar geschätzt. Der effektive Aufgabenhorizont $H_s$ für einen Erfolgsschwellenwert $s$ wird als $H_s \approx \ln(s) / \ln(p_d)$ abgeleitet.

Hinweis: Die Autoren räumen ein, dass Annahme 1 (unabhängige Fehler pro Schritt) eine optimistische Schranke ist, da autoregressive Fehler positiv korreliert sind (ein Fehler bei $k^*$ korrumpiert alle nachfolgenden Schritte). Somit dient $p_d^N$ als optimistisches Envelope für die anhaltende Genauigkeit.

Kernergebnisse

1. Domänenspezifische Decken (Ceilings)

Der Benchmark offenbart eine frappierende Dissoziation zwischen den Domänen:

D1 & D2 (Räumlich & Symbolisch): Starke Frontier-Modelle (Claude, Gemini, DeepSeek) halten hohe Retentionswahrscheinlichkeiten ( $p_d \in [0,92, 0,99]$ ). Beispielsweise erreicht Claude $p_d=0,987$ bei D2 und behält ~55 % Genauigkeit bei $N=50$ . Nicht-Frontier-Modelle (GPT-4o-mini, LLaMA) kollabieren viel früher ( $N \approx 15$ ).
D3 (Transitive Logik): Jedes Modell, unabhängig von der Leistungsstufe, kollabiert nach $N=5$ . Selbst das beste Modell (Claude) hat einen 50%-Erfolgshorizont von nur $H_{0,5} \approx 4,7$ Schritten ( $p_d=0,863$ ). Dies deutet darauf hin, dass D3 ein qualitativ anderes, schwierigeres Regime darstellt, das wahrscheinlich auf architektonischen Einschränkungen bei der Handhabung rekursiver Zustandsaktualisierungen und globaler Konsistenz beruht.

2. Abweichung auf Trace-Ebene ( $k^*$ )

Der mittlere Schritt, an dem die Argumentation erstmals divergiert ( $k^*$ ), ist ein treffenderer Prädiktor für die Genauigkeit innerhalb einer Domäne als die Parameteranzahl.

Bei D2 hält Claude die Kohärenz für $\sim17$ Schritte aufrecht, bevor er bei der globalen Konsistenz scheitert, während LLaMA bereits beim ersten symbolischen Übergang versagt ( $k^* \approx 3,9$ ).
Bei D3 ist $k^*$ über alle Modelle hinweg einheitlich niedrig ($2,88 - 4,30$), was bestätigt, dass der Fehler struktureller Natur ist und nicht kapazitätsbedingt.

3. Das Phänomen des „Glückstreffers“ (Lucky Guess)

Über den gesamten Benchmark hinweg sind 14,5 % der korrekten Antworten TFBC (divergierende Argumentation, korrekte finale Antwort).

Bei D2 sind korrekte Antworten meist spurgetreu (nur 8 % TFBC bei Claude).
Bei D3 werden korrekte Antworten von Glückstreffern dominiert (56–62 % TFBC bei Top-Modellen).
Dies zeigt, dass die aggregierte Genauigkeit die Qualität der Argumentation signifikant überbewertet, insbesondere in schwierigen Domänen.

4. Prompt-Interventionen

Verbosiät: Das Erzwingen einer ausführlichen Zustandsverfolgung (Wiederholung der Überzeugungen) verbesserte die Leistung in D3 nicht (McNemar $p=1,000$ ).
Prompt-Struktur: Während eine spezifische Positionsformatierung (VAR B) einen geringfügigen Genauigkeitsanstieg bewirkte (20 % Genauigkeit bei $N=15$ ), änderte dies nicht grundlegend die Decke oder die Skalierbarkeit auf längere Horizonte.

Bedeutung und Ansprüche

Das Paper beansprucht, das Langzeit-Argumentationsprofil eines Modells auf zwei interpretierbare Zahlen pro Aufgabenfamilie zu reduzieren: $p_d$ (Beibehaltung pro Schritt) und $k^*$ (mittlere Kohärenztiefe).

Diagnose von Fehlerszenarien: CCB identifiziert drei distinkte Fehlermodi:
- D1: Engpass durch Beibehaltung pro Schritt (nicht durch Formatierung).
- D2: Engpass durch das Management von Beschränkungen (illegale Neuzuweisungen).
- D3: Struktureller Kaskadenkollaps (der transitive Abschluss erfordert Mechanismen, die in der Standard-Autoregressions-Attention fehlen).
Limitierungen aktueller Architekturen: Der einheitliche Kollaps in D3 über Modelle verschiedener Größen hinweg deutet auf einen architektonischen Engpass hin und nicht auf ein Kapazitätslimit. Die Autoren postulieren, dass Standard-Attention-Mechanismen die Sequenzhierarchie abflachen und somit die für den transitiven Abschluss erforderliche rekursive Stack-Verwaltung nicht unterstützen können.
Implikationen für den Einsatz: Die Metrik $p_d$ ermöglicht es Praktikern, die Tiefe zu schätzen, bei der die erwartete Genauigkeit eines Modells unter einen gewählten Schwellenwert fällt, ohne neu bewertete, tiefen-stratifizierte Evaluierungen durchzuführen.
Zukünftige Richtungen: Das Paper stellt explizit fest, dass die Evaluierung von prozessüberwachten Modellen (process-supervised models), rekursiven Scaffolds und tool-augmentierten Systemen mit explizitem Graph-Zustand der notwendige nächste Schritt ist, um zu bestimmen, ob die D3-Decke verschoben werden kann.

Die Autoren kommen zu dem Schluss, dass CCB eine fundierte Diagnose für die nächste Generation von speichererweiterten Systemen liefert, indem es zwischen Modellen unterscheidet, die aufgrund von Formatierung, Zustandsdrift oder der grundlegenden architektonischen Unfähigkeit zur transienten Argumentation scheitern.