🤖 AI

Reasoning Structure of Large Language Models

Dieses Paper führt einen skalierbaren Benchmark und eine Pipeline ein, um unstrukturierte Reasoning-Spuren in verifizierbare Graphen umzuwandeln, was die quantitative Analyse von Reasoning-Struktur und -Effizienz ermöglicht, um Fehlermodi besser zu diagnostizieren und das Modellverhalten über traditionelle Metriken wie Genauigkeit und Token-Anzahl hinaus zu vergleichen.

Ursprüngliche Autoren: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten zwei Köche, die versuchen, exakt denselben Kuchen zu backen. Am Ende überreichen Ihnen beide einen perfekten, köstlichen Kuchen. Wenn Sie nur auf das Endprodukt schauen, könnten Sie denken, dass beide die gleiche Arbeit geleistet haben. Aber was wäre, wenn einer der Köche einem präzisen Schritt-für-Schritt-Rezept gefolgt ist, während der andere in der Küche umhergewandert ist, zehn verschiedene Zutaten ausprobiert hat, ein paar Chargen verbrannt hat und schließlich durch Zufall die richtige Mischung gefunden hat?

Lange Zeit, wenn wir KI-"Reasoning"-Modelle testeten, schauten wir nur auf den fertigen Kuchen (die Antwort) oder darauf, wie viele Wörter sie verwendeten (Token-Anzahl). Dieses Paper argumentiert, dass dies so ist, als würde man einen Koch nur nach dem Geschmack des Kuchens beurteilen und ignorieren, ob er tatsächlich gelernt hat zu kochen oder einfach nur Glück hatte.

Hier ist, was die Forscher getan haben, um hinter den Vorhang zu blicken, einfach erklärt:

1. Der Puzzle-Spielplatz

Anstatt die KI zu bitten, einen Essay zu schreiben oder ein vages Rätsel zu lösen, gaben die Forscher ihr eine Reihe von 21 verschiedenen Logikrätseln (wie „Tents“, bei denen man Zelte baserausgehend auf strengen Regeln neben Bäumen platzieren muss). Diese Rätsel sind wie ein kontrolliertes Fitnessstudio für das Gehirn. Sie haben klare Regeln und man kann nicht schummeln; man löst es entweder oder man tut es nicht. Die Forscher machten diese Rätsel immer schwieriger, so als würde man das Gewicht an einer Hantel erhöhen.

2. Worte in eine Karte verwandeln

Wenn eine KI ein Rätsel löst, schreibt sie normalerweise einen langen Strom von Gedanken auf (einen „Trace“). Die Forscher bauten ein spezielles Werkzeug, das diesen chaotischen Textstrom in eine visuelle Karte (einen Graphen) verwandelt.

Knoten (Punkte): Jeder Punkt ist eine einzelne Tatsache oder Behauptung, die die KI aufgestellt hat (z. B. „Da ist ein Baum an dieser Stelle“).
Kanten (Linien): Die Linien verbinden die Punkte, um zu zeigen, wie eine Tatsache zu einer anderen führte (z. B. „Weil hier ein Baum ist, muss dort ein Zelt stehen“).

Dies verwandelt einen Textabsatz in ein strukturiertes Diagramm, das man messen kann.

3. Die neue Bewertung: „Reasoning Efficiency“

Die Forscher führten eine neue Metrik namens Effizienz ( $\eta$ ) ein. Denken Sie daran als die Messung dessen, wie „fokussiert“ das Denken der KI ist.

Hohe Effizienz (Der Laser): Die Karte der KI sieht aus wie ein gerader, schmaler Tunnel. Sie sammelt die notwendigen Fakten und bewegt sich direkt zur Lösung, ohne umherzuwandern.
Niedrige Effizienz (Der Nebel): Die Karte der KI sieht aus wie ein chaotisches Spinnennetz. Sie erkundet viele Sackgassen, wiederholt dieselben Fakten immer und immer wieder und wandert am Rand des Problems umher, bevor sie (vielleicht) die Antwort findet.

4. Was sie herausfanden

Durch die Verwendung dieser Karte und des Effizienz-Scores fanden sie einige überraschende Dinge heraus, die der alte „Endantwort“-Score übersehen hatte:

Mehr Wörter $\neq$ Besseres Denken: Nur weil eine KI mehr Wörter (Tokens) verwendet, bedeutet das nicht, dass sie besser denkt. Tatsächlich fanden die Forscher heraus, dass zusätzliche Wörter oft nur dazu dienten, dass die KI sich selbst „kontrollierte“ oder im Kreis wanderte, anstatt das Problem tatsächlich zu lösen.
Das „Diffuse“ Problem: Einige Modelle lieferten zwar die richtige Antwort, hatten aber eine sehr unordentliche, verstreute Karte. Sie waren wie ein Detektiv, der den Verbrecher findet, aber vorher 50 Unschuldige interviewen musste. Andere Modelle waren „fokussiert“ und fanden den Weg zur Antwort mit einem sauberen, direkten Pfad.
Die Wand der Schwierigkeit: Mit zunehmender Komplexität der Rätsel begannen die KI-Modelle zu scheitern. Selbst als die Forscher ihnen erlaubten, massive Mengen an Wörtern (Rechenleistung) zu verwenden, konnten die Modelle die schwierigsten Rätsel immer noch nicht lösen. Es stellt sich heraus, dass es nicht hilft, einer KI einfach mehr Zeit zum „Nachdenken“ (mehr Tokens) zu geben, wenn grundlegende Lücken im Reasoning bestehen.
Struktur zählt: Der „Effizienz“-Score konnte den Unterschied zwischen einem Modell, das klug und fokussiert war, und einem, das nur raten und prüfen war, aufzeigen, selbst wenn beide die gleiche Endpunkt-Bewertung erhielten.

Das Fazit

Dieses Paper gibt uns eine neue Art, das Denken einer KI zu betrachten. Anstatt nur zu fragen: „Hat sie die Antwort richtig bekommen?“, können wir nun fragen: „Wie ist sie dahin gekommen?“

Es ist der Unterschied zwischen einem Schüler, der die Lösungen auswendig lernt, und einem Schüler, der die Mathematik tatsächlich versteht. Die Forscher haben ein Werkzeug gebaut, um den Teil des „Verstehens“ sichtbar zu machen, indem sie die logischen Schritte kartografierten, und damit bewiesen, dass das Wie einer KI-Argumentation genauso wichtig ist wie das Was ihrer Antworten.

Technisches Resümee: Denkstruktur von Large Language Models

Problemstellung

Large Reasoning Models (LRMs) haben durch die Nutzung erhöhter Test-Time-Compute mittels langer Chain-of-Thought (CoT)-Spuren beeindruckende Leistungen bei komplexen Aufgaben demonstriert. Aktuelle Evaluierungsparadigmen stützen sich jedoch stark auf eindimensionale Metriken wie die Genauigkeit der Endantwort und die Token-Anzahl. Die Autoren argumentieren, dass diese Metriken unzureichend sind, da sie grundlegend unterschiedliche Denkverhaltensweisen vermischen. Identische Scores können „diffuse Exploration“ (ineffizientes, zerstreutes Denken) gegenüber „fokussierter Deduktion“ (effizientes, strukturiertes Denken) verbergen. Zudem garantiert die bloße Zuweisung von mehr Rechenleistung (Tokens) keine bessere Leistung, da Modelle oft ein „Overthinking“ oder einen „Trace-Level-Kollaps“ zeigen, bei dem zusätzliche Tokens eher zu einem Verifizierungsaufwand als zu einem verbesserten logischen Fluss führen. Es mangelt an skalierbaren, strukturierten Methoden zur Analyse des intermediären Denkprozesses jenseits der finalen Ausgabe.

Methodik

Das Paper führt ein Framework ein, um unstrukturierte, textuelle Denkspuren in strukturierte, verifizierbare Denk-Graphen umzuwandeln, was eine quantitative Analyse der Denk-Topologie ermöglicht.

1. Skalierbarer Benchmark

Die Autoren nutzen eine Suite von 21 deterministischen 2D-Gitterrätseln (z. B. Tents, Sudoku, Lightup, Galaxies), die aus Simon Tathams Rätselsammlung stammen. Diese Rätsel wurden aufgrund ihrer Eigenschaft „leicht zu lernen, schwer zu meistern“, ihrer vollständig spezifizierten Regeln und ihrer eindeutigen Verifizierbarkeit ausgewählt. Der Benchmark umfasst vier Schwierigkeitsstufen (Trivial, Human easy, Human normal, Human hard) mit anpassbaren Gittergrößen und Hinweisdichten, was kontrollierte Skalierungsstudien ermöglicht.

2. Graph-Extraktions-Pipeline

Die Kerninnovation ist eine Pipeline, die freien Text in einen gerichteten azyklischen Graphen (DAG) $G = (V, E)$ transformiert:

Knoten (Claims): Die Pipeline extrahiert „atomare Behauptungen“ (z. B. „Zelle (3,1) ist ein Tent“) aus der Denkspur. Behauptungen werden nach Status (gestellt, abgeleitet, vorläufig) und Umfang (Hauptpfad vs. hypothetische Zweige) kategorisiert.
Kanten (Abhängigkeiten): Die Pipeline identifiziert deduktive Abhängigkeiten und verknüpft Prämissen mit Schlussfolgerungen. Dies geschieht durch einen hybriden Ansatz, der deterministisches Musterabgleichen mit LLM-basierter Extraktion kombiniert, gefolgt von einer Regel-Extraktion, um Behauptungen spezifischen Logikregeln des Rätsels zuzuordnen.
Verifizierung: Behauptungen werden gegen eine ausführbare Rätselumgebung verifiziert. Statische Behauptungen (z. B. Rätselregeln, finale Platzierungen) werden deterministisch verifiziert. Zustandsabhängige Behauptungen werden sorgfältig behandelt, um kaskadierende Fehler zu vermeiden.

3. Denk-Metriken

Aufbauend auf der Graph-Repräsentation definieren die Autoren mehrere Metriken:

Strukturelle Topologie: Maße wie Graph-Tiefe, Durchmesser und der Anteil des Graphen, der die Lösung unterstützt ( $|V_{sol}|/|V|$ ).
Effizienz des Denkflusses ( $\eta$ ): Dies ist der primäre Beitrag. Die Autoren modellieren den Denkprozess als absorbierende Markow-Kette auf dem DAG. Sie berechnen die „strukturelle Entropie“ ( $H_{str}$ $H_{s t r}$ ) des logischen Flusses, welche misst, wie zerstreut die Aufmerksamkeit des Modells über den Graphen verteilt ist.
$\eta = \frac{\log |V| - H_{str}(G)}{\log |V| - \log |C^*|}$
Wobei $|V|$ $∣ V ∣$ die Gesamtzahl der Behauptungen, $H_{str}(G)$ $H_{s t r} (G)$ die strukturelle Entropie und $|C^*|$ $∣ C^{*} ∣$ die Größe des minimalen Behauptungs-Sets ist, das für die Lösung erforderlich ist.
- $\eta \approx 1$ deutet auf hochgradig fokussiertes Denken hin (niedrige Entropie, der Fluss ist auf den Lösungspfad konzentriert).
- Ein niedrigeres $\eta$ deutet auf diffuses Denken hin (hohe Entropie, der Fluss ist über periphere oder redundante Behauptungen zerstreut).

Kernergebnisse

Das Framework wurde angewendet, um Frontier-Modelle und Open-Source-Modelle (GPT-5, Qwen3 235B, DeepSeek V3.2, Kimi K2) über die Rätsel-Suite hinweg zu evaluieren.

Genauigkeit vs. Struktur: Mit zunehmender Schwierigkeit des Rätsels sinkt die Genauigkeit für alle Modelle drastisch (z. B. sinkt GPT-5 von 83,8 % auf 5,7 %), während die Token-Zahlen signifikant steigen (von ~4k auf ~60k). Eine erhöhte Token-Nutzung korreliert jedoch nicht mit einer verbesserten Denkqualität.
Token-Anzahl ist ein schlechter Proxy: Die Studie zeigt, dass die Token-Anzahl im Wesentlichen unkorreliert mit der Effizienz des Denkens ( $\eta$ ) ist ( $r = -0,05$ ). Zusätzliche Tokens manifestieren sich primär als erhöhter Verifizierungsaufwand ( $|V_{ver}|/|V_{sol}|$ ) statt den Kern-Lösungs-Pfad zu erweitern.
Effizienz unterscheidet Verhaltensweisen: Die Metrik $\eta$ $η$ trennt erfolgreich Modelle und Verhaltensweisen, die Genauigkeit und Token-Anzahl vermischen.
- Fokussiert vs. Diffus: Modelle mit höherem $\eta$ zeigen einen konzentrierten logischen Fluss. Modelle mit niedrigerem $\eta$ betreiben „Graph-Bloat“ durch Verzweigungen, Umwege und redundante Strukturen.
- Fehlermodi: Fehlgeschlagene Spuren sind wesentlich ineffizienter (niedrigeres $\eta$ um >50 %) und verteilen das Denken über größere, diffusere Graphen, wobei der erste Fehler früher auftritt.
- Korrelationen: Höhere Effizienz korreliert positiv mit der Genauigkeit der Behauptungen und dem Anteil des Graphen, der die Lösung unterstützt. Sie korreliert zudem positiv mit der Tiefe des ersten Fehlers.
Skalierungsgrenzen: Selbst mit massiven Token-Budgets bleibt das schwierigste Regime weitgehend ungelöst, was auf fundamentale Limitationen im aktuellen Reasoning-Scaling hindeutet, die nicht allein durch die Zuweisung von mehr Rechenleistung gelöst werden können.

Bedeutung und Ansprüche

Das Paper beansprucht, ein praktisches Werkzeug zur Diagnose von Fehlermodi und zum Vergleich von Denkstrukturen zu liefern, die traditionelle Metriken übersehen.

Jenseits der Genauigkeit: Die Arbeit zeigt, dass strukturelle Messungen (speziell $\eta$ ) Unterschiede in der Art und Weise aufzeigen, wie Lösungen produziert werden, selbst wenn Modelle die gleiche Genauigkeit erreichen oder ähnliche Token-Budgets nutzen.
Diagnostischer Nutzen: Durch die Umwandlung von Spuren in verifizierbare Graphen ermöglicht das Framework Forschern zu unterscheiden, ob ein Modell „löst“ oder lediglich „umherwandert“ (meandering) oder übermäßigen Verifizierungsaufwand betreibt. Es hilft dabei, frühe Fehler-Kaskaden und ineffiziente Verhaltensweisen zu identifizieren.
Generalisierbarkeit: Während die Extraktion der Behauptungen rätselspezifisch ist, ist die strukturelle Ebene (Graph-Konstruktion, Markow-Ketten-Analyse und die $\eta$ -Metrik) domänenagnostisch. Die Autoren legen nahe, dass dieses Framework auf jede Umgebung mit verifizierbaren Zwischenschritten erweiterbar ist, wie etwa mathematisches Denken (symbolische Verifizierung) und Code-Generierung (Unit-Tests).
Zukünftiger Einfluss: Die Autoren postulieren, dass – sofern die Extraktion ausreichend zuverlässig wird – graphbasierte Signale wie $\eta$ als Hilfsfeedback im Post-Training (z. B. zur Formung von Belohnungen/Rewards) dienen könnten, um ein lösungsorientiertes Denken zu fördern und gleichzeitig die Korrektheit zu bewahren.

Das Paper wahrt eine bescheidene Haltung und räumt Limitationen ein, wie etwa die Abhängigkeit von LLMs für die Extraktion (was eine gewisse Varianz einführt, obwohl Stabilitätsprüfungen eine geringe Varianz zeigen) und die Notwendigkeit domänenspezifischer Definitionen von Behauptungen. Es positioniert die Metrik als diagnostisches Werkzeug und nicht als einen einzelnen Leaderboard-Score.