🤖 AI

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

Das Papier schlägt DiScO vor, ein Framework, das das Denken großer Sprachmodelle verbessert, indem es vielfältige Denk-Schemata – bestehend aus Denk-Übergängen und Antwortkandidaten – explizit definiert und optimiert, durch einen dreistufigen Prozess aus Schemata-Bewusstsein, Reinforcement Learning und diversifizierter Inferenz, was im Vergleich zu Standardmethoden zu einer überlegenen Leistung bei mathematischen Benchmarks und einer verbesserten Fehlerreparatur führt.

Ursprüngliche Autoren: Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Nicht nur härter denken, sondern anders denken

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Labyrinth zu lösen. Die meisten KI-Modelle (Large Reasoning Models) sind wie ein einzelner Läufer, der einen Pfad hinunterrennt, gegen eine Wand stößt, umdreht und versucht, denselben Pfad wieder erneut zu laufen – nur ein kleines bisschen schneller. Sie bleiben in Schleifen stecken oder geben auf, weil sie zu sehr auf ihre erste Idee fixiert sind.

Diese Arbeit argumentiert, dass eine KI zur Lösung komplexer Probleme nicht einfach nur schneller laufen sollte; sie muss ein besserer Entdecker werden. Die Autoren führen das Konzept der „Thinking Schemata“ (Denkschemata) ein. Betrachten Sie dies als den internen „Kartenerstellungs-Stil“ der KI.

Sie fanden heraus, dass die KI am besten abschneidet, wenn ihr Kartenerstellungs-Stil divers ist. Speziell untersuchten sie zwei Dinge:

Reasoning Transitions (Argumentationsübergänge): Wie oft die KI ihre Meinung ändert oder die Strategie wechselt (z. B. „Warte, diese Mathematik hat nicht funktioniert, lass uns stattdessen versuchen, ein Bild zu zeichnen“).
Answer Candidates (Antwort-Kandidaten): Wie viele verschiedene mögliche Antworten die KI im Laufe des Prozesses in Betracht zieht, bevor sie die endgültige Antwort auswählt.

Die Arbeit behauptet: Je öfter die KI ihre Meinung ändert und verschiedene Blickwinkel ausprobiert, desto wahrscheinlicher findet sie die richtige Antwort.

Das Problem: Der „sture Läufer“

Aktuelle KI-Modelle bleiben oft in einer festgefahrenen Routine stecken. Wenn sie beginnen, ein mathematisches Problem auf eine bestimmte Weise zu lösen, neigen sie dazu, dies auch so fortzuführen, selbst wenn sie auf halbem Weg merken, dass sie einen Fehler gemacht haben. Sie sagen vielleicht: „Ich glaube, die Antwort ist 12“, merken dann aber, dass 12 falsch ist, und anstatt einen völlig neuen Ansatz zu wählen, passen sie die 12 nur leicht an und sagen: „Okay, vielleicht ist es 12,1?“

Es fehlt ihnen an der Flexibilität zu sagen: „Okay, ich lag falsch. Werfen wir diese ganze Idee in den Müll und fangen wir aus einem ganz anderen Blickwinkel neu an.“

Die Lösung: DiScO (Diverse Schemata Policy Optimization)

Die Autoren entwickelten eine neue Trainingsmethode namens DiScO. Sie können sich DiScO wie einen Coach vorstellen, der der KI beibringt, ein flexibler Entdecker zu sein. Es funktioniert in drei Schritten:

1. Der KI beibringen, „ihre Gedanken zu beschriften“ (Schemata-Aware SFT)

Zuerst lernt die KI, eine „Denkmütze“ zu tragen, die ihr hilft, ihren eigenen Denkprozess zu erkennen. Sie lernt, ihre eigene Argumentation mit speziellen Labels zu versehen:

\AnswerCandidate: „Ich glaube, die Antwort könnte X sein.“
\ReasoningTransition: „Warte, ich ändere jetzt meine Strategie.“

Das ist so, als würde man einem Schüler beibringen, „Ich stecke fest“ oder „Lass uns eine andere Methode versuchen“ an den Rand seiner Hausaufgaben zu schreiben. Dies macht die KI sich der Frage bewusst, wie sie denkt, und nicht nur, was sie denkt.

2. Den „Meinungswechsel“ belohnen (Diversity-Oriented RL)

Als Nächstes spielt die KI ein Spiel, bei dem sie Punkte nicht nur für die richtige Antwort bekommt, sondern dafür, divers zu sein.

Wenn die KI drei verschiedene Wege versucht, um das Problem zu lösen, erhält sie einen Bonus.
Wenn sie von „Mathematik machen“ zu „ein Diagramm zeichnen“ wechselt, erhält sie einen Bonus.
Wenn sie immer wieder denselben Satz wiederholt, erhält sie keine Punkte.

Dies ist wie ein Coach, der einem Läufer sagt: „Wenn du nur die gleiche Runde läufst, bekommst du ein C. Aber wenn du versuchst, durch den Wald, dann durch den Fluss und dann über die Hügel zu laufen, bekommst du ein A+.“ Die KI lernt, dass das Erkunden verschiedener Pfade wertvoll ist.

3. Der „Neustart“-Trick (Inference-Time Diversity)

Schließlich hat das System während der eigentlichen Anwendung (Inferenzzeit) ein Sicherheitsnetz. Wenn die KI anfängt zu schwafeln oder in einer Schleife stecken bleibt (sich wiederholt), schneidet das System den Anfang ihres Denkprozesses ab und sagt: „Okay, vergiss die ersten 20 % dessen, was du gerade gesagt hast. Fang mit dem Rest neu an.“

Dies zwingt die KI zu einem „Reset“ und dazu, das Problem mit frischen Augen zu betrachten, um zu verhindern, dass sie in einer mentalen Sackgasse gefangen bleibt.

Was ist passiert? (Die Ergebnisse)

Die Forscher testeten dies an schwierigen mathematischen Problemen (wie sie in hochklassigen Wettbewerben vorkommen).

Bessere Ergebnisse: Die mit DiScO trainierte KI erzielte deutlich höhere Punktzahlen als Standard-KI-Modelle, insbesondere bei den schwierigsten Problemen.
Bessere Erholung: Wenn die KI frühzeitig einen Fehler machte, war das DiScO-trainierte Modell viel besser darin, zu realisieren: „Oh nein, ich bin in die falsche Richtung gelaufen“, und den Pfad zu wechseln, um den Fehler zu korrigieren. Standardmodelle liefen oft einfach weiter auf dem falschen Pfad.
Mehr Optionen: Die DiScO-Modelle gaben nicht nur eine Antwort an; sie untersuchten viele verschiedene „Antwort-Kandidaten“, bevor sie sich auf die richtige festlegten.

Das Fazrazit

Die Arbeit kommt zu dem Schluss, dass Diversität der Schlüssel ist. Genau wie ein Mensch, der ein schwieriges Rätsel löst, von verschiedenen Strategien, Perspektivwechseln und dem Nicht-Festhalten an der ersten Idee profitiert, arbeiten KI-Modelle viel besser, wenn sie ermutigt werden, auf vielfältige, flexible Weise zu denken.

Die Autoren legen nahe, dass die Zukunft des KI-Reasonings nicht nur darin besteht, Modelle größer oder schneller zu machen, sondern sie zu diverseren Denkern zu machen.

Technisches Resümee: Diverse Denk-Schemata fördern besseres Schließen in Large Language Models

Problemstellung

Large Reasoning Models (LRMs) haben signifikante Fähigkeiten bei der Lösung komplexer mathematischer Probleme durch die Generierung ausgedehnter Chain-of-Thought-Sequenzen demonstriert. Aktuelle Ansätze verlassen sich jedoch oft auf zu starr vorgegebene Denkstrukturen, wie etwa streng lineare Ketten oder explizit organisierte Bäume, was die kognitive Flexibilität einschränken kann. Die Autoren identifizieren zwei kritische, jedoch unterexplorierte Aspekte des Denkprozesses: Reasoning Transitions (die deutlichen Wechsel zwischen den Zwischenschritten des Denkens, z. B. „Lass mich einen anderen Ansatz versuchen“) und Answer Candidates (die Vielfalt der vorgeschlagenen Lösungswege oder Zwischenschlüsse). Das Paper postuliert, dass bestehende Modelle oft zu engen Denkpfaden konvergieren, die den Lösungsraum nicht vollständig explorieren, was ihre Fähigkeit einschränkt, sich von Fehlern zu erholen oder optimale Lösungen in komplexen Aufgaben zu finden.

Methodik: DiScO-Framework

Um diese Einschränkungen zu adressieren, schlagen die Autoren DiScO (Diverse Schemata Policy Optimization) vor, ein Framework, das darauf ausgelegt ist, die Diversität der „Denk-Schemata“ (die latente Denkstruktur, die Übergänge und Lösungswege steuert) sowohl während des Trainings als auch während der Inferenz zu erhöhen. Das Framework besteht aus drei Kernkomponenten:

1. Schemata-bewusste Supervised Fine-Tuning (SFT)

Das Modell wird zunächst durch das Training, seine eigenen Denkketten explizit zu annotieren, mit „Schemata-Bewusstsein“ ausgestattet. Hierbei werden zwei spezialisierte Token eingeführt:

\ReasoningTransition: Markiert Wechsel in der Denkperspektive oder Strategie.
\AnswerCandidate: Markiert potenzielle finale Antworten oder Zwischenschlüsse.
Dieser Schritt macht die latente Denkstruktur beobachtbar und analysierbar, ohne dass für jeden Trainingsschritt externe menschliche Annotationen erforderlich sind (die Annotationen werden von einem LLM-Annotator, spezifisch Qwen3-Max, generiert).

2. Diversitätsorientiertes Reinforcement Learning (RL)

Im Anschluss an das SFT durchläuft das Modell Reinforcement Learning unter Verwendung eines modifizierten Group Relative Policy Optimization (GRPO) Algorithmus. Die zentrale Innovation ist eine zusammengesetzte Belohnungsfunktion ( $R$ ), die Genauigkeit mit Diversität abwägt:
$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$

Diversitätsbelohnung ( $R_{div}$ ): Fördert die Generierung distinkter Reasoning Transitions und Answer Candidates. Sie misst die Anzahl der Übergänge ( $N_{thought}$ ), die Anzahl der Antwortkandidaten ( $N_{ans}$ ), die Einzigartigkeit der Lösungen ( $N_{uniq}$ ) und die Korrektheit der Zwischenkandidaten ( $N_{true}$ ). Es werden Truncation-Caps (Abschneide-Obergrenzen) angewendet, um Reward Hacking durch Marker-Repetition zu verhindern.
Genauigkeitsbelohnung ( $R_{acc}$ ): Standardmäßige binäre Belohnung für eine korrekte finale Antwort.
Format-Belohnung ( $R_{form}$ ): Stellt sicher, dass das Modell die erforderlichen Annotations-Tags und das finale Antwortformat einhält.

3. Inference-Time Diversity Enhancement (ITDE)

Um die Diversität während der Inferenz weiter zu fördern, werden zwei Strategien angewandt, wenn das Modell die maximale Generierungslänge erreicht, ohne eine finale Antwort zu liefern:

Initial Truncation: Die ersten 20 % der Tokens werden verworfen, um einen „kognitiven Reset“ zu simulieren, der es dem Modell ermöglicht, das Problem aus einer frischen Perspektive neu zu rahmen.
Truncation mit Repetitionseliminierung: Erkennt und entfernt repetitive Denk-Muster (z. B. dieselbe 15-Wort-Phrase), um lokale Schleifen zu durchbrechen und die Exploration neuer Pfade zu fördern.

Zentrale Beiträge

Konzeptdefinition: Das Paper führt „Thinking Schemata“ ein und definiert sie durch beobachtbare Reasoning Transitions und Answer Candidates. Es demonstriert empirisch eine positive Korrelation zwischen der Diversität dieser Schemata und der Modellleistung über verschiedene LRMs hinweg.
DiScO-Framework: Die Autoren schlagen ein neuartiges Framework vor, das Schemata-bewusstes SFT, diversitätsorientiertes RL und Strategien zur Inferenzzeit integriert, um diverse Denkprozesse systematisch zu fördern.
Empirische Validierung: Umfangreiche Experimente über fünf mathematische Reasoning-Benchmarks und drei Out-of-Domain (OOD) Benchmarks zeigen, dass DiScO standardmäßiges GRPO und andere diversitätsorientierte Baselines konsistent übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten DiScO auf DeepSeek-R1-Distill-Qwen Modellen in den Skalierungen 7B und 32B und verglichen diese mit führenden proprietären Modellen (z. B. GPT-5, Claude 3.5) sowie Open-Source-Baselines.

Leistungssteigerungen: DiScO erreichte konsistent State-of-the-Art-Ergebnisse unter den Open-Source-Modellen. Beispielsweise erreichte DiScO-7B 95,6 % auf MATH-500 und 70,0 % auf AIME 2024, was andere 7B-Modelle deutlich übertrifft. DiScO-32B erreichte eine durchschnittliche Genauigkeit von 83,5 % über die Benchmarks hinweg und übertraf damit das Basismodell DeepSeek-R1-Distill-Qwen-32B.
Verbesserung bei schwierigen Aufgaben: Die Zuwächse waren am ausgeprägtesten bei anspruchsvollen Wettbewerbs-Benchmarks (AIME, AMC), bei denen erheblicher Verbesserungsspielraum besteht. DiScO-32B zeigte eine absolute Verbesserung von 6,7 % gegenüber dem Basismodell bei AIME 2024 und 2025.
Generalisierung: Obwohl ausschließlich auf mathematischen Daten trainiert, generalisierte DiScO effektiv auf Out-of-Domain-Aufgaben (ARC-c, GPQA-diamond, MMLU-Pro), was darauf hindeutet, dass Diversität auf Schemata-Ebene transferierbare Denkverhalten fördert.
Fehlerreparatur (Error Recovery): Eine durch Menschen annotierte Analyse ergab, dass DiScO die Fähigkeit des Modells signifikant verbessert, sich von fehlerhaften ersten Versuchen zu erholen (gemessen durch die FWFC Metrik: First Wrong, Final Correct). DiScO-Modelle neigten weniger dazu, korrekte Zwischenantworten zu verwerfen, und waren eher in der Lage, sich selbst zu korrigieren als die Baselines.
Pass@k Performance: DiScO zeigte eine verbesserte Leistung in Multi-Attempt-Szenarien (Pass@k), was auf eine echte Erweiterung der Denk-Grenzen hindeutet, statt nur die Single-Shot-Distribution umzugestalten.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Diversität der Denk-Schemata eine entscheidende Rolle beim erfolgreichen Problemlösen spielt und als komplementäre Achse zur Standard-Modellskalierung (Parameter und Daten) fungiert. Die Autoren argumentieren:

Diversität ist eine skalierbare Ressource: Die Förderung diverser Denk-Schemata ermöglicht es Modellen, alternative Schlussfolgerungswege zu explorieren und sich effektiver von Fehlern zu erholen, was zu einer besseren Leistung bei komplexen Aufgaben führt, ohne notwendigerweise die Modellgröße zu erhöhen.
Jenseits von Token-Level Diversität: Im Gegensatz zu bisherigen Methoden, die sich auf Token-Level Entropie oder Trajektorien-Sampling über unabhängige Rollouts konzentrieren, zielt DiScO auf die Diversität innerhalb einer einzelnen Denk-Trajektorie ab und fördert semantische Wechsel und Perspektivwechsel, die menschliches Problemlösen widerspiegeln.
Praktische Auswirkungen: Das Framework bietet einen praktischen Weg zur Verbesserung von Open-Source-Reasoning-Modellen, verringert die Lücke zu führenden proprietären Systemen und erhöht die Interpretierbarkeit von Denkprozessen durch explizite Schemata-Annotation.

Die Autoren räumen Einschränkungen ein, darunter die nicht unerhebliche Kosten für LLM-basierte Annotation, die moderate Erhöhung der Inferenz-Latenz (ca. 10 % mehr Tokens) und den aktuellen Fokus auf mathematisches Denken, merken jedoch die konsistenten Gewinne in Out-of-Domain-Aufgaben an. Sie schlagen vor, dass zukünftige Arbeiten kostengünstigere Annotationsmethoden (z. B. Probing von Hidden States) und die Anwendung dieser Prinzipien auf andere Denk-Regime untersuchen könnten.