💬 NLP

MarkovScale: Towards Optimal Sequential Scaling at Inference Time

Dieses Paper führt MarkovScale ein, ein fundiertes Framework, das sequenzielles Scaling als einen Zwei-Zustands-Markov-Prozess modelliert, um theoretische Optimalitätsgrenzen abzuleiten und ein überlegenes Gleichgewicht zwischen Genauigkeit und Effizienz zu erreichen, wobei es bestehende State-of-the-Art-Methoden über mehrere Benchmarks und Modelle hinweg übertrifft.

Ursprüngliche Autoren: Youkang Wang, Jian Wang, Rubing Chen, Tianyi Zeng, Xiao-Yong Wei, Qing Li

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Youkang Wang, Jian Wang, Rubing Chen, Tianyi Zeng, Xiao-Yong Wei, Qing Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Wenn „mehr Nachdenken“ nach hinten losgeht

Stellen Sie sich vor, Sie schreiben eine schwierige Matheprüfung. Sie haben einen klugen Freund (die KI), der Ihnen helfen kann.

Der alte Weg (Paralleles Skalieren): Sie bitten Ihren Freund, gleichzeitig 10 verschiedene Antworten aufzuschreiben, und Sie wählen diejenote aus, die am besten aussieht. Das funktioniert gut, ist aber teuer, weil Sie für 10 vollständige Antworten bezahlen.
Der „sequenzielle“ Weg: Sie bitten Ihren Freund um eine Antwort. Wenn sie falsch aussieht, sagen Sie: „Versuch es noch einmal, aber korrigiere diesen Fehler.“ Er gibt Ihnen eine zweite Antwort. Wenn diese auch falsch ist, sagen Sie: „Versuch es noch einmal.“ Sie verfeinern die Antwort Schritt für Schritt.

Das Problem: Manchmal bewirkt die Aufforderung an Ihren Freund, es „noch einmal zu versuchen“, das Gegenteil. Er könnte verwirrt werden, zu viel nachdenken oder neue Fehler einbauen. Die aktuellen Methoden für diesen „Versuch es noch einmal“-Ansatz basieren größtenteils auf Raterei. Sie wissen nicht, wann man aufhören sollte. Sie führen vielleicht immer wieder Korrekturen durch, selbst nachdem die Antwort bereits perfekt ist, was Zeit und Geld (Rechenleistung) verschwendet, oder sie hören zu früh auf.

Die Lösung: MarkovScale (Das „Ampelsystem“)

Die Autoren dieses Papers, MarkovScale, haben beschlossen, mit dem Raten aufzuhören. Sie behandelten den Prozess des „Erneut Versuchens“ wie ein Ampelsystem, das auf Mathematik basiert (speziell auf einem sogenannten Markov-Prozess).

Stellen Sie sich die Antwort der KI wie ein Auto vor, das auf einer Straße mit zwei Spuren fährt:

Die grüne Spur (Richtig): Die Antwort ist richtig.
Die rote Spur (Falsch): Die Antwort ist falsch.

Jedes Mal, wenn die KI versucht, ihre Antwort zu korrigieren, ist das so, als würde das Auto versuchen, die Spur zu wechseln.

Manchmal schert ein Auto aus der grünen Spur versehentlich in die rote Spur aus (eine korrekte Antwort wird dadurch vermasselt).
Manchmal wechselt ein Auto von der roten Spur erfolgreich in die grüne Spur (eine falsche Antwort wird korrigiert).

Wie es funktioniert: Die „Stoppschild“-Mathematik

Die Forscher haben herausgefunden, dass sie die genauen Wahrscheinlichkeiten berechnen können, mit denen diese Spurwechsel stattfinden. Durch diese mathematische Berechnung haben sie ein System geschaffen, das der KI genau sagt, wann sie aufhören soll.

Die „Lass es bleiben“-Regel (Gating): Bevor die KI überhaupt damit beginnt, ihre Antwort zu korrigieren, prüft das System: „Ist die erste Antwort schon gut genug?“ Wenn die Mathematik sagt, dass die Antwort höchstwahrscheinlich bereits korrekt ist, sagt das System: „Stopp! Verschwende keine Zeit mit Korrekturen.“ Dies spart eine enorme Menge an Aufwand.
Die „Genau richtig“-Regel (Optimales Stoppen): Wenn die Antwort korrigiert werden muss, berechnet das System exakt, wie oft die KI versuchen sollte, die Antwort zu verbessern.
- Wenn die KI besser wird, macht sie weiter.
- Wenn die KI schlechter wird (also zurück in die rote Spur schwenkt), zieht das System sofort die Bremse.

Es ist wie ein Trainer, der einen Athleten beobachtet. Der Trainer sagt nicht: „Laufe 10 Runden.“ Der Trainer sagt: „Laufe, bis deine Herzfrequenz diesen spezifischen Wert erreicht, und dann hör auf.“ Dies stellt sicher, dass der Athlet das beste Ergebnis erzielt, ohne auszubrennen.

Was sie herausgefunden haben (Die Ergebnisse)

Das Team hat dieses „Ampelsystem“ an drei verschiedenen „klugen Freunden“ (KI-Modellen) und fünf verschiedenen Arten von schwierigen Matheproblemen getestet.

Bessere Genauigkeit: MarkovScale bekam mehr Fragen richtig als andere Methoden, die entweder nur geraten oder parallel arbeiteten.
Geld sparen (Tokens): Da das System genau weiß, wann es aufhören muss, verbrauchte es signifikant weniger „Tokens“ (die Währung der KI-Berechnung). In einigen Fällen sparte es bis zu 70 % der Rechenkosten ein, während es gleichzeitig eine bessere Punktzahl erreichte.
Die Zukunft vorhersagen: Die verwendete Mathematik war so präzise, dass sie das Endergebnis einer KI vorhersagen konnten, noch bevor sie den Test überhaupt durchgeführt hatten. Es ist, als würde man sich die Motordaten eines Autos ansehen und genau wissen, wie schnell es fahren wird, noch bevor man den Schlüssel umdreht.

Das Fazbeispiel

MarkovScale verwandelt den chaotischen, auf Raterei basierenden Prozess des „KI-Nachdenkens“ in einen präzisen, wissenschaftlichen Prozess. Es sagt der KI: „Wenn du richtig liegst, hör auf. Wenn du falsch liegst, versuche es einmal oder zweimal, aber hör auf, bevor du es schlimmer machst.“ Dies macht die KI intelligenter, schneller und wesentlich kostengünstiger im Betrieb.

Technisches Resümee: MarkovScale

Problemstellung

Während das Scaling zur Inferenzzeit als ein vielversprechendes Paradigma zur Verbesserung des Schließvermögens von Large Language Models (LLMs) ohne Modifikation der Modellparameter hervorgetreten ist, liefern sequenzielle Scaling-Methoden (z. B. Chain-of-Thought, Multi-Round Thinking) oft nur moderate Leistungssteigerungen im Vergleich zu parallelen Ansätzen. Aktuelle sequenzielle Methoden verlassen sich stark auf heuristische, nicht-prinzipielle Strategien. Infolgedessen ist es schwierig, geschlossene Ausdrücke für Leistungsgrenzen abzuleiten oder die präzisen Bedingungen zu verstehen, unter denen Scaling die Genauigkeit verbessert versus wann es zu einer Verschlechterung führt (z. B. „Overthinking“). Dieser Mangel an theoretischer Fundierung führt zu ineffizienter Ressourcennutzung und unvorhersehbaren Abwägungen zwischen Genauigkeit und Token-Verbrauch.

Methodik

Die Arbeit schlägt MarkovScale vor, ein prinzipienbasiertes Framework, das den sequenziellen Scaling-Prozess als einen diskreten zeitlichen Zwei-Zustands-Markov-Prozess modelliert.

1. Theoretische Formulierung

Zustandsdefinition: Das System modelliert die Korrektheit der Antwort eines LLMs in Iteration $i$ als einen Zustand $X_i \in \{C, W\}$ (Correct oder Wrong).
Übergangsdynamik: Der Prozess wird durch zwei Übergangswahrscheinlichkeiten gesteuert:
- $a$ : Wahrscheinlichkeit des Übergangs von Korrekt zu Inkorrekt ( $C \to W$ ).
- $b$ : Wahrscheinlichkeit des Übergangs von Inkorrekt zu Korrekt ( $W \to C$ ).
Konvergenzanalyse: Durch Einbeziehung der initialen Zero-Shot-Wahrscheinlichkeit $p_0$ leiten die Autoren eine geschlossene Lösung für die Korrektheitswahrscheinlichkeit $p_i$ bei einer beliebigen Iteration $i$ ab. Die Analyse zeigt, dass der Prozess gegen einen Fixpunkt $L = \frac{b}{a+b}$ konvergiert, welcher die inhärente Genauigkeitsgrenze des Modells unter unbegrenztem sequenziellem Scaling darstellt.
Kriterien für vorteilhaftes Scaling: Die Arbeit etabliert eine geschlossene Bedingung (Theorem III.1), um zu bestimmen, wann Scaling vorteilhaft ist. Scaling verbessert die Leistung genau dann, wenn die initiale Zero-Shot-Genauigkeit $p_0$ unter einem Schwellenwert liegt, der durch die Übergangswahrscheinlichkeiten und eine Robustheitsmarge $\sigma$ definiert ist: $p_0 < \frac{b}{a+b} + \sigma$ .

2. Praktische Implementierung: MarkovScale

Basierend auf den theoretischen Grenzen entwickeln die Autoren ein praktisches System mit zwei Varianten:

MarkovScale $^\dagger$ (Gating-Strategie): Ein selektiver Scaling-Ansatz, der die sequentielle Verfeinerung für Fragen, bei denen die initiale Antwort bereits wahrscheinlich korrekt ist (den Schwellenwert erfüllt), vollständig umgeht, um dadurch Token zu sparen.
MarkovScale $^*$ (Optimales Stoppen): Eine Optimierungsstrategie, die die optimale Stopp-Iteration $i^*$ bestimmt, um die Genauigkeit zu maximieren und gleichzeitig den Token-Verbrauch zu minimieren. Sie verwendet eine Maximum-a-Posteriori (MAP)-Schätzung, um die Wahrscheinlichkeit der Korrektheit während der Inferenz dynamisch zu aktualisieren, wobei eine Beta-Verteilung verwendet wird, die durch offline gelernte Priors initialisiert und durch Verifier-Scores (z. B. Process Reward Models) verfeinert wird.
MarkovScale $^0$ (Training-frei): Eine Variante, die ohne Offline-Training auskommt, indem sie heuristische Priors und statistische Schätzungen aus den initialen Inferenzrunden nutzt, wodurch sie ohne spezifischen Trainingsaufwand für diverse Modelle adaptierbar ist.

Zentrale Beiträge

Prinzipienbasierte Formulierung: Die Arbeit führt die erste diskrete, Zwei-Zustands-Markov-Formulierung für sequenzielles Scaling ein. Dies bietet eine probabilistische Charakterisierung der Scaling-Dynamik, die eine analytische Vorhersage der Leistungs-Konvergenz sowie die Ableitung von theoretischen oberen, neutralen und unteren Schranken ermöglicht.
Leistungscharakterisierung: Die Analyse identifiziert, dass die Effektivität des Scalings durch das Zusammenspiel zwischen der inhärenten Inferenzkapazität des Modells (Übergangswahrscheinlichkeiten) und der Schwierigkeit der Frage (Zero-Shot-Genauigkeit) bestimmt wird. Dies ermöglicht die frühzeitige Berechnung optimaler Stopp-Punkte und klare Kriterien dafür, wann Scaling kontraproduktiv ist.
Praktisches System (MarkovScale): Die Autoren implementieren ein Framework, das diese Optimalitätskriterien anwendet, um ein theoretisch fundiertes Gleichgewicht zwischen Genauigkeit und Effizienz zu erreichen. Das System umfasst Gating-Mechanismen, um schädliches Scaling zu filtern, sowie Kriterien für das optimale Stoppen, um unnötige Iterationen zu verhindern.

Experimentelle Ergebnisse

Das Framework wurde über 3 Backbone-LLMs (DeepSeek-R1-Distill-Qwen-7B, DeepSeek-R1-Distill-Llama-8B und QwQ-32B) und 5 Reasoning-Benchmarks (MATH-500, GSM8K, AIME 2024/2025, AMC 2023) evaluiert.

Genauigkeitsgewinne: MarkovScale übertraf konsistent State-of-the-Art-parallele (z. B. Best-of-N, Self-Consistency) und sequentielle (z. B. MR-Thinking, Atom of Thoughts) Methoden. Beispielsweise erreichte es bei DeepSeek-R1-Distill-Llama-8B eine durchschnittliche Genauigkeitsverbesserung von 19,7 % gegenüber den Baselines.
Effizienz: Die Methode demonstrierte signifikante Token-Einsparungen. Auf MATH-500 erreichte MarkovScale 97 % Genauigkeit bei einer gleichzeitigen Ersparnis von etwa 70 % der Token im Vergleich zur MR-Thinking-Baseline.
Robustheit: Das System behielt eine State-of-the-Art-Leistung über variierende Scaling-Budgets ( $N \in \{8, 16, 32, 64\}$ ) und Modellgrößen (7B bis 32B) bei.
Theoretische Validierung: Die empirischen Ergebnisse stimmten eng mit den theoretischen Vorhersagen überein, mit einem durchschnittlichen mittleren absoluten Fehler (MAE) von 2,88 % zwischen der vorhergesagten und der tatsächlichen Konvergenzgenauigkeit. Die Methode näherte sich konsistent der theoretischen oberen Schranke an, was die Fähigkeit der Markov-Formulierung zur Bewertung von Leistungsgrenzen validiert.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass MarkovScale einen bedeutenden Schritt in Richtung optimaler und ressourceneffizienter Inferenz bei LLMs darstellt. Durch die Abkehr von heuristischen Ansätzen liefert sie das erste theoretische Fundament für das Verständnis der sequenziellen Scaling-Dynamik. Das Framework verbessert nicht nur die Leistung, sondern bietet auch einen Mechanismus, um:

Das Konvergenzverhalten eines Modells vor groß angelegten Experimenten vorherzusagen.
Zu quantifizieren, wie nah eine Scaling-Strategie ihrem theoretischen Optimum ist.
Das Phänomen des „Overthinking“ systematisch anzugehen, indem es identifiziert und das Scaling stoppt, sobald es schädlich wird.

Die Autoren positionieren diese Arbeit als Brücke zwischen theoretischen statistischen Grundlagen und praktischer Inferenz-Zeit-Optimierung und bieten einen generalisierbaren Ansatz zur Verbesserung der Reasoning-Fähigkeiten von LLMs.