🤖 AI

MARS: Margin-Adversarial Risk-controlled Stopping for Parallel LLM Test-time Scaling

Das Papier stellt MARS vor, eine margin-adversarielle Abbruchregel, die parallele LLM-Reasoning-Spuren dynamisch stoppt, sobald die führende Antwort statistisch garantiert stabil bleiben wird, wodurch die Rechenkosten im Vergleich zur Inferenz mit vollem Budget um 25–47 % reduziert werden, ohne die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges mathematisches Problem zu lösen. Anstatt eine einzelne Person nachdenken zu lassen, stellen Sie 512 verschiedene Leute (oder KI-„Traces“) ein, die gleichzeitig daran arbeiten. Dies nennt man parallele Test-Time-Skalierung.

Normalenfalls müssen Sie warten, bis alle 512 Personen ihren gesamten Aufsatz fertig geschrieben haben, bevor Sie die Stimmen zählen und sehen können, wer die richtige Antwort gegeben hat. Das kostet viel Zeit und Geld (Rechenleistung), obwohl der Gewinner bei vielen Fragen schon lange vor dem Ende des Schreibprozesses offensichtlich ist.

Das Paper stellt eine neue Methode namens MARS (Margin-Adversarial Risk-controlled Stopping) vor. Denken Sie an MARS als einen klugen Schiedsrichter, der in der Lage ist, die Entwürfe der Schreiber zwischendurch zu prüfen und zu entscheiden, wann das Rennen vorzeitig beendet werden kann, ohne den falschen Gewinner zu riskieren.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „False Consensus“-Falle

Stellen Sie sich ein Rennen vor, bei dem 89 % der Läufer derzeit rote T-Shirts tragen (eine falsche Antwort) und nur 11 % blaue T-Shirts (die richtige Antwort).

Die alte Methode (Consensus Stopping): Ein naiver Schiedsrichter sieht, dass das rote Team mit einer riesigen Marge führt und sagt: „Okay, das rote Team gewinnt eindeutig, lassen Sie uns das Rennen stoppen!“ Aber später merken die Mitglieder des blauen Teams, dass ihre Strategie besser war, wechseln zu Blau und überholen das rote Team. Der Schiedsrichter hat zu früh gestoppt und den falschen Gewinner gewählt.
Die Beobachtung des Papers: Nur weil ein Team jetzt gerade führt, bedeutet das nicht, dass es sicher ist. Wir müssen wissen, ob das Verlierer-Team noch genug „Treibstoff“ hat, um aufzuholen.

2. Die MARS-Lösung: Der „Sicherheitsmarge“-Check

MARS agiert wie ein vorsichtiger Schiedsrichter, der nicht nur auf den aktuellen Spielstand schaut, sondern das Worst-Case-Szenario für die Zukunft berechnet.

In regelmäßigen Abständen (Checkpoints) hält der Schiedsrichter die Läufer kurz an, um zu fragen: „Was ist eure aktuelle Antwort?“ (Dies wird als Probing bezeichnet). Dann unternimmt MARS zwei Dinge:

Schritt A: Vorhersage der Wechsel (Das „Wer“):
MARS betrachtet die Historie jedes Läufers. Hat er schon einmal seine Meinung geändert? Ist er selbstbewusst? Basierend darauf schätzt MARS die Wahrscheinlichkeit ein, mit der ein bestimmter Läufer später seine Antwort ändern wird.
- Analogie: Es ist wie ein Trainer, der auf den Schweiß und die Atmung eines Läufers achtet, um zu erraten: „Dieser Läufer wird wahrscheinlich aufgeben oder seine Meinung ändern“ im Gegensatz zu: „Dieser Läufer ist beständig.“
Schritt B: Das adversarielle Sicherheitsnetz (Das „Wie schlimm“):
MARS stellt eine beängstigende Frage: „Was ist das Schlimmste, was das Verlierer-Team tun könnte?“ Es geht davon aus, dass ein Läufer, falls er seine Meinung ändert, zum stärksten Rivalen-Team wechseln könnte, um den Sieg zu stehlen.
- Analogie: Stellen Sie sich vor, der Schiedsrichter berechnet: „Das rote Team liegt mit 100 Punkten vorne. Aber wenn 50 der unentschlossenen Läufer zum blauen Team wechseln und 20 vom roten Team ebenfalls zu Blau wechseln, könnte das blaue Team gewinnen.“
- MARS stoppt das Rennen erst, wenn der Vorsprung des aktuellen Führenden so groß ist, dass selbst wenn jeder einzelne unentschlossene Läufer zum stärksten Rivalen wechseln würde und im schlimmsten Fall agierte, der Führende immer noch gewinnen würde.

3. Der „Kalibrierungs“-Trick

Das Paper gibt zu, dass die Annahme, dass jeder zum schlimmsten Rivalen wechselt, zu beängstigend (zu konservativ) ist. Es würde den Schiedsrichter dazu bringen, bis zum allerletzten Moment zu warten, was den Zweck der Methode vereiteln würde.

Deshalb führt MARS zuerst ein kleines „Probetraining“ durch (genannt Warmup Traces). Es beobachtet diese Probeläufer, um zu sehen, wie oft sie tatsächlich ihre Meinung ändern und wohin sie wechseln. Es nutzt diese Daten, um seinen „Grusel-Faktor“ (genannt Gamma) anzupassen.

Analogie: Wenn das Probelauf zeigt, dass Läufer selten zum Rivalen-Team wechseln, lockert der Schiedsrichter die Regel etwas auf. „Okay, wir müssen nicht auf den absolut schlimmsten Fall warten; wir müssen nur auf einen sehr wahrscheinlichen schlechten Fall warten.“ Dies ermöglicht es, das Rennen früher zu beenden und dennoch sicher zu sein.

4. Die Ergebnisse

Das Paper testete MARS auf drei verschiedenen KI-Modellen, die schwierige Mathematik-Wettbewerbe lösen (wie AIME und HMMT).

Einsparungen: MARS sparte 25 % bis 47 % der Rechenzeit (Tokens) im Vergleich zum Warten, bis alle fertig waren. Selbst im Vergleich zu anderen smarten Methoden, die bereits versuchen, Abkürzungen zu nehmen, sparte MARS zusätzliche 14 % bis 29 %.
Genauigkeit: Entscheidend ist, dass MARS die Genauigkeit nicht verringert hat. Es wählte die korrekte Antwort genauso oft aus, als hätte es darauf gewartet, dass alle fertig werden.
Vergleich: Eine andere Methode namens „Parallel-Probe“ versuchte, vorzeitig zu stoppen, indem sie lediglich darauf wartete, dass die Mehrheit stabil aussah. Das Paper zeigt, dass dies bei schwierigen Problemen kläglich scheiterte (die Genauigkeit halbierte sich), da sie zu früh stoppte, als die „falsche“ Antwort stabil aussah. MARS vermied dies, indem es die „Sicherheitsmarge“ prüfte, anstatt nur auf den aktuellen Punktestand zu schauen.

Zusammenfassung

MARS ist eine kluge Art, das KI-Reasoning vorzeitig zu beenden. Anstatt darauf zu warten, dass alle ihren ganzen Aufsatz fertig schreiben, prüft es die Entwürfe, sagt voraus, wer die Meinung ändern könnte, und berechnet, ob der aktuelle Gewinner sicher ist, selbst wenn die Verlierer sich so sehr wie möglich anstrengen, um aufzuholen. Wenn der Gewinner sicher ist, stoppt es das Rennen, was massiv Zeit und Geld spart, ohne die korrekte Antwort zu opfern.

Technisches Resümee: MARS (Margin-Adversarial Risk-controlled Stopping)

1. Problemstellung

Paralleles Test-Time Scaling verbessert die Genauigkeit von Large Language Models (LLMs) bei komplexen Denkaufgaben, indem mehrere Denkpfade (Reasoning Traces) gesampelt und deren Antworten über Mehrheitsentscheidungen (z. B. Self-Consistency) aggregiert werden. Dieser Ansatz verursacht jedoch einen erheblichen Rechenaufwand, da typischerweise alle Pfade bis zum Abschluss ausgeführt werden, selbst wenn die gewinnende Antwort bereits frühzeitig feststeht.

Moderne Denkmodelle legen jedoch die intermediären „Denkpfade“ offen, was das Extrahieren partieller Antworten mittels Probing ermöglicht, ohne den Generierungsprozess zu unterbrechen. Bestehende Early-Stopping-Methoden verlassen sich auf Konsens-Heuristiken (z. B. das Stoppen, wenn die Mehrheitsantwort über $u$ aufeinanderfolgende Checkpoints hinweg stabil bleibt). Die vorliegende Arbeit argumentiert, dass diese Heuristiken für schwierige Probleme grundlegend fehlerhaft sind: Sie führen oft dazu, dass falsche Antworten vorzeitig fixiert werden, die anfangs stabil erscheinen, aber später durch die korrekte Antwort überholt werden, sobald mehr Pfade ihre Argumentation revidieren. Die zentrale Herausforderung besteht darin, zu bestimmen, wann es sicher ist, die parallele Generierung zu stoppen, um Token zu sparen, während gleichzeitig das Endergebnis der Abstimmung bei vollem Budget beweisbar erhalten bleibt.

2. Methodik: MARS

Die Autoren schlagen MARS (Margin-Adversarial Risk-controlled Stopping) vor, eine fundierte Early-Stopping-Regel, die den Fokus von historischer Stabilität auf zukünftiges Risiko verschiebt.

Kern-Erkenntnis

Sicherheit wird nicht dadurch bestimmt, ob sich die Abstimmung geändert hat, sondern ob sie sich noch ändern kann. Ein Vorsprung ist nur dann sicher, wenn die aktuelle Marge gegenüber jedem Herausforderer das Worst-Case-Schadenspotenzial zukünftiger Antwortwechsel übersteigt.

Die Stopp-Regel

An jedem Checkpoint $t$ evaluiert MARS jeden aktiven Pfad $j$ und jeden potenziellen Herausforderer $k$ (einschließlich eines synthetischen „ungesehenen“ Herausforderers $\perp$ , der neuartige Antworten repräsentiert). Der Algorithmus stoppt, wenn für alle Herausforderer $k$ gilt:
$M_k(t) \ge \Gamma_k(t) + \epsilon(N, \delta)$
Wobei:

$M_k(t)$ : Die aktuelle Stimmmarge des Anführers $L(t)$ gegenüber dem Herausforderer $k$ ist.
$\Gamma_k(t)$ : Der erwartete adversarielle Wechsel-Schaden (adversarial switch damage). Dies ist die Summe der erwarteten Stimmenverluste, falls aktive Pfade zum denkbar schlechtesten Ziel für den Anführer wechseln würden.
- Wenn ein Pfad, der aktuell für den Anführer stimmt, wechselt, verursacht dies einen Schaden von $2w_j$ (Verlust von $w_j$ für den Anführer, Gewinn von $w_j$ für den Herausforderer).
- Wenn ein Pfad, der für eine neutrale Option stimmt, zum Herausforderer wechselt, beträgt der Schaden $w_j$ .
- Wenn ein Pfad, der für den Herausforderer stimmt, wechselt, hilft dies dem Anführer tatsächlich (negativer Schaden).
$\epsilon(N, \delta)$ : Eine Konzentrationsgrenze (abgeleitet aus der Hoeffding-Ungleichung), die sicherstellt, dass die Wahrscheinlichkeit eines Wechsels des Anführers unter einem Risikoniveau $\delta$ liegt.

Zweiteilige Modellierung

Um die Regel praktikabel zu machen, trennt MARS die Unsicherheit in zwei Komponenten:

Wechselwahrscheinlichkeit ( $q_j$ ): Ob ein Pfad seine Antwort ändern wird. Dies wird mithilfe eines leichtgewichtigen 5-Feature-Logistik-Regressionsmodells gelernt, das auf einer kleinen Menge von „Warmup“-Pfaden trainiert wurde. Zu den Merkmalen gehören die Position des Checkpoints, das Probe-Vertrauen, die Anzahl der Antwortwechsel, die Streak-Länge und der Vertrauens-Trend.
Zielverhalten (Destination Behavior): Wohin ein wechselnder Pfad gelangt. Da die Vorhersage der exakten zukünftigen Antwort-Zeichenkette unpraktikabel ist, behandelt MARS dies adversariell. Um zu vermeiden, dass man zu konservativ ist (unter der Annahme, dass alle Wechsel koordiniert gegen den Anführer agieren), führt MARS einen Kontraktionsparameter $\gamma \in [0.5, 1]$ ein. Dieser Parameter wird pro Frage mithilfe von Warmup-Pfaden kalibriert, um zu schätzen, wie viel der Wechselmasse in der Praxis tatsächlich adversariell agiert.

Algorithmus-Ablauf

Warmup: Führe 16 Pfade bis zum Abschluss aus, um das Modell für die Wechselwahrscheinlichkeit anzupassen und $\gamma$ zu kalibrieren.
Parallele Ausführung: Starte $N$ Pfade.
Checkpointing: Probe in Intervallen die aktuellen Antworten der aktiven Pfade ab.
Zertifizierung: Berechne Margen und erwarteten adversariellen Schaden. Wenn die Marge die Schadensgrenze für alle Herausforderer überschreitet, stoppe die Generierung und gib den aktuellen Anführer aus.
Fallback: Falls die Bedingung nie erfüllt wird, führe die volle Budget-Laufzeit aus.

3. Wichtigste Beiträge

Fundierte Stopp-Kriterium: Einführung einer margenbasierten, risikokontrollierten Stopp-Regel, die eine hochwahrscheinliche Garantie bietet, dass die frühzeitig gestoppte Antwort mit der Abstimmung des vollen Budgets übereinstimmt, im Gegensatz zu heuristischen Konsens-Methoden.
Adversarielle Kalibrierung: Entwicklung einer Methode zur Handhabung der Unsicherheit darüber, wohin Pfade wechseln, durch Kombination einer gelernten Wechselwahrscheinlichkeit mit einer kalibrierten adversariellen Grenze, wodurch die Notwendigkeit einer komplexen Modellierung der Zielverteilung vermieden wird.
Empirische Validierung: Nachweis, dass ein einfaches logistisches Modell für Wechselwahrscheinlichkeiten der „Oracle“-Performance (Kenntnis des zukünftigen Wechselstatus) sehr nahe kommt, was die Trennung von „ob es wechselt“ und „wohin es landet“ validiert.

4. Experimentelle Ergebnisse

Evaluierung auf drei mathematischen Wettbewerbs-Benchmarks (AIME 2025, HMMT, BRUMO 2025) unter Verwendung von drei Modellen (DeepSeek-R1-8B, Qwen3-32B, Qwen3-next):

Token-Einsparungen:
- 25–47 % Reduktion der Tokens im Vergleich zu Standard-Self-Consistency (SC).
- Zusätzliche 14–29 % Reduktion zusätzlich zu DeepConf Online (einem starken Baseline-Modell, das schwache Pfade basierend auf Konfidenz filtert und kürzt).
Genauigkeitserhaltung:
- MARS erreicht die Genauigkeit der Full-Budget-Baseline in allen 18 Einstellungen (innerhalb einer Differenz von 0,6 Prozentpunkten, sofern Änderungen auftreten).
- In einigen Fällen verbesserte sich die Genauigkeit um bis zu 0,8 Punkte (z. B. Qwen3-next auf AIME unter SC).
Vergleich mit Parallel-Probe:
- Die konkurrierende Methode Parallel-Probe (die auf Konsens-Stabilität setzt) steht vor einem Tradeoff: Sie erzielt hohe Einsparungen (20–51 %) nur durch den Verlust signifikanter Genauigkeit (6–45 Prozentpunkte). Wenn sie auf Genauigkeit getrimmt wird, sinken die Einsparungen auf $\le 4 \%$ .
- MARS erreicht hohe Einsparungen ohne Genauigkeitsverlust, indem es die Marge zertifiziert statt lediglich Stabilität zu detektieren.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die aggregierte Margenstabilität eine eigenständige und effektive Quelle für die Effizienz zur Testzeit ist, die sich von der pro-Pfad-Konfidenzfilterung unterscheidet. Die Bedeutung liegt in:

Sicherheitsgarantien: Bereitstellung einer theoretischen Garantie (via Hoeffding-Grenzen), dass das Early-Stopping das Endergebnis der Abstimmung nicht verändert, womit der Ausfallmodus von Konsens-Heuristiken bei schwierigen Problemen adressiert wird.
Effizienz ohne Training: Erzielung von Effizienz rein durch Beobachtung der Generierungsdynamik und Probing, ohne zusätzliches Verifier-Training oder Reward-Modelle zu benötigen.
Praktikabilität: Demonstration, dass ein einfaches, leichtgewichtiges Modell für Wechselwahrscheinlichkeiten in Kombination mit einer kalibrierten adversariellen Grenze ausreicht, um die komplexe Dynamik paralleler Argumentation zu erfassen, was erhebliche Token-Einsparungen in realen Szenarien des parallelen Decodings ermöglicht.

Die Autoren merken an, dass zukünftige Arbeiten adaptive Probing-Intervalle untersuchen und das Framework auf Domänen jenseits des mathematischen Denkens, wie etwa Code-Generierung oder agentische Aufgaben, ausweiten könnten.