📊 statistics

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

Dieses Paper stellt Reset-and-Discard (ReD) vor, eine Abfragestrategie, die die Abdeckung einzigartiger Fragen, die von Large Language Models gelöst werden, innerhalb eines festen Budgets optimiert, indem sie den abnehmenden Grenzertrag des traditionellen Pass@k-Samplings durch eine auf Potenzgesetzen basierende Allokation mildert.

Ursprüngliche Autoren: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Ratespiel“-Problem

Stellen Sie sich vor, Sie haben eine große Tasche voller Rätsel (Fragen) und eine begrenzte Menge Geld, um Versuche (Versuche) von einem klugen, aber manchmal eigensinnigen Freund (einem Large Language Model oder LLM) zu kaufen. Ihr Ziel ist es nicht nur, ein wirklich schweres Rätsel zu lösen; Ihr Ziel ist es, so viele verschiedene Rätsel wie möglich zu lösen, bevor Ihnen das Geld ausgeht.

Die Arbeit befasst sich mit einem häufigen Fehler, den Menschen beim Spielen dieses Spiels machen.

Der alte Weg: „Der eigensinnige Spieler“ (Solve-to-Completion)

Derzeit verwenden die meisten Menschen eine Strategie, die die Autoren als „Solve-to-Completion“ bezeichnen.

Wie es funktioniert: Sie wählen Rätsel Nr. 1. Sie bitten Ihren Freund um eine Antwort. Wenn er sie falsch beantwortet, fragen Sie erneut. Und erneut. Und erneut. Sie fragen so lange nach Rätsel Nr. 1, bis er es endlich richtig gelöst hat. Erst dann gehen Sie zu Rätsel Nr. 2 über.
Das Problem: Einige Rätsel sind einfach wirklich, wirklich schwer. Ihr Freund könnte bei Rätsel Nr. 1 vielleicht 50 Versuche brauchen. Bis er Rätsel Nr. 1 schließlich gelöst hat, haben Sie bereits 50 Versuche verbraucht. Sie haben dann null Versuche mehr für die Rätsel Nr. 2 bis 100 übrig. Sie haben eine schwere Sache gelöst, aber Sie haben die 99 leichten Dinge verpasst.
Das Ergebnis: Während Sie mehr Geld ausgeben, wächst die Anzahl der neuen gelösten Rätsel immer langsamer. Es ist wie der Versuch, einen Eimer mit einem undichten Schlauch zu füllen; je mehr man drückt, desto weniger Wasser fließt tatsächlich hinein.

Der neue Weg: „Der Breitensuchende Entdecker“ (Reset-and-Discard / ReD)

Die Autoren schlagen eine neue Strategie namens Reset-and-Discard (ReD) vor.

Wie es funktioniert:
1. Sie wählen Rätsel Nr. 1 und fragen Ihren Freund einmal.
2. Wenn er es richtig gelöst hat, feiern Sie, werfen das Rätsel weg (Discard) und gehen zu Rätsel Nr. 2 über.
3. Wenn er es falsch gelöst hat, fragen Sie nicht weiter nach. Sie hören sofort auf, legen dieses Rätsel vorerst beiseite und gehen zu Rätsel Nr. 2 über.
4. Sie gehen die gesamte Liste der Rätsel durch und stellen zu jedem genau einmal (oder ein paar Mal) eine Frage.
5. Soblich Sie die ganze Liste durchgegangen sind, kehren Sie zum Anfang zurück und versuchen es bei denen, die noch ungelöst sind.
Die Analogie: Stellen Sie sich vor, Sie sind ein Feuerwehrmann, der versucht, viele kleine Brände zu löschen. Anstatt vor einem hartnäckigen Feuer stehen und Wasser darauf sprühen, bis es aus ist (während man die anderen Brände in der Nähe ignoriert), sprühen Sie ein wenig Wasser auf jeden Brand. Wenn ein Feuer erloschen ist, lassen Sie es in Ruhe. Wenn es noch brennt, kommen Sie später wieder.
Das Ergebnis: Sie lösen eine riesige Anzahl von Rätseln sehr schnell. Selbst wenn Sie die schwersten Rätsel nicht sofort lösen, lösen Sie zuerst alle leichten und mittelschweren. Dies bietet Ihnen ein viel besseres „Bang for your Buck“ (mehr Ertrag für Ihr Geld).

Die Wissenschaft hinter dem Zauber

Die Arbeit nutzt Mathematik, um zu beweisen, warum dies so gut funktioniert.

Das Potenzgesetz (Power Law): Die Autoren stellten fest, dass die Wahrscheinlichkeit, ein Problem zu lösen, bei diesen KI-Modellen einem spezifischen mathematischen Muster folgt (einem „Potenzgesetz“). Im Grunde gilt: Je schwieriger das Problem, desto exponentiell schwieriger wird es, es zu lösen.
Die „abnehmender Ertrag“-Falle: Unter der alten Methode des „eigensinnigen Spielers“ bedeutet diese Mathematik, dass Sie, während Sie mehr Geld ausgeben, immer weniger neue gelöste Probleme erhalten.
Die Lösung: Die „Reset-and-Discard“-Meth Methode durchbricht diese Falle. Die Mathematik zeigt, dass Sie, indem Sie nach jedem Versuch (oder ein paar Versuchen) zurücksetzen, dieses langsame, abnehmende Wachstum in ein stetiges, lineares Wachstum verwandeln. Sie erhalten einen konstanten Strom an gelösten Problemen, egal wie viele Versuche Sie unternehmen.

Wichtige Erkenntnisse aus den Experimenten

Die Autoren testeten dies an echten KI-Modellen (wie Llama und GPT) anhand von drei Arten von Herausforderungen:

Coding: Das Schreiben von Computerprogrammen.
Mathematik: Das Lösen von mathematischen Textaufgaben.
Logik/Schlussfolgerung (Reasoning): Das Beantworten komplexer Multiple-Choice-Fragen.

Was sie herausfanden:

Mehr Lösungen: Mit dem gleichen Budget löste ReD signifikant mehr einzigartige Probleme als die alte Methode.
Günstiger: Um ein bestimmtes Ziel zu erreichen (z. B. 80 % der Probleme zu lösen), benötigte ReD weniger Versuche, weniger Computer-Token und weniger tatsächliches Geld.
Funktioniert mit unvollkommenen Prüfern: Selbst wenn das System, das die Antworten überprüft, Fehler macht (also manchmal „falsch“ sagt, obwohl es richtig ist, oder umgekehrt), gewinnt ReD trotzdem.
Die Zukunft vorhersagen: Die Autoren zeigten auch, dass man durch die Verwendung von ReD tatsächlich berechnen kann, wie intelligent die KI ist (ihr „Potenzgesetz-Exponent“), ohne tausende teure Tests durchführen zu müssen. Es ist wie die Fähigkeit, die Geschwindigkeit eines Autos zu erraten, indem man es nur einige Sekunden beobachtet, anstatt ein ganzes Rennen zu stoppen.

Das Fazament

Wenn Sie ein festes Budget haben, um eine KI dazu zu bringen, eine Liste von Problemen zu lösen, hämmere nicht ständig auf die schweren Aufgaben ein. Versuchen Sie stattdessen jedes Problem einmal, werfen Sie die gelösten weg und kommen Sie zu denjenigen zurück, die Sie verpasst haben. Diese „Reset-and-Discard“-Strategie ermöglicht es Ihnen, für denselben Preis viel mehr Probleme zu lösen, und verwandelt einen langsamen, frustrierenden Prozess in eine effiziente, Hochgeschwindigkeitsmaschine.

Technisches Resümee: Reset and Discard (ReD) für LLM-Inferenz

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend anhand verifizierbarer Aufgaben (z. B. Programmierung, Mathematik, formale Beweise) unter Verwendung der pass@k-Metrik evaluiert, welche die Wahrscheinlichkeit misst, eine einzelne Instanz innerhalb von $k$ Versuchen korrekt zu lösen. Empirische Beobachtungen zeigen, dass die Fehlerrate ( $1 - \text{pass@k}$ ) für viele Aufgaben als Potenzgesetz in Bezug auf $k$ abnimmt (d. h. $1 - \text{pass@k} \propto k^{-\alpha}$ ).

In praktischen Inferenzszenarien mit einem festen globalen Budget (gemessen in Versuchen, Token oder USD) ist jedoch nicht die Erfolgsrate bei einem einzelnen Problem das relevante Ziel, sondern die Coverage@Cost: die erwartete Anzahl einzigartiger gelöster Probleme unter einer gegebenen Ressourcenbeschränkung. Die Standard-Allokationsstrategie, Solve-to-Completion (das wiederholte Sampling eines einzelnen Problems, bis es gelöst ist, bevor man zum nächsten übergeht), ist unter Potenzgesetz-Schwierigkeitsverteilungen ineffizient. Da schwierige Probleme einen unverhältnismäßig hohen Anteil an Versuchen beanspruchen, führt diese Strategie zu einem sublinearen Wachstum der Coverage@Cost, wenn der Potenzgesetz-Exponent $\alpha < 1$ ist (ein häufiger empirischer Befund). Dies resultiert in abnehmenden Grenzerträgen, bei denen zusätzliches Budget immer weniger gelöste Probleme liefert.

Methodik: Reset-and-Discard (ReD)

Die Autoren schlagen Reset-and-Discard (ReD) vor, eine Allokationsstrategie, die den Durchsatz optimiert, indem sie den Inferenzprozess als Breitensuche (Breadth-First Search) über einen Problemsatz behandelt.

Das ReD-Protokoll

Reset: Anstatt beharrlich an einem einzelnen Problem zu arbeiten, bis es gelöst ist, versucht das System jedes Problem für eine feste Anzahl von Versuchen $\tau$ (im optimalen Fall $\tau=1$ , d. h. jeder Versuch ist ein neuer Versuch).
Discard: Wenn ein Problem innerhalb von $\tau$ Versuchen gelöst wird, wird es sofort aus der Warteschlange entfernt.
Rotation: Wenn ein Problem nach $\tau$ Versuchen nicht gelöst wurde, wird es an das Ende der Warteschlange gesetzt, und das System fährt sofort mit dem nächsten verfügbaren Problem fort.

Theoretischer Rahmen

Die Arbeit stellt eine mathematische Abbildung zwischen pass@k und coverage@cost unter Verwendung der Erneuerungstheorie (Renewal Theory) her.

Standard-Strategie: Für eine Schwierigkeitsverteilung, bei der $P(p) \sim p^{\alpha-1}$ gilt (was zu einem Potenzgesetz-Verhalten bei pass@k führt), divergiert die erwartete Anzahl der Versuche zur Lösung eines Problems, $E[T]$ , falls $\alpha < 1$ . Folglich wächst die Coverage@Cost sublinear ( $\propto t^\alpha$ ).
ReD-Strategie: Durch das Zurücksetzen nach jedem $\tau$ $τ$ Versuch wird die effektive Anzahl der Versuche zur Lösung eines Problems, $E[T_\tau]$ $E [T_{τ}]$ , unabhängig von der zugrunde liegenden Schwierigkeitsverteilung endlich.
- Wenn $0 < \alpha < 1$ , transformiert ReD das Wachstum der Coverage@Cost von sublinear zu linear ( $\propto t$ ).
- Wenn $\alpha > 1$ , bewahrt ReD das lineare Wachstum, erzielt jedoch eine steilere Steigung (höhere Effizienz) als die Standard-Strategie.
Optimalität: Die Autoren beweisen, dass das Zurücksetzen nach jedem Versuch ( $\tau=1$ ) die optimale Strategie ist, um die erwartete Anzahl der Versuche pro gelöstem Problem zu minimieren, unabhängig von der Schwierigkeitsverteilung. Dies gilt auch bei unvollkommenen Verifizierern, sofern die Summe aus False-Negative- und False-Positive-Raten kleiner als 1 ist.

Inferenz von Skalierungsgesetzen

Die Arbeit zeigt auch, dass ReD-Trajektorien dazu verwendet werden können, den Potenzgesetz-Exponenten $\alpha$ zu inferieren, ohne dass teure Large- $k$ -Evaluierungen erforderlich sind. Während ReD durch verschiedene Runden läuft, konvergiert die Verteilung der verbleibenden ungelösten Probleme gegen eine Beta-Verteilung. Durch die Analyse des Verhältnisses der verbleibenden Probleme zwischen den Runden, $\langle R_n \rangle / \langle R_{n+1} - R_n \rangle$ , kann man $\alpha$ linear schätzen.

Zentrale Beiträge

Verbindung der Metriken: Eine exakte Abbildung von pass@k zu coverage@cost hergeleitet, die charakterisiert, wie das Potenzgesetz-Verhalten von pass@k ( $0 < \alpha < 1$ ) ein sublineares Wachstum in Standard-Allokationsschemata induziert.
ReD-Algorithmus: Ein Reset-and-Discard-Verfahren vorgeschlagen und dessen Optimalität bewiesen. Es garantiert lineares Wachstum der Coverage@Cost für $\alpha < 1$ und verbessert die Effizienz für $\alpha > 1$ .
Theoretische Garantien: Bewiesen, dass ReD die erwartete Belohnung pro Versuch für jede Schwierigkeitsverteilung strikt maximiert und gegenüber Verifizierer-Rauschen robust bleibt.
Exponent-Inferenz: Eine Methode entwickelt, um Inferenz-Skalierungsexponenten direkt aus ReD-Läufen zu schätzen, wodurch kostspielige Large- $k$ -Samplings umgangen werden.
Empirische Validierung: Signifikante Verbesserungen über drei LLMs (Llama-3.1-8b, Llama-3.3-70b, GPT-oss-20b) und drei Benchmarks (HumanEval, GSM8K, MMLU-Pro) nachgewiesen.

Experimentelle Ergebnisse

Die Experimente wurden auf den Datensätzen HumanEval (Coding), GSM8K (Mathematik) und MMLU-Pro (Reasoning) durchgeführt.

Effizienz: ReD reduzierte die Anzahl der Versuche, Token und die USD-Kosten erheblich, die benötigt wurden, um eine Ziel-Coverage zu erreichen, im Vergleich zu Solve-to-Completion.
Modellvergleich: Auf dem HumanEval-Benchmark übertraf die Anwendung von ReD auf ein kleineres Modell (Llama-3.1-8b) die Standard-Allokation eines wesentlich größeren Modells (Llama-3.3-70b) in Bezug auf Versuche und Token bis zu einer Coverage von ~90 %. In Bezug auf die USD-Kosten war die ReD-Strategie auf dem 8b-Modell über alle Coverage-Level hinweg die kosteneffizienteste Methode.
Skalierungsgesetz-Inferenz: Durch die Anwendung von ReD auf das 8b-Modell konnten die Autoren erfolgreich einen Potenzgesetz-Exponenten von $\alpha \approx 0,34$ inferieren, was dem Exponenten entsprach, der aus High- $k$ -pass@k-Messungen abgeleitet wurde.
Robustheit: Der Vorteil von ReD blieb auch bei der Simulation verrauschter Verifizierer bestehen.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ReD einen grundlegenden Wandel in der Art und Weise bietet, wie Rechenleistung für verifizierbare Aufgaben alloziert wird.

Von „Pay-per-Token“ zu „Outcome-as-a-Service“: ReD ermöglicht es Systemen, sich auf die „Frontier of Learnability“ (Probleme, die innerhalb weniger Versuche lösbar sind) zu konzentrieren, anstatt Ressourcen für schwierige Instanzen zu verschwenden, die nur noch abnehmende Grenzerträge liefern.
Hierarchisches Routing: Die Methodik unterstützt effiziente Hybrid-Strategien, bei denen kleine Modelle den Großteil der Probleme mittels ReD bearbeiten und nur ungelöste Probleme an größere, teurere Modelle geroutet werden.
Allgemeine Anwendbarkeit: Der Ansatz ist auf jede Pipeline anwendbar, die wiederholtes Sampling und Verifizierung unterstützt, und bietet eine beweisbare Verbesserung des Durchsatzes, ohne Änderungen an der Modellarchitektur oder dem Training zu erfordern.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass ReD speziell für verifizierbare Aufgaben konzipiert ist, bei denen die Korrektheit der Lösung automatisch bewertet werden kann. Sie behaupten nicht, dass die Methode auf nicht-verifizierbare Generierungsaufgaben anwendbar ist, und schlagen auch keine Integration von gelernten Schwierigkeitsprognosen als Teil dieser Arbeit vor.