📊 statistics

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

Dit artikel introduceert Reset-and-Discard (ReD), een querystrategie die de dekking van unieke vragen die door grote taalmodellen worden opgelost optimaliseert binnen een vast budget door de afnemende meeropbrengsten van traditionele pass@k-sampling te verzachten via een op de machtswet gebaseerde allocatie.

Oorspronkelijke auteurs: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Raadspel"-probleem

Stel je voor dat je een grote zak met raadsels (vragen) hebt en een beperkte hoeveelheid geld om gokjes (pogingen) te kopen van een slimme maar soms koppige vriend (een Large Language Model of LLM). Je doel is niet alleen om één echt moeilijk raadsel op te lossen; je doel is om zo veel mogelijk verschillende raadsels op te lossen voordat je door je geld heen bent.

Het paper behandelt een veelvoorkomende fout die mensen maken tijdens dit spel.

De Oude Manier: "De Koppige Gokkker" (Solve-to-Completion)

Momenteel gebruiken de meeste mensen een strategie die de auteurs "Solve-to-Completion" noemen.

Hoe het werkt: Je kiest Raadsel #1. Je vraagt je vriend om een antwoord. Als hij het fout heeft, vraag je het opnieuw. En opnieuw. En opnieuw. Je blijft Raadsel #1 vragen totdat hij het eindelijk goed heeft. Pas dan ga je over naar Raadsel #2.
Het Probleem: Sommige raadsels zijn gewoon echt, echt moeilijk. Je vriend kan misschien 50 pogingen nodig hebben voor Raadsel #1. Tegen de tijd dat hij Raadsel #1 eindelijk heeft opgelost, heb je al 50 pogingen verspild. Je hebt dan nul pogingen meer over voor de Raadsels #2 tot en met #100. Je hebt één moeilijk ding opgelost, maar je hebt de 99 makkelijke dingen gemist.
Het Resultaat: Naarmate je meer geld uitgeeft, groeit het aantal nieuwe opgeloste raadsels steeds langzamer. Het is als proberen een emmer te vullen met een lekkende tuinslang; hoe harder je duwt, hoe minder water er daadwerkelijk in komt.

De Nieuwe Manier: "De Breedlerig Verkennende" (Reset-and-Discard / ReD)

De auteurs stellen een nieuwe strategie voor genaamd Reset-and-Discard (ReD).

Hoe het werkt:
1. Je kiest Raadsel #1 en vraagt je vriend één keer om een antwoord.
2. Als hij het goed heeft, vier je dat, gooi je het raadsel weg (Discard) en ga je naar Raadsel #2.
3. Als hij het fout heeft, blijf je niet doorvragen. Je stopt onmiddellijk, legt dat raadsel even opzij en gaat door naar Raadsel #2.
4. Je loopt de hele lijst met raadsels door en vraagt elk raadsel precies één keer (of een paar keer).
5. Zodra je de hele lijst hebt doorlopen, ga je terug naar het begin en probeer je de raadsels die nog steeds niet zijn opgelost.
De Analogie: Stel je voor dat je een brandweerman bent die veel kleine brandjes probeert te blussen. In plaats van voor één koppig brandje te staan en water op dat ene brandje te spuiten totdat het uit is (terwijl je de andere brandjes in de buurt negeert die ook uitbreiden), spuit je een beetje water op elk brandje. Als een brandje uitgaat, laat je het met rust. Als het nog steeds brandt, kom je er later op terug.
Het Resultaat: Je lost een enorm aantal raadsels heel snel op. Zelfs als je de moeilijkste raadsels niet meteen oplost, los je alle makkelijke en gemiddelde raadsels eerst op. Dit geeft je veel meer "bang for your buck" (meer waar voor je geld).

De Wetenschap Achter de Magie

Het paper gebruikt wiskunde om te bewijzen waarom dit zo goed werkt.

De Wet van de Macht (Power Law): De auteurs merkten op dat voor deze AI-modellen de kans op het oplossen van een probleem volgens een specifiek wiskundig patroon afneemt (een "power law"). Kort gezegd: hoe moeilijker het probleem, hoe exponentieel moeilijker het wordt om het op te lossen.
De "Verminderde Meeropbrengst"-valstrik: Onder de oude "Koppige Gokker"-methode betekent deze wiskunde dat je, naarmate je meer geld uitgeeft, steeds minder nieuwe opgeloste problemen krijgt.
De Oplossing: De "Reset-and-Discard"-methode doorbreekt deze valstrik. De wiskunde laat zien dat door na elke poging (of een paar pogingen) te resetten, je die trage, afnemende groei verandert in constante, lineaire groei. Je krijgt een constante stroom van opgeloste problemen, ongeacht hoeveel pogingen je doet.

Belangrijkste Bevindingen uit de Experimenten

De auteurs hebben dit getest op echte AI-modellen (zoals Llama en GPT) met drie soorten uitdagingen:

Coderen: Het schrijven van computerprogramma's.
Wiskunde: Het oplossen van wiskundige woordproblemen.
Redeneren: Het beantwoorden van complexe meerkeuzevragen.

Wat ze ontdekten:

Meer Oplossingen: Met hetzelfde budget lost ReD aanzienlijk meer unieke problemen op dan de oude methode.
Goedkoper: Om een specifiek doel te bereiken (zoals het oplossen van 80% van de problemen), vereiste ReD minder pogingen, minder computer tokens en minder echt geld.
Werkt met Imperfecte Controleurs: Zelfs als het systeem dat de antwoorden controleert fouten maakt (soms "fout" zegt terwijl het goed is, of andersom), wint ReD het nog steeds.
De Toekomst Voorspellen: De auteurs lieten ook zien dat je door ReD te gebruiken, je daadwerkelijk kunt achterhalen hoe slim de AI is (de "power-law exponent") zonder dat je duizenden dure tests hoeft uit te voeren. Het is alsoer dat je de snelheid van een auto kunt raden door hem slechts een paar seconden te zien rijden, in plaats van een volledige race te timen.

De Kern van het Verhaal

Als je een vast budget hebt om een AI een lijst met problemen te laten oplossen, blijf dan niet hameren op de moeilijke gevallen. Probeer in plaats daarvan elk probleem één keer, gooi de opgeloste raadsels weg, en kom terug bij de raadsels die je hebt gemist. Deze "Reset-and-Discard"-strategie laat je veel meer problemen oplossen voor dezelfde prijs, waardoor een traag, frustrerend proces verandert in een efficiënte, hogesnelheidsmachine.

Technische Samenvatting: Reset and Discard (ReD) voor LLM-inferentie

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker geëvalueerd op verifieerbare taken (bijv. coderen, wiskunde, formele bewijzen) met behulp van de pass@k-metriek, die de waarschijnlijkheid meet dat een enkele instantie correct wordt opgelost binnen $k$ pogingen. Empirische observaties wijzen erop dat voor veel taken de foutenratio ( $1 - \text{pass@k}$ ) een machtswet volgt met betrekking tot $k$ (dat wil zeggen, $1 - \text{pass@k} \propto k^{-\alpha}$ ).

Echter, in praktische inferentiescenario's met een vast globaal budget (gemeten in pogingen, tokens of USD), is het relevante doel niet de succesratio op een enkel probleem, maar de coverage@cost: het verwachte aantal unieke problemen dat is opgelost binnen een totale resourcebeperking. Het standaard allocatiebeleid, solve-to-completion (herhaaldelijk samplen van een enkel probleem totdat het is opgelost voordat men overgaat naar het volgende), is inefficiënt onder machtswet-moeilijkheidsverdelingen. Omdat moeilijke problemen een onevenredig groot aantal pogingen consumeren, leidt dit beleid tot sublineaire groei in coverage@cost wanneer de machtswet-exponent $\alpha < 1$ (een veelvoorkomende empirische bevinding). Dit resulteert in afnemende meeropbrengsten, waarbij extra budget minder opgeloste problemen oplevert.

Methodologie: Reset-and-Discard (ReD)

De auteurs stellen Reset-and-Discard (ReD) voor, een allocatiebeleid dat de globale doorvoer optimaliseert door het inferentieproces te behandelen als een breedtegericht zoeken (breadth-first search) door een probleemset.

Het ReD-protocol

Reset: In plaats van vast te houden aan een enkel probleem totdat het is opgelost, probeert het systeem elk probleem voor een vast aantal pogingen $\tau$ (in het optimale geval is $\tau=1$ , oftewel elke poging).
Discard: Als een probleem binnen $\tau$ pogingen wordt opgelost, wordt het onmiddellijk uit de wachtrij verwijderd.
Rotation: Als een probleem niet na $\tau$ pogingen is opgelost, wordt het naar de achterkant van de wachtrij verplaatst en gaat het systeem onmiddellijk door naar het volgende beschikbare probleem.

Theoretisch Kader

Het artikel legt een wiskundige mapping vast tussen pass@k en coverage@cost met behulp van vernieuwingstheorie (renewal theory).

Standaard Beleid: Voor een moeilijkheidsverdeling waar $P(p) \sim p^{\alpha-1}$ (leidend tot een machtswet-pass@k), divergeert het verwachte aantal pogingen om een probleem op te lossen, $E[T]$ , als $\alpha < 1$ . Bij consequentie groeit coverage@cost sublineair ( $\propto t^\alpha$ ).
ReD-Beleid: Door elke $\tau$ $τ$ pogingen te resetten, wordt het effectieve aantal pogingen om een probleem op te lossen, $E[T_\tau]$ $E [T_{τ}]$ , eindig ongeacht de onderliggende moeilijkheidsverdeling.
- Als $0 < \alpha < 1$ , transformeert ReD de groei van coverage@cost van sublineair naar lineair ( $\propto t$ ).
- Als $\alpha > 1$ , behoudt ReD lineaire groei, maar met een steilere helling (hogere efficiëntie) dan het standaardbeleid.
Optimaliteit: De auteurs bewijzen dat het resetten bij elke poging ( $\tau=1$ ) de optimale strategie is om het verwachte aantal pogingen per opgelost probleem te minimaliseren voor elke moeilijkheidsverdeling. Dit geldt zelfs met imperfecte verifiers, mits de som van de False Negative en False Positive ratio's kleiner is dan 1.

Inferentie van Schalingswetten

Het artikel demonstreert ook dat ReD-trajecten gebruikt kunnen worden om de machtswet-exponent $\alpha$ te extraheren zonder dat daarvoor dure grootschalige $k$ -evaluaties nodig zijn. Naarmate ReD door rondes gaat, convergeert de verdeling van resterende onopgeloste problemen naar een Beta-verdeling. Door de ratio van resterende problemen tussen rondes te analyseren, $\langle R_n \rangle / \langle R_{n+1} - R_n \rangle$ , kan men $\alpha$ lineair schatten.

Belangrijkste Bijdragen

Metrische Verbinding: Een exacte mapping afgeleid van pass@k naar coverage@cost, waarbij gekarakteriseerd wordt hoe machtswet-gedrag in pass@k ( $0 < \alpha < 1$ ) sublineaire groei induceert in standaard allocatieschema's.
ReD Algoritme: Een Reset-and-Discard strategie voorgesteld en bewezen als optimaal. Het garandeert lineaire groei in coverage@cost voor $\alpha < 1$ en verbetert de efficiëntie voor $\alpha > 1$ .
Theoretische Garanties: Bewezen dat ReD de verwachte beloning per poging strikt maximaliseert voor elke moeilijkheidsverdeling en robuust blijft tegen verifier-ruis.
Exponent Inferentie: Een methode ontwikkeld om inferentie-schalingsexponenten direct uit ReD-runs te schatten, waardoor de noodzaak voor kostbare grote- $k$ sampling wordt omzeild.
Empirische Validatie: Significante verbeteringen aangetoond bij drie LLM's (Llama-3.1-8b, Llama-3.3-70b, GPT-oss-20b) en drie benchmarks (HumanEval, GSM8K, MMLU-Pro).

Experimentele Resultaten

Experimenten werden uitgevoerd op de HumanEval-dataset (coderen), GSM8K (wiskunde) en MMLU-Pro (redeneren).

Efficiëntie: ReD verminderde het aantal pogingen, tokens en de USD-kosten aanzienlijk om een doel-coverage te bereiken vergeleken met solve-to-completion.
Modelvergelijking: Op de HumanEval-benchmark presteerde ReD toegepast op een kleiner model (Llama-3.1-8b) beter dan de standaard allocatie van een veel groter model (Llama-3.3-70b) in termen van pogingen en tokens tot ongeveer 90% coverage. Wat betreft de USD-kosten was de ReD-strategie op het 8b-model de meest kosteneffectieve strategie over alle coverage-niveaus.
Scaling Law Inferentie: Door ReD te gebruiken op het 8b-model, slaagden de auteurs erin een machtswet-exponent van $\alpha \approx 0.34$ te extraheren, wat overeenkwam met de exponent afgeleid van hoge- $k$ pass@k-metingen.
Robuustheid: Het voordeel van ReD bleef behouden, zelfs wanneer ruisige verifiers werden gesimuleerd.

Betekenis en Claims

Het artikel claimt dat ReD een fundamentele verschuiving biedt in hoe inferentie-rekenkracht wordt gealloceerd voor verifieerbare taken.

Van "Pay-per-Token" naar "Outcome-as-a-Service": ReD stelt systemen in staat om rekenbronnen te richten op de "frontier of learnability" (problemen die oplosbaar zijn binnen enkele pogingen) in plaats van middelen te verspillen aan moeilijke instanties die een afnemende meeropbrengst vereisen.
Hiërarchische Routing: De methodologie ondersteunt efficiënte hybride strategieën waarbij kleine modellen het merendeel van de problemen afhandelen via ReD, en alleen onopgeloste problemen worden gerouteerd naar grotere, duurdere modellen.
Algemene Toepasbaarheid: De aanpak is toepasbaar op elke pipeline die herhaalde sampling en verificatie ondersteunt, en biedt een bewezen verbetering in doorvoer zonder wijzigingen in de modelarchitectuur of training te vereisen.

De auteurs blijven bescheiden over de reikwijdte en merken op dat ReD specifiek is ontworpen voor verifieerbare taken waarbij de correctheid van de oplossing automatisch kan worden beoordeeld. Zij claimen geen toepasbaarheid op niet-verifieerbare generatietaken en stellen geen integratie van geleerde moeilijkheidsvoorspellers voor als onderdeel van dit werk.