🤖 AI

Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation

Dit artikel stelt een raamwerk voor voor gevolgbewuste toewijzing van rekenkracht tijdens de testfase, dat een lichtgewicht voorspeller gebruikt om de werkelijke kosten van taalfalen te schatten, waardoor een scheduler prioriteit kan geven aan software engineering-taken met een hoge impact door meer computationele middelen toe te wijzen en daarmee de kosten-gewogen verliesfunctie aanzienlijk te verminderen in vergelijking met traditionele moeilijkheidsgraad-gebaseerde routering.

Oorspronkelijke auteurs: Jingbo Wen, Liang He, Ziqi He

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingbo Wen, Liang He, Ziqi He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een team van briljante maar dure consultants. Je hebt een beperkt budget voor hun tijd en je hebt een stapel van 300 verschillende problemen die opgelost moeten worden. Sommige problemen zijn slechts typefouten in een handleiding; andere zijn kritieke fouten die de volledige database van een bedrijf kunnen laten crashen.

Traditioneel volgen managers een eenvoudige regel: "Geef de moeilijkste problemen de meeste tijd." De logica is dat als een probleem lastig is, er meer denkkracht nodig is om het op te lossen.

Echter, dit nieuwe paper betoogt dat deze regel gebrekkig is. Het is alsof je een meesterchirurg 10 uur geeft om een schrammetje te behandelen, terwijl je een junior stagiair slechts 10 minuten geeft voor een open hartoperatie, simpelweg omdat de schram "moeilijker" was om de juiste naald voor te vinden. Het paper noemt dit "Consequence-Aware Reasoning" (gevolgsbewust redeneren).

Hier is de uiteenzetting van hun ontdekking, gebruikmakend van eenvoudige analogieën:

1. Het Probleem: Niet alle fouten zijn gelijk aan elkaar

In de wereld van computerbenchmarks (tests) telt elke fout als "één mislukking". Als een model een typefout maakt in een logbestand, is dat een mislukking. Als het een bankrekening van een klant verwijdert, is dat ook gewoon "één mislukking".

Maar in de echte wereld zijn deze niet gelijk.

De Typefout: Irritant, maar onschadelijk.
Het Verwijderen van de Bankrekening: Catastrofaal.

Het paper stelt dat huidige AI-modellen (zoals de "denkende" modellen van OpenAI, DeepSeek of Claude) blind zijn voor dit verschil. Ze kijken naar een taak en vragen zich af: "Is dit moeilijk?" Zo ja, dan denken ze langer na. Ze vragen zich niet af: "Is dit gevaarlijk?"

2. De Reality Check: AI "begrijpt" het nog niet

De auteurs testten drie van de slimste huidige AI-modellen om te zien of ze van nature meer tijd besteden aan gevaarlijke taken. De resultaten waren teleurstellend:

Model A besteedde tijd willekeurig; het gaf totaal niet om het gevaar.
Model B bereikte bij bijna elke taak de maximale tijdlimiet, waardoor het geen enkele taak extra tijd kon geven.
Model C besteedde weliswaar iets meer tijd aan gevaarlijke taken, maar slechts ongeveer 20% meer. De auteurs zeggen dat dit is alsolijk een brandweerwagen 20% meer water geeft terwijl het gebouw al in brand staat — het is simpelweg niet genoeg om het verschil te maken.

3. De Oplossing: De "Risk Manager"

Omdat de AI-modellen zelf niet weten hoe ze risico's moeten prioriteren, stellen de auteurs voor om een "Risk Manager" (een scheduler) vóór de AI te plaatsen.

Zo werkt het:

De Predictor: Voordat de AI zelfs maar begint met het oplossen van een probleem, leest een lichtgewicht tool de beschrijving van het probleem (bijv. "Fix de login bug" versus "Fix de database migratie"). Het raadt: "Als dit misgaat, hoeveel schade zal het aanrichten?"
De Scheduler: Deze manager kijkt naar de lijst met taken. Hij negeert hoe "moeilijk" ze zijn en focust zich volledig op de gevolgen van een fout (cost of failure).
- Hoog Risico? Stuur het naar het "Premium Tier" (de meest krachtige, dure en tijdrovende AI-opstelling).
- Laag Risico? Stuur het naar het "Budget Tier" (een snellere, goedkopere, eenvoudigere opstelling).

4. De Verrassende Wending: Moeilijk betekent niet Belangrijk

De meest tegenintuïtieve bevinding in het paper is dat moeilijkheidsgraad en gevolg niet gerelateerd zijn.

Je kunt een zeer moeilijk probleem hebben dat een laag risico vormt (bijv. het oplossen van een vreemde, obscure glitch in een videogame die niemand speelt).
Je kunt een zeer eenvoudig probleem hebben dat een hoog risico vormt (bijv. een simpele typefout in een beveiligingswaarschuwing die, als deze gemist wordt, hackers binnenlaat).

De auteurs ontdekten dat als je je extra tijd en geld geeft aan de "moeilijkste" problemen, je vaak verspilt. Waarom? Omdat de moeilijkste problemen vaak zo kapot zijn dat zelfs de krachtigste AI ze niet kan repareren. Het is alsof je je hele budget probeert te besteden aan het repareren van een auto die geen motor heeft; geen enkele hoeveelheid tijd van een monteur zal ervoor zorgen dat hij rijdt.

5. De Resultaten: Geld Besparen en Rampen Voorkomen

Wanneer de auteurs dit "Risk Manager"-systeem testten:

Verminderden ze de totale "kosten van fouten" met 22% tot 33% vergeleken met de oude "moeilijkst-eerst" methode.
Hun systeem was zo goed in het opsporen van gevaar dat het nooit per ongeluk een hoog-risico taak naar de goedkope, zwakkere AI stuurde. Het speelde altijd veilig.
Interessant genoeg presteerde de oude "moeilijkst-eerst" methode eigenlijk slechter dan een willekeurige kans. Door zich te richten op de onoplosbare moeilijke taken, verspildden ze middelen die gered hadden kunnen worden voor de kritieke, risicovolle taken.

De Kernboodschap

Dit paper suggereert dat we moeten stoppen met AI te behandelen als een student die gewoon harder moet studeren voor de moeilijkste examenvragen. In plaats daarvan moeten we het behandelen als een beveiliger.

Als je een beperkt budget hebt voor beveiliging, zet je niet je beste bewaker bij de deur die al op slot zit en waar niemand probeert in te breken (de "moeilijke" taak). Je zet je beste bewaker bij de deur waar een inbraak het hele gebouw zou kunnen verwoesten (de "gevolg"-taak), zelfs als die deur er gemakkelijk uit te openen uitziet.

Door simpelweg een "risicocalculator" toe te voegen voordat de AI aan het werk gaat, kunnen we veel betere resultaten behalen zonder dat we de AI hoeven te hertrainen of slimmer hoeven te maken. We moeten alleen vertellen wat er echt toe doet.

Technische Samenvatting: Consequentie-bewuste Toewijzing van Reasoning Compute

Probleemstelling

Moderne reasoning-modellen (bijv. OpenAI o-serie, DeepSeek-R1, Claude met uitgebreid denken) alloceren steeds vaker variabele hoeveelheden test-time computation (denk-tokens, modeloproepen) op basis van de voorspelde taakmoeilijkheid. Huidige adaptieve-compute-strategieën opereren onder de impliciete aanname dat alle fouten even kostbaar zijn, waarbij ze optimaliseren voor gemiddelde nauwkeurigheid waarbij elke taak één eenheid bijdraagt aan de uiteindelijke score.

Deze aanname faalt echter in real-world deployment. Het paper betoogt dat de "kosten" van een fout fundamenteel variëren op basis van de consequentie van de fout. Bijvoorbeeld, een typefout in een logbericht en een database-migratie die productiedata corrumpeert, kunnen beide geregistreerd worden als een enkele benchmark-fout, terwijl hun real-world deployment-kosten enorm verschillen. Huidige adaptieve-compute-objectieven reduceren de nuttigheid van computation tot een uniforme nauwkeurigheidsmetriek, waarbij de taakspecifieke kosten van fouten genegeerd worden. Bovendien demonstreren de auteurs dat bestaande sterke reasoning-modellen niet impliciet leren om meer compute toe te wijzen aan taken met hoge consequenties; ze vertonen ofwel geen correlatie tussen denk-lengte en consequentie, verzadigen hun token-budgetten ongeacht het type taak, of vertonen slechts een zwakke sensitiviteit die onvoldoende is voor deployment-behoeften.

Methodologie

Het paper stelt consequentie-bewuste test-time compute allocatie voor, een scheduling-framework dat de voorspelling van foutkosten ontkoppelt van het reasoning-model zelf. De methode werkt in twee stadia:

Consequentie-voorspelling: Een lichtgewicht voorspeller schat de deployment-kosten van een incorrecte oplossing direct uit de tekst van het issue en het bestandspad voordat de taak wordt opgelost. De voorspeller geeft een ordinale label:
- 0 (Laag): Cosmetische fouten of documentatiefouten.
- 1 (Medium): Bevat functionele bugs.
- 2 (Hoog): Stille datacorruptie, beveiligingslekken of onomkeerbare operaties.
  Cruciaal is dat de voorspeller getraind is om "ernstige onder-allocatie"-fouten te vermijden (het voorspellen van een taak met hoge consequentie als een taak met lage consequentie).
Kostengewogen Scheduling: Een scheduler stuurt taken naar verschillende compute-tiers (bijv. goedkope versus premium modellen of token-budgetten) op basis van de voorspelde consequentie. Het doel is om de kostengewogen loss te minimaliseren:
$\sum_{x \in X} \text{cost}(x) \cdot [1 - p(\text{correct} | x, T(x))]$
onderhevig aan een totaal compute-budget.

De auteurs introduceren een prioriteitsbewuste variant die de voorspelde consequentie ( $\hat{c}$ ) combineert met de geschatte marginale nuttigheid van extra compute ( $\Delta \text{success}$ ), waarbij taken worden gerouteerd waar het product van consequentie en marginale winst het hoogst is.

Belangrijkste Bijdragen en Bevindingen

1. Consequentie is Orthogonaal aan Moeilijkheid

Door middel van analyse van 300 SWE-bench Lite en 400 Multi-SWE-bench mini taken, stelt het paper vast dat consequentie statistisch onderscheidend is van moeilijkheid.

Correlatie: De Spearman rangcorrelatie tussen moeilijkheid (1 - pass rate) en consequentie is bijna nul ( $\rho \approx \pm 0.1$ ) over rule-based, LLM-met-patch, en menselijke annotaties.
Implicatie: Taken met hoge consequenties komen voor op alle moeilijkheidsgraden. Een scheduler die alleen op moeilijkheid stuurt, is blind voor deployment-risico's.

2. Bestaande Modellen Missen Consequentie-sensitiviteit

Een audit van drie hedendaagse reasoning-modellen onthult specifieke faalmodi in consequentie-bewuste allocatie:

Qwen3-8B: De denk-lengte is ongecorreleerd met consequentie ( $\rho = 0.002$ ).
Qwen3-VL-8B-Thinking: 99,3% van de taken bereikt de token-cap, waardoor er geen ruimte overblijft voor differentiatie.
Claude Sonnet 4.5: Toont een statistisch significante maar zwakke correlatie ( $\rho = 0.20$ ), wat resulteert in het feit dat taken met hoge consequenties slechts ~20% meer denken ontvangen dan taken met lage consequenties, wat kwantitatief ontoereikend is.

3. Haalbaarheid van Pre-Solving Voorspelling

De voorgestelde issue-only voorspeller (gebruikmakend van enkel de GitHub issue-tekst en het bestandspad) bereikt een substantiële overeenkomst met de "with-patch" gouden standaard ( $\kappa = 0.572$ voor Qwen3-8B).

Veiligheidskritikaliteit: Cruciaal is dat de voorspeller nooit een taak met hoge consequentie (Class 2) heeft geclassificeerd als een taak met lage consequentie (Class 0) over de 300 SWE-bench Lite taken. Dit garandeert dat de meest gevaarlijke taken nooit naar de goedkoopste compute-tier worden gerouteerd.

4. Prestatiewinst

Onder gelijke compute-budgetten op een 16-model SWE-bench tier benchmark:

Consequentie-bewuste Routing: Vermindert de kostengewogen loss met 21,8% ten opzichte van moeilijkheidsbewuste routing (gebruikmakend van een deploybare Qwen voorspeller).
Prioriteitsbewuste Routing: Door marginale nuttigheid te incorporeren, vermindert deze variant de kostengewogen loss met 30,7%, waarbij meer dan 90% van de theoretische "oracle" winst behouden blijft.
Falen van Moeilijkheidsbewuste Routing: Verrassend genoeg presteert moeilijkheidsbewuste routing slechter dan willekeurig (13,1% hogere loss) bij het top-25% premium operationele punt.

Betekenis en Mechanisme van Falen

Het paper beweert dat de primaire betekenis van dit werk het verschuiven is van de adaptieve-compute doelstelling van nauwkeurigheid maximalisatie naar kostengewogen loss minimalisatie.

De auteurs bieden een mechanistische verklaring voor waarom moeilijkheidsbewuste routing faalt in scenario's met gewogen kosten:

Anti-correlatie: De moeilijkste taken (laagste pass rates) zijn vaak de taken waarbij zelfs premium compute nul marginale winst oplevert ( $\Delta \text{success} \approx 0$ ). Ze zijn "onoplosbaar" bij elk beschikbaar tier.
Misallocatie: Moeilijkheidsbewuste schedulers concentreren dure compute op deze onoplosbare taken, waardoor het budget verspild wordt.
Consequentie Nut: Consequentie voorspelt de waarde van een correct antwoord, niet de waarschijnlijkheid om het goed te krijgen. Wanneer gecombineerd met marginale nuttigheid (de waarschijnlijkheid dat extra compute helpt), identificeert het taken waar extra compute zowel waarschijnlijk succesvol is als zeer waardevol als het slaagt.

Samenvattend demonstreert het paper dat voor deployment-georiënteerde systemen, het alloceren van compute op basis van de consequentie van falen in plaats van de moeilijkheid van de taak, superieure kostengewogen prestaties oplevert, mits de scheduler in staat is om consequentie betrouwbaar te voorspellen vanuit issue-beschrijvingen zonder het onderliggende reasoning-model te hertrainen.