🤖 machine learning

Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents

Dit artikel onthult dat hoewel standaard benchmarks suggereren dat 4-bit kwantisatie verliesvrij is voor multi-turn LLM-agenten, het in werkelijkheid bestaande faalmodi tot wel 2,5× versterkt binnen een vast foutbudget, een verborgen degradatie die pas zichtbaar wordt door kanaalspecifieke foutanalyse en striktere succescriteria.

Oorspronkelijke auteurs: Jiwon Jang, Kisu Yang, Heuiseok Lim, Hyunwoo Park

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiwon Jang, Kisu Yang, Heuiseok Lim, Hyunwoo Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot-butler bouwt om je te helpen met huishoudelijke taken. Je wilt dat hij snel is en niet al je computergeheugen opslokt, dus besluit je zijn brein te verkleinen. Je neemt zijn complexe instructies en comprimeert ze, zoals het samendrukken van een enorme, pluizige wolk tot een klein, dicht marmeren balletje. In de wereld van kunstmatige intelligentie wordt dit "kwantisatie" genoemd. Wetenschappers hebben dit jarenlang getest en hebben ontdekt dat als je de robot een simpele vraag stelt — zoals "Wat is het weer?" — het zelfs na het samendrukken perfect lijkt te werken. Het is alsof je zegt dat de robot "bijna verliesloos" is, wat betekent dat hij bijna niets belangrijks heeft verloren.

Maar hier komt de twist: het echte leven bestaat niet uit één simpele vraag. Het is een lang gesprek waarin de robot deuren moet openen, de koelkast moet controleren, een loodgieter moet bellen en fouten onderweg moet herstellen. Dit wordt het zijn van een "agent" genoemd. De grote vraag die wetenschappers wilden beantwoorden was: blijft die bewering van "bijna verliesloos" standhouden wanneer de robot een complexe, meerstaps taak uitvoert? Als de robot een fout maakt, kan hij die dan herstellen, of loopt de hele missie in de soep? Dit artikel duikt diep in dat exacte scenario en kijkt naar de vraag of het samendrukken van de hersenen van de robot een tijdbom verstopt die pas zichtbaar wordt als het ingewikkelder wordt.

De Vlakke Score en de Verborgen Explosie

De onderzoekers zetten een enorm experiment op in een gesimuleerde wereld waarin AI-agenten optreden als klantenservice-helpers. Ze testten deze agenten in twee verschillende "buurten": een detailhandel (waar de agent alleen met een database praat) en een telecombedrijf (waar de agent met een gesimuleerde gebruiker moet praten die ook met zijn eigen telefoon aan het rommelen is). Ze namen verschillende AI-modellen en draaiden ze op volledige precisie (de pluizige wolk) en daarna op 4-bit precisie (het kleine marmeren balletje).

Het resultaat? Op de standaard rapportlijst — de "Eindscore" — zag alles er perfect uit. De samengeperste modellen scoorden bijna exact hetzelfde als de volledige modellen. Sterker nog, in de meeste gevallen was het verschil zo klein dat het statistisch onzichtbaar was. Het leek alsof de compressie gratis was! De auteurs noemen dit een "vlakke score".

Maar toen begonnen ze onder de motorkap te kijken, naar de werkelijke stappen die de robot nam. Dat is waar ze de explosie vonden.

Het Versterkingseffect

Hoewel de eindcijfers gelijk bleven, maakten de samengeperste modellen onderweg juist veel meer fouten. In de telecom-buurt begonnen de 4-bit modellen ongeveer 2,5 keer vaker te hallucineren (dingen verzinnen) dan de volledige modellen.

Hier is het meest verrassende deel: de samengeperste modellen bedachten geen nieuwe fouten. Ze begonnen niet opeens tools aan te roepen die ze voorheen niet kenden. In plaats daarvan namen ze simpelweg de bestaande fouten die het volledige model af en toe maakte en draaiden ze het volume ervan omhoog.

Denk aan een radio. Als een volledig model af en toe een beetje statische ruis oppikt (een fout), dan creëert het 4-bit model geen nieuwe ruis; het draait alleen de volumeknop zo ver open dat diezelfde ruis oorverdovend wordt. In één specifiek geval ging het model van 649 "gehallucineerde tool-aanroepen" (het aanroepen van tools die niet bestaan) naar 1.646 aanroepen. Het was exact dezelfde lijst met foute tools, alleen werd het veel luider geroepen.

Het Veiligheidsnet dat het Gevaar Verbergt

Als de robots dus 2, de 2,5 keer zoveel fouten maakten, waarom bleven hun eindscores dan gelijk?

Het antwoord ligt in de regels van het spel. De benchmark die ze gebruikten staat de robot toe om tot wel 10 keer te falen in een enkele sessie voordat het als een totale mislukking telt. Het is als een videogame waarbij je 10 levens hebt. De volledige robot kan misschien een keer of twee een sprong missen, maar hij herstelt zich. De samengeperste robot mist de sprong echter 2,5 keer zo vaak. Maar omdat hij nog steeds 10 levens heeft, blijft hij herstellen, blijft hij proberen en voltooit hij uiteindelijk het level.

Het "Foutentolerantiebudget" (die 10 levens) werkt als een groot veiligheidsnet dat alle extra valpartijen opvangt. De eindscore blijft vlak, niet omdat de robot ongedeerd is, maar omdat het spel te vergevensgezind is. De schade is echt, maar wordt verborgen in de ruis van de pogingen tot herstel.

De "De Riem Aandraffen" Test

Om dit te bewijzen, speelden de onderzoekers een slim trucje. Ze namen het veiligheidsnet en maakten het kleiner. In plaats van 10 fouten toe te staan, stond er slechts 2 toe.

Plotseling viel het masker af. Toen het budget krap was, stortten de samengeperste modellen volledig in. De kloof tussen het volledige model en het 4-bit model explodeerde van een minieme 1,3 punten naar een enorme 16,7 punten. Het samengeperste model faalde omdat het niet genoeg "levens" overhad om te herstellen van al zijn extra fouten.

Deze test bevestigde twee dingen:

De schade was echt en werd verborgen door de milde regels.
De schade deed zich alleen voor waar het model al vatbaar was voor fouten. Sommige modellen (zoals de Qwen-3.6) waren zo goed in hun werk dat ze nauwelijks fouten maakten, waardoor het samendrukken geen effect had. Maar voor modellen die al een "neiging" hadden om te hallucineren, maakte het samendrukken die neiging veel erger.

De Oplossing: Stop het Lek, Repareer Niet het Gat

De onderzoekers probeerden ook een oplossing voor het probleem. In plaats van de hele robot slimmer te maken, gaven ze hem een simpele regel: "Als je een tool probeert aan te roepen die niet op de lijst staat, stop dan en vraag om een nieuwe."

Toen ze deze "reflexieve reparatie" toevoegden, herstelden de scores van de samengeperste modellen in het beschadigde gebied zich aanzienlijk; ze stegen van een lage 65,4% naar 71,3%. Dit was een grote verbetering ten opzichte van de beschadigde 4-bit versie en zelfs iets hoger dan de score van het originele volledige model van 66,7% in dat specifieke scenario. Deze fix werkte echter alleen daar waar het specifieke "lek" bestond; bij modellen die niet vatbaar waren voor deze specifieke fouten, hielp de reparatie niet en verlaagde het zelfs de score licht. Dit bewees dat het probleem niet was dat het brein van de robot kapot was; het was simpelweg dat hij steeds opnieuw naar dezelfde paar verkeerde tools greep.

De Les

De grote les hier is dat een goede eindscore niet betekent dat een robot veilig is. Als je een AI-agent bouwt die complexe taken moet uitvoeren, kun je niet alleen naar het eindcijfer kijken. Je moet naar het proces kijken.

Als je een AI-model comprimeert om ruimte te besparen, creëer je misschien geen nieuwe problemen, maar je zou het volume van de problemen die er al zijn, flink kunnen opendraaien. En als je systeem een groot veiligheidsnet heeft (zoals het toestaan van veel pogingen tot herstel), merk je misschien niet eens dat het volume omhoog staat, totdat het net te klein is om de valpartijen op te vangen. Het artikel suggereert dat we, voordat we AI-hersenen gaan samendrukken voor echt wereldgebruik, eerst moeten controleren of het model al vatbaar is voor het maken van fouten, want als dat zo is, zal de compressie die fouten veel luider maken.

Technische Samenvatting: Vlakke Score, Versterkte Fouten

Probleemstelling
Post-training kwantisatie naar 4-bit gewichten wordt breed geaccepteerd als "bijna verliesloos" voor Large Language Models (LLM's), waarbij systematische evaluaties een verwaarloosbare degradatie in de standaard single-turn benchmark nauwkeurigheid laten zien. Echter, uitgerolde LLM's fungeren steeds vaker als multi-turn, tool-calling agents die interageren met omgevingen, feedback observeren en herstellen van fouten. Het paper onderzoekt of het oordeel "bijna verliesloos" standhoudt in deze agentische setting. De auteurs hypothetiseren dat standaard beloningen aan het einde van een episode (end-of-episode task rewards) onderliggende betrouwbaarheidsdegradatie kunnen maskeren omdat de agentische loop en de foutbudgetten van benchmarks toestaan dat er van fouten wordt hersteld, wat de amplificatie van per-stap fouten potentieel verbergt.

Methodologie
De studie evalueert gekwantiseerde agents op $\tau^2$ -bench, een tool-calling benchmark met gesimuleerde gebruikers en stateful omgevingen over twee domeinen: Retail (single-control) en Telecom (dual-control).

Modellen: De auteurs testen twee open-weight modelfamilies (Gemma-4 en Qwen-3.6/3.5) in zowel dense als Mixture-of-Experts (MoE) varianten.
Precisie-armen: Modellen worden geëvalueerd op drie precisieniveaus: BF16 (full precision), FP8, en INT4 (gekwantiseerd via AWQ).
Experimentele schaal: De studie bestrijkt een volledige $2 \times 2 \times 2$ grid (families $\times$ architecturen $\times$ domeinen) plus extensies, wat in totaal acht primaire cellen oplevert met elk 456 gesimuleerde episodes.
Metrieken:
- Outcome Metriek: Finale taaksuccesrate (binair pass/fail).
- Proces Metrieken: Per-kanaal foutenpercentages (tool-naam hallucinaties in Telecom; entiteit/argument fouten in Retail), trajectlengte en foutherstelpercentages.
- Counterfactual Analyse: Het foutbudget ( $K$ , het maximaal toegestane aantal mislukte tool calls per episode) wordt behandeld als een variabele. De auteurs herberekenen succesrates voor striktere budgetten ( $K=2, 5$ ) om te testen of het standaard $K=10$ budget schade maskeert.
- Mechanisme Analyse: Correlatie van gehallucineerde toolnamen tussen BF16 en INT4, en logit-margin analyse om de amplificatie van fouten te verklaren.

Belangrijkste Bevindingen

De "Flat Score" Illusie:
Op de standaard benchmark metriek (finale taakscore met $K=10$ ) lijkt kwantisatie verliesloos. Over alle tien experimentele cellen heen overleeft geen enkele scoreverandering de multiple-comparison correction. In de cel met de grootste geobserveerde schade is de scoreverandering statistisch gelijk aan nul binnen een marge van $\pm 7,5$ punten. Dit suggereert dat standaard evaluaties een vals "alles oké"-signaal geven.
Amplificatie van Bestaande Fouten:
Hoewel de finale score vlak blijft, onthullen de proces metrieken significante degradatie. Kwantisatie creëert geen nieuwe soorten fouten; in plaats daarvan amplificeert het de specifieke foutmodi die het model al vertoont bij full precision.
- Volume Toename: In de meest getroffen cel (Gemma-4 dense in Telecom) verhoogt 4-bit kwantisatie tool-naam hallucinaties met 2,5 $\times$ (van 19,5% naar 38,3% van de tool calls).
- Invariantie van de Foutenset: De set van gehallucineerde toolnamen is bijna identiek tussen BF16 en INT4 (rangcorrelatie $\ge 0,97$ ). Slechts 0,18% van de INT4 hallucinaties betreft tools die door het BF16 model nooit zijn uitgevonden. Kwantisatie zorgt ervoor dat het model vaker naar zijn "bestaande verleidingen" grijpt.
- Kanaalspecificiteit: De amplificatie is domeinafhankelijk. Telecom (dual-control) amplificeert tool-naam hallucinaties, terwijl Retail (single-control) trends vertoont in entiteit/argument fouten. Modellen met een baseline foutenpercentage van bijna nul (bijv. Qwen-3.6) vertonen geen amplificatie.
Het Foutbudget als Masker:
De finale score blijft vlak omdat het genereuze foutbudget van de benchmark ( $K=10$ ) de extra fouten absorbeert. De agent herstelt succesvol van individuele fouten met dezelfde snelheid (55%) ongeacht de precisie; de extra fouten verbruiken simpelweg meer van het budget.
- Het Gat Onthullen: Wanneer het foutbudget wordt aangescherpt naar $K=2$ , komt de verborgen scoregap weer naar boven. In de beschadigde Gemma-4 Telecom cel wordt de kloof groter van 1,3 punten (bij $K=10$ ) naar 16,7 punten (bij $K=2$ ), een ongeveer 13 $\times$ grotere toename.
- Falsifieerbaarheid: Dit effect is gelokaliseerd. Cellen zonder baseline fouten-amplificatie (bijv. Qwen-3.6) vertonen geen verbreding van de gap onder striktere budgetten, wat bevestigt dat de schade specifiek is aan de toename van het foutvolume.
Mechanisme: Logit Margins:
Het paper stelt een logit-margin account voor om het fenomeen te verklaren. Kwantisatie introduceert ruis die "thin-margin" beslissingen omgooit (waar de correcte token en de sterkste concurrent dicht bij elkaar liggen in de logit-ruimte). Omdat modellen slechts incidenteel deze specifieke fouten maken bij full precision, amplificeert kwantisatie deze specifieke subset van fouten in plaats van nieuwe te genereren. De vatbaarheid wordt bepaald door de full-precision neiging van het model om thin-margin fouten te maken, niet door de modelgrootte of architectuur (Dense vs. MoE).

Belangrijkste Bijdragen

Demonstratie van Maskering: De auteurs tonen aan dat end-of-episode taakbeloningen structureel blind zijn voor kwantisatieschade in agentische settings, omdat de fouttolerantie van de omgeving en de herstel-loop van de agent de per-stap betrouwbaarheidsdegradatie verbergen.
Karakterisering van Schade: Het paper stelt vast dat kwantisatie fungeert als een multiplier op bestaande foutensets (precisie-invariant) in plaats van een generator van nieuwe pathologieën.
Diagnostisch Kader: De auteurs stellen twee diagnostieken voor die afgeleid zijn van bestaande logs:
1. Per-kanaal foutenpercentages om amplificatie te detecteren.
2. Succes onder krimpende foutbudgetten om de schade te ontmaskeren.
Gerichte Mitigatie: Een reflexieve error-repair prompt (het diagnosticeren en opnieuw uitgeven van calls) slaagt erin het foutkanaal in beschadigde cellen te laten instorten, waardoor de score wordt hersteld, terwijl dit geen effect heeft (of zelfs milde negatieve effecten heeft) in cellen waar geen schade aanwezig is.

Significantie en Claims
Het paper claimt dat de consensus van "bijna verliesloze" 4-bit kwantisatie een artefact is van de evaluatiemethodologie, en geen reflectie van de robuustheid van het model in closed-loop agentische workflows.

Risico Screening: De full-precision neiging (het meten van per-kanaal foutenpercentages vóór kwantisatie) dient als een goedkope, effectieve risicoscreening. Als een model zelden hallucineert bij 16-bit, is het waarschijnlijk veilig bij 4-bit; als het een bestaande foutneiging heeft, zal die neiging worden vergroot.
Implicaties voor Deployment: Het maskeringseffect berust op "vergevingsgezinde" omgevingen met hoge fouttoleranties. In real-world deployments met strikte foutlimieten of onomkeerbare acties, zullen de geamplificeerde per-stap fouten direct vertalen in finale taakfouten.
Rapportage Standaarden: De auteurs betogen dat benchmarks per definitie proces-niveau metrieken (per-kanaal foutenpercentages en succes als functie van het foutbudget) moeten rapporteren naast taakbeloningen om een accurate beoordeling van gekwantiseerde agents te geven.

Het paper concludeert dat "verliesloos op de benchmark" niet gelijkstaat aan "verliesloos bij deployment", en dat de agentische loop dient als een gevoelige probe voor perturbaties die single-turn nauwheid metrieken missen.