🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound is een kalibratievrije post-training kwantisatiemethode die een conditioneel diffusiemodel gebruikt om ambiguïteiten in het afronden van het middelpunt bij low-bit LLM-gewichten op te lossen, waarbij het consequent standaardtechnieken voor 3-bit en 4-bit kwantisatie overtreft terwijl de offline efficiëntie behouden blijft.

Oorspronkelijke auteurs: He-Yen Hsieh, H. T. Kung

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: He-Yen Hsieh, H. T. Kung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk gedetailleerde bibliotheek aan kennis probeert te verkleinen zodat deze in een piepkleine, draagbare rugzak past. Dit is de wereld van Large Language Models (LLM's), de superintelligente AI-hersenen die verhalen kunnen schrijven, wiskundige problemen kunnen oplossen en kunnen chatten als mensen. Deze hersenen zijn gemaakt van miljarden kleine getallen die "weights" (gewichten) worden genoemd. Om ze snel en goedkoop te laten draaien op gewone telefoons of laptops, proberen wetenschappers deze getallen in kleinere dozen te persen. Dit proces wordt kwantisatie genoemd.

Beschouw de originele, volledige getallen als foto's met een hoge resolutie. Om ruimte te besparen, willen we deze omzetten in pixel art met een lage resolutie. De standaardmanier om dit te doen, heet "Round-to-Nearest" (RTN) (afronden naar de dichtstbijzijnde waarde). Het is alsof je naar een getal kijkt en vraagt: "Ligt dit dichter bij 1 of bij 2?" Als het 1,4 is, rond je af naar beneden naar 1. Als het 1,6 is, rond je af naar boven naar 2. Het is een eenvoudige, automatische regel. Maar er is een lastig punt: wat als het getal precies 1,5 is? Of heel dicht bij 1,5 ligt, zoals 1,48? Op dit "middelpunt" is de beslissing dubbelzinnig. Naar beneden of naar boven afronden creëert bijna dezelfde hoeveelheid fout, dus de eenvoudige regel kiest er maar willekeurig één. In een enorme bibliotheek van miljarden getallen kan het maken van duizenden van deze kleine, willekeurige gokken per ongeluk de betekenis van het hele boek veranderen, waardoor de AI dommer wordt.

Dit is waar een nieuwe methode genaamd ReRound om de hoek komt kijken. In plaats van blindelings te gokken bij deze lastige middendoorpunten, werkt ReRound als een detective die naar de omliggende buurt van getallen kijkt om de beste keuze te bepalen. Het gebruikt een speciaal soort AI-training genaamd een "diffusiemodel" (dezelfde technologie die wordt gebruikt om afbeeldingen te genereren vanuit tekst) om de verborgen patronen te leren van hoe getallen in de hersenen van de AI zijn gerangschikt. Wanneer het een getal ziet dat vastzit op een middelpunt, vraagt het: "Op basis van het gezelschap dat dit getal houdt, zou het dan echt naar beneden moeten worden afgerond, of hoort het naar boven?" Door deze geleerde patronen te gebruiken om de afronding te sturen, kan ReRound de fouten van de standaardmethode herstellen zonder de hele AI opnieuw te hoeven trainen of nieuwe voorbeelden te hoeven voeren. Het is een slimme manier om meer nauwkeurigheid uit een kleinere rugzak te halen, waardoor krachtige AI toegankelijk wordt voor iedereen zonder dat daar dure supercomputers voor nodig zijn.

De Gids van de Detective voor Betere AI

In de wereld van kunstmatige intelligentie botst de zoektocht naar kleinere en snellere modellen vaak op een muur: het "middelpuntprobleem". Wanneer wetenschappers proberen de enorme getallen binnen een AI te verkleinen (een proces dat kwantisatie wordt genoemd), gebruiken ze meestal een eenvoudige regel: als een getal dichter bij de vloer ligt, rond dan naar beneden af; als het dichter bij het plafond ligt, rond dan naar boven af. Maar wat gebeurt er als een getal precies in het midden van de kamer staat? Standaardregels werpen dan gewoon een muntje op. Het paper ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization betoogt dat dit muntje opgooien een gemiste kans is.

De auteurs, He-Yen Hsieh en H. T. Kung van Harvard University, stellen een nieuwe strategie voor genaamd ReRound. In plaats van getallen nabij het midden blindelings af te ronden, gebruikt ReRound een "diffusie-prior" — een geleerde gok over hoe de originele, perfecte getallen eruit zagen voordat ze werden verkleind. Stel je voor dat je een wazige, gepixelde foto van een kat hebt. Een standaard afrondingsregel zou de kleur van een wazige pixel misschien baseren op de directe buren. ReRound gebruikt echter een getrainde AI (specifiek een U-Net diffusiemodel) om te "hallucineren" of te reconstrueren hoe de gehele patch van de foto eruit zou moeten zien, gebaseerd op de patronen die het heeft geleerd van de originele, hoogwaardige afbeelding.

Zo werkt de magie, stap voor stap:

De Trainingsfase: Voordat de AI zelfs wordt verkleind, neemt ReRound een blik op de volledige, hoog-precieze gewichten van het model. Het hakt deze gewichten in kleine 64x64 patches en traint een diffusiemodel om de originele, volledige patch te voorspellen door alleen naar een low-bit, wazige versie ervan te kijken. Zie dit als het leren aan een detective om de textuur van een specifieke stof te herkennen door slechts een klein, wazig stukje te voelen.
De Reconstructie: Wanneer het tijd is om het model te verkleinen, rondt ReRound niet alleen de getallen af. Het haalt de wazige, low-bit getallen door zijn getrainde detective (het diffusiemodel) om een "gereconstrueerde" versie van de gewichten te genereren. Dit is niet het definitieve gewicht; het is een gids. Het is alsof de detective zegt: "Ik weet dat deze wazige pixel nabij een middelpunt ligt, maar op basis van het patroon van de hele patch, zou deze eigenlijk iets hoger moeten zijn."
De Slimme Afronding: ReRound gebruikt het advies van deze detective alleen wanneer de standaardregel echt in de war is (nabij het middelpunt). Als het getal duidelijk dicht bij de vloer of het plafond ligt, houdt het zich aan de standaardregel. Maar als het getal wankelt nabij het midden, controleert ReRound de gereconstrueerde waarde. Als de reconstructie suggereert om de andere kant op af te ronden, en de "afstand" tot het middelpunt niet te groot is, schakelt ReRound de knop om.
De Veiligheidscontrole: Om er zeker van te zijn dat het niet te veel schakelaars omzet en het model beschadigt, genereert ReRound een paar verschillende versies van het verkleinde model, elk met een iets andere "tolerantie" voor hoeveel het de detective vertrouwt. Het kiest vervolgens de winnaar door te kijken naar het "skelet" van de matrix (de singuliere waarden). Het kiest de versie die de belangrijkste structurele patronen van het originele, volledige model het meest intact houdt.

De resultaten zijn indrukwekkend, vooral voor kleinere AI-modellen. Het paper laat zien dat ReRound consequent beter presteert dan de standaard "Round-to-Nearest"-methode wanneer modellen wordt gecomprimeerd naar 3-bit en 4-bit precisie. Bijvoorbeeld, op modellen zoals Gemma 2 2B en Gemma 3 1B verbeterde ReRound de nauwkeurigheid met 0,1 tot 1,3 punten over diverse taaltaken. In sommige gevallen presteerde het zelfs beter dan methoden die "kalibratiedata" vereisen (het voeren van duizenden voorbeeldzinnen aan de AI om te leren hoe het moet afronden), terwijl ReRound geen enkele extra data gebruikte. Het werkte volledig offline, gebruikmakend van alleen de eigen gewichten van het model.

De auteurs merken er voorzichtig bij op dat dit geen wondermiddel is voor elk enkel probleem. De methode werkt het best wanneer de kwantisatieparameters (zoals de schaal en het nulpunt) al vaststaan. Het vereist ook het trainen van een apart diffusiemodel voor elke specifieke AI, wat tijd en rekenkracht vooraf kost (ongeveer 2 tot 3 uur training en een paar uur inferentie per model). Echter, zodeweg het is voltooid, is het daadwerkelijke proces van het verkleinen van het model snel en duurt het slechts seconden tot minuten.

Cruciaal is dat ReRound de manier waarop de AI op je telefoon of laptop draait niet verandert. Het verandert alleen de uiteindelijke gehele getallen die in het geheugen worden opgeslagen. Dit betekent dat de AI net zo snel draait als voorheen, maar met een beetje meer hersenkracht behouden. Het paper suggereert dat deze aanpak van het gebruiken van "gereconstrueerde gewichten" als gids voor afronding een nieuwe standaard kan worden voor het kleiner en slimmer maken van AI, wat bewijst dat soms de beste manier om een beslissing te nemen niet is om het getal in isolatie te bekijken, maar om de buurt te vragen wat zij ervan vindt.

Technische Samenvatting: ReRound – Reconstructieve Afronding om Midpoint-ambiguïteit op te Lossen bij Kalibratievrije LLM-kwantisatie

1. Probleemstelling

Post-training kwantisatie (PTQ) vermindert de opslag- en geheugenvoetafdruk van Large Language Models (LLM's) door full-precision gewichten in te mappen naar low-bit integers. Een cruciale stap in dit proces is de uiteindelijke afrondingstoewijzing, waarbij een gekwantiseerd floating-point gewicht moet worden toegewezen aan ofwel het lagere (floor) of het hogere (ceiling) aangrenzende integer.

Standaard Round-to-Nearest (RTN) schema's maken deze beslissing uitsluitend op basis van scalaire afstand. Hoewel dit eenduidig is voor gewichten nabij integergrenzen, creëert het midpoint-ambiguïteit voor gewichten nabij het midden van kwantisatie-intervallen (bijv. $r \approx 0.5$ ). In deze regio's is de scalaire fout die wordt veroorzaakt door naar boven of naar beneden afronden bijna identiek. Gevolgelijk zijn de RTN-beslissingen in deze ambigue zones vaak willekeurig, maar een kleine set van dergelijke beslissingen kan de algehele afrondingspatronen van een lineaire laag aanzienlijk veranderen, wat de nauwkeurigheid van het model potentieel kan verslechteren. Bestaande methoden optimaliseren ofwel de kwantisatieparameters (scales, zero-points) of gebruiken kalibratiedata om afrondingstoewijzingen te leren, maar weinig methoden pakken de specifieke ambiguïteit van de afrondingsstap zelf aan zonder afhankelijk te zijn van activatie-samples of downstream labels.

2. Methodologie: ReRound

ReRound is een kalibratievrij framework dat de midpoint-ambigue RTN-beslissingen herbezoekt met behulp van informatie die direct is geleerd uit de eigen gewichten van de pretrained LLM. De methode bestaat uit drie primaire stadia:

A. Conditionele Gewichtreconstructie via Diffusie

ReRound traint een conditioneel diffusiemodel (specifiek een U-Net) op de pretrained gewichtsmatrices van de LLM.

Training: Het model leert full-precision gewichtspatches ( $P$ ) te reconstrueren, geconditioneerd op hun low-bit stochastic rounding (SR) versies ( $P_{low}$ ). Het doel is de continue full-precision patch, terwijl de conditie de gekwantiseerde observatie is.
Inference: Tijdens de PTQ-fase genereert het model continue gereconstrueerde gewichten ( $W_{rec}$ ) geconditioneerd op de deterministische RTN gekwantiseerde gewichten ( $P_{cond}$ ).
Doel: Deze gereconstrueerde gewichten zijn niet bedoeld voor implementatie als modelparameters. In plaats daarvan dienen ze als een geleerde prior die de distributie van gewichten binnen de specifieke LLM reflecteert, wat bewijs levert om afrondingsambiguïteiten op te lossen.

B. Reconstructie-gestuurde Afronding met Positie-afhankelijke Tolerantie

ReRound gebruikt de gereconstrueerde gewichten om alternatieve afrondingstoewijzingen voor te stellen (het wisselen van floor naar ceiling of vice versa) alleen wanneer de oorspronkelijke RTN-beslissing ambigu is.

Voorstelvoorwaarde: Een wijziging wordt alleen voorgesteld als het gereconstrueerde gewicht ( $\tilde{w}_{rec}$ ) naar het tegenovergestelde aangrenzende integer afrondt ( $q_{alt}$ ) vergeleken met de oorspronkelijke RTN-toewijzing ( $q_{rtn}$ ).
Positie-afhankelijke Tolerantie: Niet alle voorstellen worden geaccepteerd. ReRound hanteert een tolerantie-metriek $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ gebaseerd op de fractionele positie $r$ $r$ van het gewicht binnen zijn kwantisatie-interval.
- Nabij het midden ( $r \approx 0.5$ ) is de tolerantie hoog, wat reconstructie-gestuurde wijzigingen mogelijk maakt.
- Nabij de integergrenzen neemt de tolerantie exponentieel af, waardoor de standaard RTN-beslissing behouden blijft waar het verschil in scalaire fout significant is.
- Een wijziging wordt geaccepteerd als de afwijking tussen het gereconstrueerde en het oorspronkelijke gewicht binnen deze positie-afhankelijke tolerantie valt.
Candidate Generatie: Door een tolerantieparameter $\tau$ te variëren, genereert ReRound een set kandidaat gekwantiseerde integer gewichtsmatrices ( $Q_\tau$ ), die elk een verschillende set geaccepteerde afrondingsrevisies vertegenwoordigen.

C. Spectrale Selectie

Om de optimale kandidaat te selecteren zonder kalibratiedata, gebruikt ReRound een weight-only spectrale criterium.

Elke kandidaatmatrix $Q_\tau$ wordt gede-kwantiseerd om een continue matrix $W_\tau$ te vormen.
De leidende singuliere waarden van $W_\tau$ worden vergeleken met die van de oorspronkelijke full-precision matrix $W$ .
De kandidaat met de kleinste spectrale discrepantie (de dichtstbijzijnde match in dominante singuliere waarden) wordt geselecteerd als de uiteindelijke gekwantiseerde gewichtsmatrix. Dit zorgt ervoor dat het geselecteerde afrondingspatroon de dominante structurele modi van de oorspronkelijke laag behoudt.

3. Belangrijkste Bijdragen

ReRound Framework: Een nieuw kalibratievrij framework dat een conditioneel diffusiemodel gebruikt, getraind op de eigen gewichten van het model, om midpoint-ambigue afrondingsbeslissingen te sturen.
Positie-afhankelijke Tolerantie: Een metriek die dynamisch de acceptatie van reconstructie-gestuurde wijzigingen reguleert, waarbij de nadruk ligt op de middenregio terwijl RTN nabij de grenzen behouden blijft.
Spectrale Selectie-criterium: Een methode voor het selecteren van de optimale gekwantiseerde integer matrix op basis van het behoud van singuliere waarden, waardoor de noodzaak voor activatie-samples, tekst-kalibratie of downstream labels wordt geëlimineerd.
Compatibiliteit: De methode werkt volledig offline, wijzigt alleen de gekwantiseerde integer-toewijzingen (waardoor scales, zero-points en inference-procedures ongewijzigd blijven) en kan RTN of parameters van andere PTQ-methoden verfijnen.

4. Experimentele Resultaten

Het paper evalueert ReRound op een reeks kleine LLM's (bijv. Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B) voor 3-bit en 4-bit gewichtskwantisatie.

vs. Kalibratievrije Baselines: ReRound presteert consistent beter dan standaard group-wise RTN en andere kalibratievrije methoden (HQQ, BNB FP4, Hadamard-getransformeerde RTN) over alle geteste modellen heen. Het bereikt de hoogste gemiddelde nauwkeurigheid voor 3-bit kwantisatie voor alle modellen en evenaart of overtreft de beste resultaten voor 4-bit kwantisatie voor de meeste modellen.
vs. Kalibratie-afhankelijke Baselines: ReRound overtreft kalibratie-afhankelijke methoden zoals GPTQ, AdaRound en SignRound op verschillende modellen (bijv. het bereiken van 67,4% gemiddelde nauwkeurigheid op Gemma 2 2B versus 67,0% voor SignRound) zonder enige kalibratiedata te gebruiken.
Ablatie-studies: Het verwijderen van een van de componenten (reconstructie-sturing, positie-afhankelijke tolerantie of spectrale selectie) resulteert in een lagere nauwkeurigheid, wat de noodzaak van de volledige pipeline bevestigt.
Generaliseerbaarheid: ReRound verbetert RTN-baselines zelfs wanneer het wordt toegepast op kwantisatieparameters gegenereerd door andere methoden (bijv. SINQ), wat het nut ervan als post-hoc verfijningsinstrument aantoont.
Efficiëntie: De methode introduceert geen overhead tijdens low-bit inference. De offline kosten bestaan uit één diffusie-trainingrun per model en een snelle PTQ-selectiestap (seconden per model).

5. Betekenis en Claims

Het paper positioneert ReRound als een nieuw paradigma voor low-bit kwantisatie dat gebruikmaakt van structurele patronen in pretrained gewichten als een effectieve prior. De primaire betekenis ligt in:

Het Oplossen van Ambiguïteit: Het richt zich specifiek op het "midpoint-ambiguïteit"-probleem, een bekende beperking van standaard RTN, door gebruik te maken van geleerde priors in plaats van heuristische regels.
Kalibratievrije Efficiëntie: Het bereikt een state-of-the-art nauwkeurigheid onder kalibratievrije methoden en concurreert met kalibratie-afhankelijke benaderingen, waardoor de noodzaak voor kostbare kalibratiedatasets vervalt.
Behoud van Inference: Door alleen de integer-toewijzingen te wijzigen terwijl het kwantisatiegrid en de inference-logica identiek blijven aan RTN, garandeert het een naadloze implementatie.

De auteurs merken beperkingen op, waaronder de vereiste van een apart diffusiemodel per LLM (wat model-specifieke offline kosten met zich meebrengt) en de huidige focus op kleine LLM's. Zij suggereren dat toekomstig werk de mogelijkheden kan verkennen om gewichts-priors over modellen heen te transfereren en kwantisatieparameters gezamenlijk met afronding te optimaliseren.