🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound ist eine kalibrierungsfreie Post-Training-Quantisierungsmethode, die ein bedingtes Diffusionsmodell nutzt, um Mehrdeutigkeiten beim Runden zur Mitte bei niedrig bitigen LLM-Gewichten zu lösen, wobei sie Standardtechniken für 3-Bit- und 4-Bit-Quantisierung konsistent übertrifft und gleichzeitig Offline-Effizienz beibehält.

Ursprüngliche Autoren: He-Yen Hsieh, H. T. Kung

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: He-Yen Hsieh, H. T. Kung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, unglaublich detaillierte Bibliothek des Wissens so weit zu schrumpfen, dass sie in einen winzigen, tragbaren Rucksack passt. Dies ist die Welt der Large Language Models (LLMs), der superintelligenten KI-Gehirne, die Geschichten schreiben, Matheaufgaben lösen und wie Menschen chatten können. Diese Gehirne bestehen aus Milliarden winziger Zahlen, den sogenannten „Gewichten“. Um sie auf normalen Handys oder Laptops schnell und kostengünstig laufen zu lassen, versuchen Wissenschaftler, diese Zahlen in kleinere Boxen zu quetschen. Dieser Prozess wird Quantisierung genannt.

Betrachten Sie die ursprünglichen, hochauflösenden Zahlen als hochauflösende Fotos. Um Platz zu sparen, wollen wir diese in niedrig auflösendes Pixel-Art verwandeln. Die Standardmethode hierfür heißt „Round-to-Nearest“ (RTN) – also das Runden zum nächsten Wert. Es ist, als würde man eine Zahl betrachten und fragen: „Ist sie näher an 1 oder an 2?“ Bei 1,4 rundet man ab auf 1. Bei 1,6 rundet man auf 2. Dies ist eine einfache, automatische Regel. Aber es gibt einen kniffligen Punkt: Was ist, wenn die Zahl genau 1,5 ist? Oder sehr nah an 1,5 liegt, etwa bei 1,48? An diesem „Mittelpunkt“ ist die Entscheidung mehrdeutig. Das Abrunden oder Aufrunden erzeugt fast den gleichen Fehler, also wählt die einfache Regel willkürlich einen Weg. In einer massiven Bibliothek von Milliarden von Zahlen kann das Treffen tausender solcher kleinen, willkürlichen Entscheidungen versehentlich die Bedeutung des gesamten Buches durcheinanderbringen und die KI „dümmer“ machen.

Hier kommt eine neue Methode namens ReRound ins Spiel. Anstatt an diesen kniffligen Mittelpunkten blind zu raten, agiert ReRound wie ein Detektiv, der die Umgebung der Zahlen untersucht, um die beste Wahl zu treffen. Es nutzt eine spezielle Art von KI-Training, ein „Diffusionsmodell“ (dieselbe Technologie, die auch zur Generierung von Bildern aus Text verwendet wird), um die verborgenen Muster der Anordnung der Zahlen im Gehirn der KI zu erlernen. Wenn es auf eine Zahl stößt, die an einem Mittelpunkt feststeckt, fragt es: „Basierend auf der Gesellschaft, in der diese Zahl verkehrt, sollte sie wirklich abgerundet oder eher aufgerundet werden?“ Durch die Nutzung dieser gelernten Muster zur Steuerung des Rundens kann ReRound die Fehler der Standardmethode korrigieren, ohne die gesamte KI neu trainieren oder neue Beispiele einspeisen zu müssen. Es ist eine clevere Art, mehr Genauigkeit aus einem kleineren Rucksack herauszuholen und leistungsstarke KI für alle zugänglich zu machen, ohne teure Supercomputer zu benötigen.

Der Leitfaden des Detektivs für bessere KI

In der Welt der künstlichen Intelligenz stößt das Streben danach, Modelle kleiner und schneller zu machen, oft auf eine Wand: das „Mittelpunkt-Problem“. Wenn Wissenschaftler versuchen, die massiven Zahlen innerhalb einer KI zu schrumpfen (ein Prozess, der Quantisierung genannt wird), nutzen sie meist eine einfache Regel: Wenn eine Zahl näher am Boden ist, runde ab; wenn sie näher an der Decke ist, runde auf. Aber was passiert, wenn eine Zahl genau in der Mitte des Raumes steht? Standardregeln werfen einfach eine Münze. Das Paper ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization argumentiert, dass dieser Münzwurf eine verpasste Chance ist.

Die Autoren, He-Yen Hsieh und H. T. Kung von der Harvard University, schlagen eine neue Strategie namens ReRound vor. Anstatt Zahlen nahe der Mitte blind zu runden, nutzt ReRound einen „Diffusions-Prior“ – eine gelernte Vermutung darüber, wie die ursprünglichen, perfekten Zahlen aussah, bevor sie geschrumpft wurden. Stellen Sie sich vor, Sie haben ein verschwommenes, pixeliges Foto einer Katze. Eine Standard-Rundungsregel würde vielleicht nur die Farbe eines unscharfen Pixels basierend auf seinen unmittelbaren Nachbarn erraten. ReRound hingegen nutzt ein trainiertes KI-Modell (speziell ein U-Net-Diffusionsmodell), um zu „halluzinieren“ oder zu rekonstruieren, wie der gesamte Ausschnitt des Fotos aussehen sollte, basierend auf den Mustern, die es aus dem ursprünglichen, hochqualitativen Bild gelernt hat.

So geschieht die Magie Schritt für Schritt:

Die Trainingsphase: Bevor die KI überhaupt geschrumpft wird, wirft ReRound einen Blick auf die hochpräzisen Originalgewichte des Modells. Es zerlegt diese Gewichte in winzige 64x64-Patches und trainiert ein Diffusionsmodell darauf, den ursprünglichen, hochpräzisen Patch vorherzusagen, indem es nur die niedrig auflösende, verschwommene Version betrachtet. Stellen Sie sich das so vor, als würde man einen Detektiv darin schulen, die Textur eines bestimmten Stoffes zu erkennen, indem er nur ein kleines, fuzziges Stoffmuster fühlt.
Die Rekonstruktion: Wenn es Zeit ist, das Modell zu schrumpfen, rundet ReRound nicht einfach die Zahlen. Es führt die verschwommenen, niedrig bit-basierten Zahlen durch seinen trainierten Detektiv (das Diffusionsmodell), um eine „rekonstruierte“ Version der Gewichte zu generieren. Dies ist nicht das endgültige Gewicht; es ist ein Leitfaden. Es ist, als würde der Detektiv sagen: „Ich weiß, dass dieser unscharfe Pixel nahe einem Mittelpunkt liegt, aber basierend auf dem Muster des gesamten Patches sollte er etwas höher sein.“
Das intelligente Runden: ReRound nutzt den Rat des Detektivs nur dann, wenn die Standardregel wirklich verwirrt ist (nahe dem Mittelpunkt). Wenn die Zahl eindeutig nah am Boden oder an der Decke liegt, hält es sich an die Standardregel. Aber wenn die Zahl in der Nähe der Mitte schwankt, prüft ReRound den rekonstruierten Wert. Wenn die Rekonstruktion eine Rundung in die andere Richtung nahelegt und der „Abstand“ zum Mittelpunkt nicht zu groß ist, schaltet ReRound um.
Der Sicherheitscheck: Um sicherzustellen, dass nicht zu viele Schalter umgelegt werden und das Modell beschädigt wird, erstellt ReRound einige verschiedene Versionen des geschrumpften Modells, die jeweils eine leicht unterschiedliche „Toleranz“ dafür haben, wie sehr sie dem Detektiv vertrauen. Es wählt dann den Gewinner aus, indem es das „Skelett“ der Matrix (ihre Singulärwerte) betrachtet. Es wählt die Version, die die wichtigsten strukturellen Muster des ursprünglichen, vollen Modells am besten bewahrt.

Die Ergebnisse sind beeindruckend, besonders für kleinere KI-Modelle. Das Paper zeigt, dass ReRound die Standardmethode „Round-to-Nearest“ bei der Komprimierung von Modellen auf 3-Bit- und 4-Bit-Präzision konsistent übertrifft. Beispielsweise verbesserte ReRound bei Modellen wie Gemma 2 2B und Gemma 3 1B die Genauigkeit bei verschiedenen Sprachaufgaben um 0,1 bis 1,3 Punkte. In einigen Fällen war es sogar besser als Methoden, die „Kalibrierungsdaten“ erfordern (das Füttern der KI mit tausenden Beispielsätzen, um das Runden zu lernen), während ReRound keine zusätzlichen Daten verwendete. Es arbeitete vollständig offline, ausschließlich unter Verwendung der eigenen Gewichte des Modells.

Die Autoren weisen vorsichtig darauf hin, dass dies kein Allheilmittel für jedes Problem ist. Die Methode funktioniert am besten, wenn die Quantisierungsparameter (wie Skalierung und Nullpunkt) bereits fixiert sind. Zudem erfordert sie das Training eines separaten Diffusionsmodells für jede spezifische KI, was einige Zeit und Rechenleistung im Vorfeld beansprucht (etwa 2 bis 3 Stunden Training und einige Stunden Inferenz pro Modell). Sob von dem jedoch einmal erledigt ist, geht der eigentliche Prozess des Verkleinerung des Modells schnell, er dauert nur Sekunden oder Minuten.

Entscheidend ist, dass ReRound die Art und Weise, wie die KI auf Ihrem Telefon oder Laptop läuft, nicht verändert. Es ändert nur die endgültigen Ganzzahl-Werte, die im Speicher gespeichert sind. Das bedeutet, dass die KI genauso schnell läuft wie zuvor, aber mit etwas mehr „Gehirnschmalz“ bewahrt wurde. Das Paper legt nahe, dass dieser Ansatz, „rekonstruierte Gewichte“ als Leitfaden für das Runden zu verwenden, ein neuer Standard für das Kleiner- und Schlauer-Machen von KI werden könnte – ein Beweis dafür, dass die beste Entscheidung manchmal nicht darin besteht, eine Zahl isoliert zu betrachten, sondern zu fragen, was die Nachbarschaft darüber denkt.

Technisches Resümee: ReRound – Rekonstruktives Rounding zur Auflösung der Mittelpunkt-Ambiguität bei kalibrierungsfreier LLM-Quantisierung

1. Problemstellung

Post-Training-Quantisierung (PTQ) reduziert den Speicher- und Speicherplatzbedarf von Large Language Models (LLMs), indem sie hochpräzise Gewichte auf niederbitige Ganzzahlen abbildet. Ein entscheidender Schritt in diesem Prozess ist die abschließende Rounding-Zuweisung, bei der ein quantisiertes Gleitkommagewicht entweder seiner unteren (Floor) oder seiner oberen (Ceiling) benachbarten Ganzzahl zugewiesen werden muss.

Standardmäßige Round-to-Nearest (RTN)-Verfahren treffen diese Entscheidung ausschließlich basierend auf dem Skalarabstand. Während dies für Gewichte nahe an den Ganzzahngrenzen eindeutig ist, erzeugt es eine Mittelpunkt-Ambiguität (Midpoint Ambiguity) für Gewichte nahe der Mitte der Quantisierungsintervalle (z. B. $r \approx 0,5$ ). In diesen Regionen ist der durch das Auf- oder Abrunden verursachte Skalarfehler nahezu identisch. Folglich sind RTN-Entscheidungen in diesen ambivalenten Zonen oft willkürlich, doch eine kleine Anzahl solcher Entscheidungen kann das gesamte Rounding-Muster einer linearen Schicht signifikant verändern und potenziell die Modellgenauigkeit verschlechtern. Bestehende Methoden optimieren entweder die Quantisierungsparameter (Skalierungen, Nullpunkte) oder nutzen Kalibrierungsdaten, um Rounding-Zuweisungen zu lernen, aber nur wenige adressieren die spezifische Ambiguität des Rounding-Schritts selbst, ohne auf Aktivitätsstichproben oder Downstream-Labels zurückzugreifen.

2. Methodik: ReRound

ReRound ist ein kalibrierungsfreier Framework, das die mittelpunkt-ambivalenten RTN-Entscheidungen unter Verwendung von Informationen neu bewertet, die direkt aus den eigenen Gewichten des vortrainierten LLMs gelernt wurden. Die Methode besteht aus drei primären Phasen:

A. Bedingte Gewichtsrekonstruktion via Diffusion

ReRound trainiert ein bedingtes Diffusionsmodell (speziell ein U-Net) auf den Gewichtmatrizen des vortrainierten LLMs.

Training: Das Modell lernt, hochpräzise Gewichtspatches ( $P$ ) zu rekonstruieren, die auf ihre niederbitigen Stochastic Rounding (SR) Versionen ( $P_{low}$ ) bedingt sind. Das Ziel ist der kontinuierliche hochpräzise Patch, während die Bedingung der quantisierte Beobachtungswert ist.
Inferenz: Während der PTQ-Phase generiert das Modell kontinuierliche rekonstruierte Gewichte ( $W_{rec}$ ), die auf die deterministischen RTN-quantisierten Gewichte ( $P_{cond}$ ) bedingt sind.
Zweck: Diese rekonstruierten Gewichte werden nicht als Modellparameter eingesetzt. Stattdessen dienen sie als gelernter Prior, der die Verteilung der Gewichte innerhalb des spezifischen LLMs widerspiegelt und somit Evidenz zur Auflösung von Rounding-Ambiguitäten liefert.

B. Rekonstruktionsgesteuertes Rounding mit positionsabhängiger Toleranz

ReRound nutzt die rekonstruierten Gewichte, um alternative Rounding-Zuweisungen vorzuschlagen (Wechsel von Floor zu Ceiling oder umgekehrt), jedoch nur dann, wenn die ursprüngliche RTN-Entscheidung ambivalent ist.

Vorschlagskriterium: Eine Änderung wird nur vorgeschlagen, wenn das rekonstruierte Gewicht ( $\tilde{w}_{rec}$ ) zu einer anderen benachbarten Ganzzahl ( $q_{alt}$ ) rundet als die ursprüngliche RTN-Zuweisung ( $q_{rtn}$ ).
Positionsabhängige Toleranz: Nicht alle Vorschläge werden akzeptiert. ReRound verwendet eine Toleranzmetrik $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ , die auf der fraktionalen Position $r$ $r$ des Gewichts innerhalb seines Quantisierungsintervalls basiert.
- Nahe dem Mittelpunkt ( $r \approx 0,5$ ) ist die Toleranz hoch, was rekonstruktionsgesteuerte Änderungen ermöglicht.
- Nahe den Ganzzahngrenzen nimmt die Toleranz exponentiell ab, wodurch die Standard-RTN-Entscheidung gewahrt bleibt, bei der der Unterschied im Skalarfehler signifikant ist.
- Eine Änderung wird nur akzeptiert, wenn die Abweichung zwischen dem rekonstruierten und dem ursprünglichen Gewicht innerhalb dieser positionsabhängigen Toleranz liegt.
Kandidatengenerierung: Durch das Durchlaufen eines Toleranzparameters $\tau$ generiert ReRound eine Menge von Kandidaten-Quantisierungs-Ganzzahlmatrizen ( $Q_\tau$ ), die jeweils ein anderes Set an akzeptierten Rounding-Revisionen repräsentieren.

C. Spektrale Selektion

Um den optimalen Kandidaten ohne Kalibrierungsdaten auszuwählen, verwendet ReRound ein gewichtsspezifisches spektrales Kriterium.

Jede Kandidatenmatrix $Q_\tau$ wird dequantisiert, um eine kontinuierliche Matrix $W_\tau$ zu bilden.
Die führenden Singulärwerte von $W_\tau$ werden mit denen der ursprünglichen hochpräzisen Matrix $W$ verglichen.
Der Kandidat mit der geringsten spektralen Diskrepanz (der engste Match in den dominanten Singulärwerten) wird als die endgültige quantisierte Gewichtmatrix ausgewählt. Dies stellt sicher, dass das gewählte Rounding-Muster die dominanten strukturellen Moden der ursprünglichen Schicht bewahrt.

3. Kernbeiträge

ReRound-Framework: Ein neuartiger kalibrierungsfreier Ansatz, der ein bedingtes Diffusionsmodell nutzt, welches auf den eigenen Gewichten des Modells trainiert wurde, um mittelpunkt-ambivalente Rounding-Entscheidungen zu leiten.
Positionsabhängige Toleranz: Eine Metrik, die die Akzeptanz von rekonstruktionsgesteuerten Änderungen dynamisch steuert, indem sie den Mittelpunktbereich priorisiert und gleichzeitig RTN nahe der Grenzen bewahrt.
Spektrales Selektionskriterium: Eine Methode zur Auswahl der optimalen quantisierten Ganzzahlmatrix basierend auf der Bewahrung von Singulärwerten, wodurch die Notwendigkeit von Aktivitätsstichproben, Textkalibrierung oder Downstream-Labels entfällt.
Kompatibilität: Die Methode arbeitet vollständig offline, verändert nur die quantisierten Ganzzahlzuweisungen (lässt Skalierungen, Nullpunkte und Inferenzverfahren unverändert) und kann die Parameter anderer PTQ-Methoden verfeinern.

4. Experimentelle Ergebnisse

Die Arbeit evaluiert ReRound auf einer Reihe kleiner LLMs (z. B. Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B) für 3-Bit- und 4-Bit-Gewichtsquantisierung.

vs. Kalibrierungsfreie Baselines: ReRound übertrifft konsistent das Standard-group-wise RTN und andere kalibrierungsfreie Methoden (HQQ, BNB FP4, Hadamard-transformiertes RTN) über alle getesteten Modelle hinweg. Es erreicht die höchste durchschnittliche Genauigkeit bei der 3-Bit-Quantisierung für alle Modelle und erreicht oder übertrifft die besten Ergebnisse bei der 4-Bit-Quantisierung für die meisten Modelle.
vs. Kalibrierungsabhängige Baselines: ReRound übertrifft kalibrierungsabhängige Methoden wie GPTQ, AdaRound und SignRound auf mehreren Modellen (z. B. Erzielung einer durchschnittlichen Genauigkeit von 67,4 % bei Gemma 2 2B gegenüber 67,0 % bei SignRound), ohne jegliche Kalibrierungsdaten zu verwenden.
Ablationsstudien: Das Entfernen einer Komponente (Rekonstruktionssteuerung, positionsabhängige Toleranz oder spektrale Selektion) führt zu einer geringeren Genauigkeit, was die Notwendigkeit der vollständigen Pipeline bestätigt.
Generalisierbarkeit: ReRound verbessert RTN-Baselines auch dann, wenn es auf Quantisierungsparametern angewendet wird, die von anderen Methoden generiert wurden (z. B. SINQ), was seinen Nutzen als Post-hoc-Verfeinerungswerkzeug zeigt.
Effizienz: Die Methode verursacht keinen Overhead während der Low-Bit-Inferenz. Die Offline-Kosten umfassen einen Diffusions-Trainingslauf pro Modell und einen schnellen PTQ-Selektionsschritt (Sekunden pro Modell).

5. Bedeutung und Behauptungen

Die Arbeit positioniert ReRound als ein neues Paradigma für die Low-Bit-Quantisierung, das strukturelle Muster in vortrainierten Gewichten als effektiven Prior nutzt. Seine primäre Bedeutung liegt in:

Auflösung von Ambiguität: Es adressiert gezielt das Problem der "Mittelpunkt-Ambiguität", eine bekannte Einschränkung von Standard-RTN, unter Verwendung gelernter Priors anstatt heuristischer Regeln.
Kalibrierungsfreie Effizienz: Es erreicht eine SOTA-Genauigkeit unter den kalibrierungsfreien Methoden und konkurriert mit kalibrierungsabhängigen Ansätzen, wodurch der Bedarf an kostspieligen Kalibrierungsdatensätzen entfällt.
Bewahrung der Inferenz: Da es nur die Ganzzahlzuweisungen ändert, während das Quantisierungsraster und die Inferenzlogik identisch zu RTN bleiben, gewährleistet es eine nahtlose Bereitstellung.

Die Autoren weisen auf Einschränkungen hin, einschließlich der Anforderung eines separaten Diffusionsmodells pro LLM (was modellspezifische Offline-Kosten einführt) und des aktuellen Fokus auf kleine LLMs. Sie schlagen vor, zukünftige Arbeiten darauf auszurichten, Gewichtsprior-Informationen zwischen Modellen zu übertragen und Quantisierungsparameter gemeinsam mit dem Rounding zu optimieren.