🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

Dieses Paper stellt FOCUS vor, ein Post-Training-Quantisierungsframework, das die FP4-Genauigkeit für große Sprachmodelle durch den Einsatz von Coupled-Relaxation Scaling zur Entkopplung lernbarer Quantisierungsskalen von Hardwarebeschränkungen sowie Dual-Granularity Scaling für eine feinere Gewichtsanpassung verbessert und so eine State-of-the-Art-Leistung ohne zusätzlichen Inferenzaufwand erzielt.

Ursprüngliche Autoren: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Veröffentlicht 2026-08-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, komplexe Bibliothek des Wissens in einen winzigen, tragbaren Rucksack zu passen. Dies ist das tägliche Dilemma von „Large Language Models“ (LLMs), den superintelligenten Computergehirnen, die Geschichten schreiben, Matheaufgaben lösen und wie Menschen chatten können. Das Problem ist, dass diese Gehirne so gewaltig sind, dass sie enorme Mengen an Speicher und Energie benötigen, um auf alltäglichen Geräten zu laufen, was sie teuer und langsam in der Anwendung macht. Um dies zu beheben, nutzen Wissenschaftler einen Trick namens „Quantisierung“. Denken Sie dabei an das Übersetzen eines hochauflösenden 4K-Films in ein niedrigeres Auflösungsformat, damit er auf ein altes Telefon passt. Das Ziel ist es, die Daten zu schrumpfen, ohne die Handlung zu verlieren. Vor kurzem ist ein neues, superkleines Format namens „FP4“ entstanden, das von modernen Computerchips unterstützt wird und verspricht, diese Modelle noch weiter zu verkleinern. Es gibt jedoch einen Haken: Die Daten so stark zusammenzustauchen, führt oft dazu, dass das Modell Dinge „vergisst“ oder verwirrt wird, wodurch die Genauigkeit verloren geht. Die große Frage lautet: Wie schrumpfen wir das Modell auf diese winzige Größe, ohne seine Intelligenz zu ruinieren?

Dieses Paper stellt eine clevere neue Methode namens FOCUS vor, die genau dieses Problem löst. Die Forscher erkannten, dass die derzeitige Art und Weise, diese Modelle zu schrumpfen, zu starr war. Stellen Sie sich vor, Sie packen einen Koffer. Die Standardregel besagt: „Du musst genau dieselben kleinen, vorgefertigten Boxen verwenden, um deine Kleidung zu packen, und du musst dieselben Boxen auch später verwenden, um sie wieder auszupacken.“ Das Paper argumentt, dass dies unsinnig ist. Während Sie zwar die kleinen Boxen benötigen, um die Kleidung zu verstauen (weil das eben in den Koffer passt), müssen Sie nicht dieselben winzigen Boxen verwenden, um zu entscheiden, wie die Kleidung zuerst gefaltet werden soll. Sie könnten ein großes, flexibles Maßband verwenden, um das Packen zu planen, und das Ergebnis dann einfach in die kleinen Boxen passen.

FOCUS nutzt diese Erkenntnis, um die Vorbereitung dieser Modelle für das winzige FP4-Format zu verbessern. Es führt zwei Haupttricks ein:

Coupled-Relaxation Scaling (CRS): Dies ist das „flexible Maßband“. Auf die alte Art musste der Computer ein sehr grobes, unpräzises Lineal verwenden, um zu entscheiden, wie die Zahlen zu schrumpfen sind, und er musste dasselbe grobe Lineal verwenden, um sie wieder zusammenzusetzen. FOCUS sagt: „Lass uns ein superpräzises, vollformatiges Lineal für die Schrumpfungs-Mathematik verwenden und das Ergebnis dann in die grobe Box quetschen.“ Dies ermöglicht es dem Computer, einen viel besseren Weg zu finden, die Daten zu packen, ohne die Regeln des winzigen Formats zu brechen.
Dual-Granularity Scaling (DGS): Hierbei geht es darum, kleinere Gegenstände zu packen. Die alte Methode behandelte eine ganze Gruppe von 32 Zahlen als einen großen Block und verwendete ein Lineal für alle. Aber was, wenn einige Zahlen in dieser Gruppe riesig und andere winzig sind? FOCUS unterteilt diese große Gruppe in kleinere Untergruppen (wie das Schneiden einer großen Pizza in Stücke) und gibt jedem Stück ein eigenes, maßgeschneidertes Lineal. Dies ermöglicht es dem Computer, sich an die spezifischen Details der Daten anzupassen, anstatt alles in eine Einheitsbox zu zwingen.

Die Ergebnisse sind beeindruckend. Als die Forscher FOCUS bei verschiedenen KI-Modellen (wie Qwen und LLaMA) testeten, schnitt es konsistent besser ab als alle anderen Methoden. Beispielsweise schaffte es FOCUS bei einem Modell namens Qwen3-4B, 98,2 % der ursprünglichen Genauigkeit des Modells mit dem NVFP4-Format und 96,2 % mit MXFP4 wiederherzustellen. Dies ist ein bedeutender Sprung im Vergleich zu früheren Techniken, die oft Schwierigkeiten hatten, über 90 % oder 94 % zu bleiben.

Entscheidend ist, dass das Paper zeigt, dass FOCUS das Modell nicht langsamer oder schwieriger zu verwenden macht. Obwohl der Computer während der Vorbereitung des Modells (während der „Trainings-“ oder „Kalibrierungsphase“) zusätzliche Berechnungen durchführt, läuft das fertige Modell genauso schnell wie jedes andere FP4-Modell. Es dauert etwa 19 Minuten, um ein Qwen3-4B-Modell auf einer einzelnen High-End-GPU vorzubereiten, was tatsächlich schneller ist als einige konkurrierende Methoden. Die Forscher betonen, dass es sich um eine „Post-Training“-Methode handelt, was bedeutet, dass sie das Modell nicht von Grund auf neu lehren müssen; sie passen lediglich die Packanweisungen an.

Kurz gesagt legt FOCUS nahe, dass, indem wir die Regeln darauf lockern, wie wir die Schrumpfung berechnen (während wir das endgültige Speicherformat strikt beibehalten), wir diese riesigen KI-Gehirne in winzige Räume passen können, ohne ihre Klugheit zu verlieren. Es ist ein wenig so, als würde man erkennen, dass man ein Hemd perfekt falten kann, indem man einen großen Tisch benutzt, selbst wenn man nur eine kleine Schublade hat, um es darin zu verstauen. Das Paper beweist, dass dieser Ansatz besser funktioniert als die alten, starren Wege und einen Pfad ebnet, um leistungsstarke KI auf Geräten laufen zu lassen, die dies derzeit noch nicht bewältigen können.

Technisches Resümee: FOCUS – FP4-Optimierung mittels gekoppelter Relaxation und Dual-Granularitäts-Skalierung

Problemstellung

Große Sprachmodelle (LLMs) stehen vor erheblichen Herausforderungen bei der Bereitstellung aufgrund ihrer massiven Parameterzahlen, was effiziente Kompressionstechniken erforderlich macht. Während Post-Training Quantization (PTQ) zu einem Standardansatz geworden ist, bleibt das Vorantreiben der Quantisierung auf 4-Bit-Fließkommaformate (FP4) wie MXFP4 und NVFP4 schwierig. Diese Formate bieten nativen Hardware-Support auf modernen Beschleunigern (z. B. NVIDIA Blackwell) durch blockweise Skalierungsschemata (z. B. Gruppen von 32 oder 16 Werten, die einen Low-Precision-Skalierungsfaktor teilen).

Die Aufrechterhaltung der Modellgenauigkeit unter FP4-Präzision ist jedoch ein anhaltender Engpass. Eine kritische Einschränkung bestehender Methoden ist die enge Kopplung zwischen dem Quantisierungsskalierungsfaktor ( $S_q$ ) und dem Dequantisierungsskalierungsfaktor ( $S_{dq}$ ). Aktuelle Ansätze zwingen beide Skalierungen dazu, demselben diskreten, niedrigpräzisen Hardwareformat (z. B. E8M0 für MXFP4) und derselben Block-Granularität zu entsprechen. Dies ist suboptimal, weil:

Redundante Einschränkungen: Nur der Dequantisierungsskalierungsfaktor ( $S_{dq}$ ) wird gespeichert und während der Inferenz verwendet, wesnthalb er Hardware-Beschränkungen unterliegen muss. Der Quantisierungsskalierungsfaktor ( $S_q$ ), der ausschließlich während des Offline-Quantisierungsprozesses zur Bestimmung der optimalen FP4-Gewichtszuweisung verwendet wird, wird danach verworfen und muss diesen Beschränkungen nicht entsprechen.
Diskreter Optimierungsraum: Indem $S_q$ in ein diskretes Niedrigpräzisionsformat gezwungen wird, beschränken bestehende Methoden die Optimierungslandschaft und verhindern so ein gradientenbasiertes Lernen optimaler Gewichtszuweisungen.
Granularitäts-Mismatch: Ein einzelner Skalierungsfaktor auf Blockebene kann lokale Gewichtsvariationen innerhalb eines Blocks nicht erfassen, was zu Quantisierungsfehlern führt.

Methodik

Die Autoren schlagen FOCUS vor, ein Post-Training Quantization-Framework, das die „Freiheit“ des Quantisierungsskalierungsfaktors nutzt, um die FP4-Genauigkeit zu optimieren, ohne den Inferenz-Overhead zu erhöhen. Das Framework operiert auf zwei Dimensionen: Präzision und Granularität.

1. Baseline: End-to-End Scale Learning

Die Autoren etablieren zunächst eine Baseline, bei der die Modellgewichte eingefroren sind und blockweise Skalierungsfaktoren mittels Knowledge Distillation Loss (KL-Top) End-to-End gelernt werden. Im Gegensatz zu traditioneller PTQ optimiert diese Baseline die Skalierungsfaktoren mittels Gradientenabstieg unter Verwendung des Straight-Through Estimators (STE), um die nicht-differenzierbaren Quantisierungsoperationen zu handhaben. Diese Baseline erzwingt jedoch weiterhin $S_q = S_{dq}$ und hält somit die enge Kopplung aufrecht.

2. Coupled-Relaxation Scaling (CRS)

Um die Präzisionsbeschränkung anzugehen, führt FOCUS Coupled-Relaxation Scaling (CRS) ein.

Mechanismus: CRS entkoppelt den Quantisierungsskalierungsfaktor von dem hardwareseitig vorgeschriebenen Format durch die Einführung eines lernbaren Vollpräzisions-Koeffizienten $c_i$ .
Formulierung: Der Quantisierungsskalierungsfaktor ist definiert als $S_q = S_{dq} \cdot c_i$ , wobei $S_{dq}$ der hardwarekonforme Skalierungsfaktor (quantisiert auf E4M3 oder E8M0) ist und $c_i$ ein lernbarer Vollpräzisionsparameter (FP16) ist, der auf 1 initialisiert wurde.
Effekt: Dies lockert die enge Kopplung auf, indem die Optimierung von $S_q$ von einem diskreten Niedrigpräzisionsraum in einen kontinuierlichen Vollpräzisionsraum verlagert wird. Dies ermöglicht es dem Modell, bessere FP4-Gewichtszuweisungen zu finden, während $S_{dq}$ weiterhin den Hardwareanforderungen entspricht. Der Koeffizient $c_i$ wird nach dem Training verworfen.

3. Dual-Granularity Scaling (DGS)

Um die Granularitätsbeschränkung anzugehen, führt FOCUS Dual-Granularity Scaling (DGS) ein.

Mechanismus: DGS unterteilt jeden Hardware-Block (Größe 32 für MXFP4, 16 für NVFP4) in kleinere Sub-Blöcke (z. B. Größe 8). Jedem Sub-Block wird ein unabhängiger Vollpräzisions-Relaxationskoeffizient ( $c_k$ ) zugewiesen.
Formulierung: Die Quantisierung für einen Sub-Block $k$ lautet $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ , während der Dequantisierungsskalierungsfaktor $S_{dq}$ über den gesamten Block hinweg geteilt bleibt.
Effekt: Dies ermöglicht es dem Quantisierungsskalierungsfaktor, mit einer feineren Granularität als der Dequantisierungsskalierungsfaktor zu operieren, wodurch lokale Gewichtsvariationen innerhalb eines Blocks erfasst werden, die ein einzelner Skalierungsfaktor auf Blockebene übersehen würde. Wie bei CRS werden diese Koeffizienten nach dem Training verworfen.

4. Bereitstellung und Kompatibilität

FOCUS stützt sich nicht auf strukturelle Transformationen (z. B. Hadamard-Rotationen), die oft Inferenz-Overhead verursachen oder Framework-Modifikationen erfordern. Das final bereitgestellte Modell besteht strikt aus Standard-FP4-Gewichten und hardwarekonformen Dequantisierungsskalierungsfaktoren, was eine nahtlose Kompatibilität mit bestehenden Inferenz-Engines und einen zusätzlichen Inferenz-Aufwand von Null gewährleistet.

Wichtigste Beiträge

Identifikation von Erkenntnissen: Die Arbeit identifiziert, dass der Quantisierungsskalierungsfaktor frei von Hardwarebeschränkungen ist, im Gegensatz zum Dequantisierungsskalierungsfaktor, und schlägt vor, diese Freiheit sowohl in der Präzision als auch in der Granularität zu nutzen.
Coupled-Relaxation Scaling (CRS): Eine Technik, die einen lernbaren Vollpräzisions-Koeffizienten einführt, um die Kopplung zwischen Quantisierungs- und Dequantisierungsskalierung zu lockern und so eine kontinuierliche gradientenbasierte Optimierung zu ermöglichen.
Dual-Granularity Scaling (DGS): Eine Methode, die Quantisierungsskalierungsfaktoren auf Sub-Block-Ebene zuweist und so intra-block Gewichtsvariationen erfasst, die eine Skalierung auf Blockebene nicht darstellen kann.
State-of-the-Art Performance: Umfangreiche Experimente zeigen, dass FOCUS unter beiden MXFP4- und NVFP4-Formaten eine SOTA-FP4-Genauigkeit über mehrere LLM-Familien (Qwen, LLaMA) hinweg erreicht, ohne Inferenz-Overhead zu verursachen.

Experimentelle Ergebnisse

Die Autoren evaluierten FOCUS auf fünf LLMs (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) unter Verwendung von WikiText2, C4 und fünf Zero-Shot-Reasoning-Benchmarks (ARC, HellaSwag, PIQA, Winogrande).

Genauigkeitswiederherstellung: Bei Qwen3-4B unter NVFP4 stellt FOCUS 98,2 % der FP16 Zero-Shot-Genauigkeit wieder her und übertrifft damit signifikant Baselines wie RTN, GPTQ, MR-GPTQ, 4over6 und RaZeR.
Perplexität: FOCUS erreicht die niedrigste Perplexität in fast allen Einstellungen. Für Qwen3-8B erreicht es eine Perplexität von 9,47 auf WikiText2 (NVFP4) und kommt damit dem FP16-Baseline-Wert von 9,73 sehr nahe.
Reasoning-Fähigkeiten: Bei Chain-of-Thought-Aufgaben (GSM8K, MMLU) übertrifft FOCUS konsistent konkurrierende Methoden und bewahrt die mehrstufigen Reasoning-Fähigkeiten besser als andere FP4-Quantisierungsansätze.
Effizienz: Der Quantisierungsprozess ist leichtgewichtig. Auf einer einzelnen NVIDIA H20 GPU dauert die Quantisierung von Qwen3-4B 19 Minuten, was 34 % schneller ist als die bisherige SOTA-Methode (MR-GPTQ).

Bedeutung und Behauptungen

Das Paper behauptet, dass FOCUS einen Paradigmenwechsel in der FP4-Quantisierung darstellt, indem es die Rolle des Quantisierungsskalierungsfaktors neu überdenkt. Durch die Erkenntnis, dass der Quantisierungsskalierungsfaktor nicht gespeichert werden muss und keinen Hardwarebeschränkungen unterliegt, erschließen die Autoren einen signifikanten, bisher ungenutzten Optimierungsraum.

Die Bedeutung liegt darin, eine State-of-the-Art-Genauigkeit für die FP4-Inferenz zu erreichen, während gleichzeitig null Inferenz-Overhead und nahtlose Hardware-Kompatibilität gewahrt bleiben. Im Gegensatz zu transformationsbasierten Methoden, die Rechenkosten verursachen oder Framework-Anpassungen erfordern, operiert FOCUS rein im Bereich der Skalierungsoptimierung. Die Autoren behaupten, dass ihr Ansatz effektiv die Leistungslücke zwischen FP4- und Full-Precision (FP16) Modellen schließt und somit eine hocheffiziente W4A4-Inferenz für den praktischen Einsatz praktikabel macht.