Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Diese Arbeit evaluiert die HiFloat-Formate (HiF8 und HiF4) für Ascend NPUs und zeigt, dass sie durch hierarchische Skalierung in 4-Bit-Szenarien eine Überlegenheit gegenüber Integer-Formaten bieten und sich nahtlos in moderne Post-Training-Quantisierungsframeworks integrieren lassen, um eine hocheffiziente LLM-Inferenz zu ermöglichen.

Das Wesentliche

🚀 Das Geheimnis der effizienten KI: Wie man große Modelle auf kleinen Chips zum Laufen bringt

Stellen Sie sich vor, Sie haben einen riesigen, hochintelligenten Roboter (eine KI, wie ein großes Sprachmodell). Dieser Roboter ist unglaublich schlau, aber er ist auch riesig, schwer und braucht einen enormen Stromverbrauch, um zu denken. Um ihn in ein kleines, batteriebetriebenes Gerät (wie ein Smartphone oder einen speziellen Computer-Chip von Huawei, genannt Ascend NPU) zu packen, müssen wir ihn „leichter" machen.

Das Problem: Wenn man einen schweren Gegenstand einfach nur verkleinert, wird er oft zerbrechlich oder verliert seine Form. In der KI-Welt bedeutet das: Wenn man die Zahlen, mit denen die KI rechnet, zu stark vereinfacht (man nennt das Quantisierung), wird die KI dumm und macht Fehler.

Dieses Papier untersucht einen neuen Weg, um diesen Roboter leicht zu machen, ohne ihn dumm zu werden.

1. Das Problem: Der „Einheitsgrößen"-Ansatz funktioniert nicht

Bisher haben Forscher versucht, alle Zahlen der KI auf eine einzige Art zu verkleinern, ähnlich wie man alle Kleidungsstücke in eine einzige Standardgröße schneidet.

• Die alten Methoden (Ganzzahlen/INT): Diese sind wie ein Lineal mit gleichmäßigen Strichen. Sie funktionieren super, wenn die Zahlen alle in einem kleinen, ruhigen Bereich liegen (wie bei den „Gewichten" des Roboters, also seinem gespeicherten Wissen).
• Das Problem bei den „Aktivitäten": Wenn der Roboter jedoch spricht oder denkt (die „Aktivitäten"), gibt es plötzlich riesige Ausreißer – Zahlen, die extrem groß oder extrem klein sind. Ein einfaches Lineal mit gleichmäßigen Strichen kann diese extremen Werte nicht gut abbilden, ohne dass die kleinen, wichtigen Details im Rauschen untergehen.

2. Die Lösung: HiFloat – Der „verstellbare Gummizug"

Die Autoren stellen eine neue Familie von Zahlenformaten vor, genannt HiFloat (speziell HiF8 und HiF4).
Stellen Sie sich HiFloat nicht als starres Lineal vor, sondern als einen verstellbaren Gummizug oder einen Schubkarren mit verstellbaren Rädern.

• Wie es funktioniert:
  • Wenn die Zahlen klein und ruhig sind, zieht sich der Gummizug zusammen und bietet viele feine Einstellmöglichkeiten (hohe Präzision).
  • Wenn plötzlich ein riesiger Wert kommt (ein Ausreißer), dehnt sich der Gummizug aus, um diesen großen Wert zu fangen, ohne dass die kleinen Werte daneben verloren gehen.
  • HiF8 (8-Bit): Ein flexibler Gummizug für den allgemeinen Einsatz.
  • HiF4 (4-Bit): Ein extrem starker, mehrstufiger Gummizug. Da 4 Bit sehr wenig Platz bieten (nur 16 Stufen), ist dieser Gummizug besonders clever aufgebaut: Er hat drei Ebenen der Verfeinerung. Er kann also gleichzeitig einen riesigen Berg und ein kleines Tal in derselben Gruppe von Zahlen darstellen.

3. Was das Papier herausgefunden hat (Die drei großen Erkenntnisse)

Die Forscher haben dieses System auf Huawei-Chips getestet und drei wichtige Dinge entdeckt:

🏗️ Erkenntnis 1: Nicht alles braucht den gleichen Werkzeugkasten

• Für das Gedächtnis (Gewichte): Hier sind die Zahlen ruhig und vorhersehbar. Ein einfaches, starres Lineal (INT8) ist hier oft sogar besser als der flexible Gummizug, weil es den verfügbaren Platz nicht für unnötige extreme Bereiche verschwendet.
• Für das Denken (Aktivitäten): Hier gibt es Chaos und Ausreißer. Hier glänzt der Gummizug (HiFloat), weil er sich an die Situation anpasst.

📉 Erkenntnis 2: Bei 4-Bit ist der „starre Ansatz" katastrophal

Wenn man den Platz auf nur 4 Bits (16 Stufen) reduziert, bricht das alte System (INT4) komplett zusammen. Es ist, als würde man versuchen, einen ganzen Ozean in eine kleine Teetasse zu pressen – alles läuft über.

• Der HiFloat-Effekt: Dank seiner mehrstufigen Struktur (HiF4) kann das System den Ozean in mehrere Eimer aufteilen und trotzdem die Wassertiefe genau messen. Es verhindert, dass die KI „dumm" wird, selbst bei extrem wenig Speicher.

🤝 Erkenntnis 3: Teamwork macht stark

HiFloat funktioniert nicht isoliert. Die Forscher haben gezeigt, dass HiFloat perfekt mit anderen Tricks (wie SmoothQuant) zusammenarbeitet.

• Die Analogie: Stellen Sie sich HiFloat als einen starken Athleten vor und die anderen Tricks als einen Coach, der dem Athleten hilft, seine Schwachstellen zu verstecken. Zusammen sind sie unbesiegbar und erreichen fast die gleiche Leistung wie das riesige, unkomprimierte Original.

4. Das Ergebnis: Warum das wichtig ist

Das Ziel ist es, riesige KI-Modelle (wie Qwen3 oder openPangu) auf speziellen Chips von Huawei (Ascend NPUs) laufen zu lassen, ohne dass sie an Intelligenz verlieren.

• Das Fazit: Mit HiF4 (dem 4-Bit HiFloat) können die Forscher die Modelle so stark komprimieren, dass sie fast so gut funktionieren wie die Originalversionen, aber mit einem Bruchteil des Speicherbedarfs und der Rechenleistung.
• Warum das cool ist: Das bedeutet, dass wir in Zukunft viel schnellere, effizientere und günstigere KI auf unseren Geräten haben werden, ohne Kompromisse bei der Qualität eingehen zu müssen.

Zusammenfassung in einem Satz

Das Papier zeigt, dass man KI nicht einfach nur „kleiner" machen darf, sondern ihr einen intelligenten, flexiblen Zahlen-Format (HiFloat) geben muss, der sich je nach Bedarf dehnen und stauchen kann – besonders wenn der Platz extrem knapp ist.

Technische Zusammenfassung

Problemstellung

Mit dem exponentiellen Wachstum von Large Language Models (LLMs) entstehen massive Anforderungen an den Rechen Throughput und die Speicherbandbreite. Quantisierung (Reduzierung der Bit-Breite) ist ein entscheidender Ansatz, um diese Engpässe zu lindern, ohne die Modellleistung signifikant zu beeinträchtigen.
Bisher konzentrierte sich die Forschung primär auf ganzzahlige (Integer) Quantisierung (z. B. INT8, INT4). Allerdings stoßen Integer-Formate bei extrem niedrigen Bit-Breiten (insbesondere 4-Bit) und bei Daten mit hoher Varianz oder Ausreißern (Outliers) – wie sie in Aktivierungen und KV-Caches von LLMs häufig vorkommen – an ihre Grenzen. Dies führt oft zu einem „katastrophalen Zusammenbruch" der Genauigkeit.
Zwar gibt es bereits neue hardware-native Float-Formate wie Microscaling (MXFP) und NVFP4, doch deren Eignung für die Post-Training-Quantisierung (PTQ) auf Ascend NPUs (Neural Processing Units von Huawei) war bisher nicht umfassend evaluiert.

Methodik

Die Autoren evaluieren die HiFloat-Familie (HiF8 und HiF4), eine Reihe von Formaten, die speziell für Ascend NPUs entwickelt wurden. Die Evaluation erfolgt durch einen rigorosen Vergleich mit etablierten Standards (INT8/4, MXFP, NVFP4) über drei Hauptkomponenten:

1. Gewichte (Weights)
2. Aktivierungen (Activations)
3. KV-Cache (Key-Value Cache)

Die Studie nutzt Modelle wie Qwen3-8B und openPangu-7B und testet diese auf Datensätzen wie Wikitext-2, C4 und verschiedenen Benchmarks (MMLU, GSM8K, LongBench).

Die HiFloat-Formate im Detail:

• HiF8 (8-Bit): Bietet eine dynamische Mantissen-Allokation. Ein spezielles Präfix-Code-System passt die Bit-Verteilung zwischen Exponent und Mantisse dynamisch an die Datenverteilung an, um einen erweiterten Dynamikbereich zu ermöglichen.
• HiF4 (4-Bit): Nutzt ein dreistufiges hierarchisches Skalierungs-Schema. Ein 64-Element-Block wird durch einen gemeinsamen Skalierungsfaktor (E6M2) gesteuert, der durch feinere Skalierungsfaktoren auf Subblock-Ebene (8 Elemente, E1M0) und Mikroblock-Ebene (4 Elemente, E1M0) verfeinert wird. Dies ermöglicht eine lokale Anpassung an Varianzen innerhalb eines Blocks.

Die Autoren analysieren zudem die Synergie mit bestehenden PTQ-Frameworks wie SmoothQuant (zur Glättung von Ausreißern) und SVDQuant (zur Absorption von Ausreißern durch Low-Rank-Komponenten).

Wichtige Erkenntnisse & Beiträge

1. Unterschiedliche Anforderungen für Gewichte vs. Aktivierungen:

   • Gewichte: Haben oft schmale, begrenzte Verteilungen. Hier erweist sich INT8 als überlegen, da die gleichmäßige Dichte der Integer-Stufen die Signalintegrität besser erhält als Float-Formate, die Bits für leere Exponentenbereiche verschwenden.
   • Aktivierungen & KV-Cache: Zeigen hohe Dynamik und schwere Ausreißer. Hier sind Float-Formate (HiF8, MXFP8) überlegen, da ihr dynamischer Bereich diese Extremwerte aufnehmen kann, ohne die Auflösung im Nullbereich zu verlieren.

2. Der 4-Bit-Kipppunkt (The 4-bit Regime):

   • Bei 4-Bit führt die gleichmäßige Quantisierung von Integer-Formaten (INT4) zu einem kompletten Genauigkeitsverlust, da die Diskretisierung zu grob ist.
   • HiF4 verhindert diesen Kollaps durch seine hierarchische Skalierung. Sie isoliert Ausreißer effektiv und bewahrt gleichzeitig die lokale Präzision für den Großteil der Daten.

3. Kompatibilität mit PTQ-Frameworks:

   • HiFloat ist voll kompatibel mit SmoothQuant und SVDQuant. Die Kombination aus den Ausreißer-Mitigation-Strategien dieser Frameworks und der inhärenten Repräsentationsfähigkeit von HiFloat führt zu einer verstärkten Kompressionseffizienz.

4. Mathematische Formulierung & Analyse:

   • Das Paper liefert formale Definitionen für die Quantisierung und Dequantisierung von HiF8 und HiF4.
   • Es bietet eine detaillierte Verteilungsanalyse (CDF, SQNR), die zeigt, warum HiF4 bei 4-Bit-Aktivierungen und KV-Caches besser abschneidet als NVFP4 und MXFP4.

Ergebnisse

• 8-Bit (W8A8):

  • Für Gewichte ist INT8 oft leicht besser oder gleichauf mit HiF8.
  • Für Aktivierungen und KV-Cache sind HiF8 und MXFP8 sehr robust.
  • Mit SmoothQuant/SVDQuant erreicht HiF8 eine Genauigkeit, die der BF16-Baseline fast entspricht (Verlust < 1-2 %).

• 4-Bit (W4A4) – Der Durchbruch:

  • INT4 scheitert katastrophal (Genauigkeitsverlust > 60 %).
  • MXFP4 zeigt Verbesserungen, leidet aber immer noch unter signifikanten Genauigkeitsverlusten.
  • HiF4 und NVFP4 erhalten die Modellintegrität.
    • Auf Qwen3-8B behält HiF4 über 96,5 % der BF16-Baseline bei (nur RTN, ohne PTQ-Optimierung).
    • Auf openPangu-7B liegt der Verlust bei nur 3,0 % (RTN) und sinkt auf 2,7 % mit SmoothQuant/SVDQuant.
  • KV-Cache Quantisierung: HiF4 zeigt die beste Robustheit, selbst wenn der gesamte Inferenz-Pipeline (Gewichte, Aktivierungen, KV-Cache) auf 4-Bit komprimiert wird. Bei LongBench (lange Kontexte) übertrifft HiF4 NVFP4 und MXFP4 deutlich.

Bedeutung und Fazit

Das Paper demonstriert, dass HiFloat (insbesondere HiF4) eine überlegene Lösung für die Ultra-Low-Bit-Inferenz (4-Bit) auf Ascend NPUs darstellt.

• Technischer Fortschritt: Es widerlegt die Annahme, dass Integer-Quantisierung bei 4-Bit ausreicht, und zeigt, dass hierarchische Float-Formate notwendig sind, um die nichtlinearen Verteilungen von LLMs abzubilden.
• Praktische Relevanz: HiF4 ermöglicht eine effiziente Inferenz großer Modelle auf spezialisierter Hardware (Ascend) mit minimalem Genauigkeitsverlust, was für den Einsatz in ressourcenbeschränkten Umgebungen entscheidend ist.
• Zukunftsausblick: Die Arbeit legt den Grundstein für die breite Adoption von HiFloat-Formaten in der LLM-Inferenz und zeigt, wie Hardware-spezifische Formate mit algorithmischen Optimierungen (PTQ) synergistisch wirken können.

Zusammenfassend bietet HiFloat einen robusten Weg, um die Lücke zwischen Speicherbandbreite und Rechenleistung bei der Inferenz von Large Language Models zu schließen, insbesondere in den kritischen 4-Bit-Szenarien, in denen andere Formate versagen.