The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators

Die Arbeit stellt die AetherFloat-Familie vor, eine hardwareoptimierte Quad-Radix-Gleitkomma-Architektur für KI-Beschleuniger, die durch den Verzicht auf Block-Skalierung und die Einführung expliziter Mantissen signifikante Verbesserungen bei Chipfläche, Energieverbrauch und Latenz ermöglicht, wobei AF8 speziell als Block-Scale-Free-Format für Inferenz mit Quantisierungsbewusstsein entwickelt wurde.

Keita Morisaki

Veröffentlicht Wed, 11 Ma
📖 5 Min. Lesezeit🧠 Tiefgang

Each language version is independently generated for its own context, not a direct translation.

Hier ist eine einfache Erklärung der „AetherFloat"-Forschung, als würde man sie einem Freund beim Kaffee erklären – ohne komplizierte Fachbegriffe, aber mit ein paar bildhaften Vergleichen.

Das große Problem: Der alte Standard ist zu schwerfällig

Stellen Sie sich vor, Computer sind riesige Küchen, in denen Millionen von Köchen (den Prozessoren) gleichzeitig Gerichte (Berechnungen) zubereiten. Seit Jahrzehnten nutzen diese Köche ein festes Rezeptbuch: den IEEE 754 Standard für Gleitkommazahlen.

Das Problem ist: Dieses Rezeptbuch ist wie ein alter, schwerer Kochlöffel aus massivem Holz.

  1. Platzverschwendung: Um Zahlen zu vergleichen oder zu sortieren, müssen die Köche erst einen komplizierten Umweg gehen (wie einen versteckten „Anfangsbuchstaben" in einem Wort zu erraten). Das kostet viel Platz in der Küche (Siliziumfläche) und Zeit.
  2. Die „Outlier"-Krise: Wenn wir heute riesige KI-Modelle (wie Chatbots) trainieren, passieren oft seltsame Dinge: Plötzlich tauchen Zahlen auf, die so riesig sind, dass sie den kleinen Teller des Rezeptbuchs sprengen. Um das zu verhindern, müssen die Köche ständig einen extra Wächter (die sogenannte „Block-Scale"-Logik) einsetzen, der prüft, ob etwas zu groß wird. Das bremst die ganze Küche aus.

Die Lösung: Das AetherFloat-Team

Der Forscher Keita Morisaki hat eine neue Art von Kochlöffel erfunden, die er AetherFloat nennt. Er hat das Rezeptbuch komplett neu geschrieben, damit es perfekt für moderne KI-Küchen passt.

Hier sind die drei genialen Tricks, einfach erklärt:

1. Der „Sortier-Trick" (Lexicographic One's Complement)

Das alte Problem: In der alten Welt waren negative Zahlen beim Sortieren ein Albtraum. Wenn Sie eine Liste von Zahlen sortieren wollten, musste der Computer erst überlegen: „Ist das negativ? Dann muss ich es umdrehen." Das war wie ein Koch, der erst jedes Gemüse schälen muss, bevor er es schneiden kann.
Die AetherFloat-Lösung: AetherFloat baut negative Zahlen so, dass sie sich von selbst sortieren lassen, genau wie positive Zahlen.

  • Die Analogie: Stellen Sie sich vor, alle Zutaten liegen in einer Reihe. Bei AetherFloat müssen Sie nicht erst umdrehen, um zu sehen, was größer ist. Die Reihenfolge ist von Anfang an perfekt. Der Computer kann jetzt einfach einen billigen, schnellen „Intelligenz-Test" (einen einfachen Vergleicher) nutzen, statt einen teuren, komplexen Rechner. Das spart enorm viel Platz und Strom.

2. Der „Schnell-Experten-Trick" (Quad-Radix / Basis-4)

Das alte Problem: Der alte Standard nutzt die Basis 2 (nur 0 und 1). Um Zahlen anzupassen, muss der Computer viele kleine Schritte machen (wie Treppenstufen).
Die AetherFloat-Lösung: AetherFloat nutzt die Basis 4.

  • Die Analogie: Stellen Sie sich vor, Sie müssen eine Leiter hochklettern. Der alte Standard hat viele kleine, enge Stufen. AetherFloat hat breite, flache Plattformen. Sie kommen viel schneller oben an.
  • Der Vorteil: Dadurch passt eine viel größere Spanne von Zahlen in den gleichen kleinen Raum. Das bedeutet: Wenn eine KI plötzlich eine riesige Zahl produziert (ein „Outlier"), passt sie einfach hinein, ohne dass der extra Wächter (Block-Scale) eingreifen muss. Die Küche läuft ohne Stau.

3. Der „Offene-Kasten-Trick" (Explizite Mantisse)

Das alte Problem: Der alte Standard spart einen Bit (eine Stelle) an, indem er annimmt, dass die erste Stelle immer eine „1" ist. Das ist wie ein Koch, der sagt: „Ich nehme an, du hast immer einen Löffel in der Hand, also spare ich den Platz dafür." Das spart zwar Platz, aber wenn der Computer rechnet, muss er diesen Löffel erst wieder „herbeizaubern", was Zeit kostet.
Die AetherFloat-Lösung: AetherFloat zeigt den Löffel offen an (explizit).

  • Der Trade-off: Man opfert ein winziges bisschen mathematische Genauigkeit (man nimmt eine Stelle weniger mit), aber dafür wird der Rechenweg so einfach, dass der eigentliche Multiplizierer (der „Koch") viel kleiner und schneller wird.
  • Das Ergebnis: Der Chip wird um 33 % kleiner und verbraucht 22 % weniger Strom. Das ist wie ein Koch, der mit einem kleineren, leichteren Messer arbeitet, aber trotzdem genauso schnell schneidet.

Was bedeutet das für uns?

Es gibt zwei Versionen dieses neuen Systems:

  1. AetherFloat-16 (AF16): Ein fast perfekter Ersatz für das aktuelle Standardformat. Es funktioniert sofort, ohne dass man die KI neu trainieren muss.
  2. AetherFloat-8 (AF8): Das ist das „Super-Modell" für die Zukunft. Es ist so klein und schnell, dass es KI-Chips massiv beschleunigt.
    • Aber: Damit es funktioniert, muss man die KI etwas anders trainieren (man nennt das „Quantization-Aware Training"). Man kann es nicht einfach „einschalten" wie ein altes Format. Man muss die KI erst ein paar Stunden lang auf dieses neue Format „einschulen".
    • Der Lohn: Wenn die KI einmal trainiert ist, braucht sie keine riesigen Wächter mehr, um zu prüfen, ob Zahlen zu groß werden. Sie ist „Block-Scale-Free" – also völlig frei von diesen Bremsen.

Fazit

Die AetherFloat-Familie ist wie der Wechsel von einem schweren, alten Holzschlitten auf einen modernen, leichten Snowboard.

  • Alt: Schwer, braucht viel Platz, bremst oft, wenn es steil wird.
  • Neu (AetherFloat): Leicht, schnell, passt riesige Sprünge (Outlier) problemlos, kostet weniger Energie.

Der Preis dafür ist, dass man sich erst ein paar Minuten lang auf das Snowboard gewöhnen muss (das Training), aber sobald man läuft, ist man viel schneller und effizienter als je zuvor. Das ist ein großer Schritt für die Zukunft von KI-Chips, die kleiner, schneller und sparsamer werden sollen.