GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

Stellen Sie sich vor, Sie versuchen, eine riesige, komplizierte Bibliothek des Wissens in einen winzigen Rucksack zu quetschen. Das ist das tägliche Dilemma moderner Künstlicher Intelligenz. Die „Gehirne“ dieser KI-Systeme, die sogenannten Large Language Models, sind so gewaltig, dass sie Berge von Computerspeicher benötigen, nur um zu laufen. Um sie in kleinere Geräte zu bekommen, nutzen Wissenschaftler einen Trick namens Quantisierung. Denken Sie dabei an das Komprimieren eines hochauflösenden Films in eine niedrig aufgelöste Datei, um Platz zu sparen. Man verliert etwas an Detailreichtum, aber der Film ist immer noch abspielbar. Es gibt jedoch einen Haken: Manchmal hat der Film ein paar Szenen, die unglaublich hell oder dunkel sind (sogenannte „Outlier“ oder Ausreißer). Wenn man versucht, die gesamte Datei zu komprimieren, um Platz für diese extremen Szenen zu schaffen, wird der Rest des Films unscharf und verzerrt.

Lange Zeit versuchten Wissenschaftler, dies zu beheben, nachdem die KI bereits gebaut worden war – wie der Versuch, einen Film zu bearbeiten, nachdem er bereits gedreht wurde. Sie betrachteten die „hellen Stellen“ und versuchten, sie mithilfe einer kleinen Datenprobe zu glätten. Aber dieses Paper stellt eine neue Idee vor: Was wäre, wenn wir die KI lehren könnten, ihre eigene Bibliothek zu organisieren, während sie gebaut wird, damit sie ganz natürlich in den Rucksack passt, ohne dass später eine unordentliche Aufräumaktion nötig ist? Die Forscher schlagen eine Methode vor, die die interne „Flexibilität“ der KI nutzt, um ihre Daten umzuordnen, bevor sie zusammengestaucht werden, was die Komprimierung wesentlich sauberer macht.

---

Das Paper: GaugeQuant

Das Paper, das Sie hier lesen, handelt von einer cleveren neuen Technik namens GaugeQuant. Die Autoren, Miguel P. Bento und João F. Sebra, haben entdeckt, dass die interne Struktur dieser KI-Modelle eine verborgene Superkraft besitzt: Symmetrie.

Um dies zu verstehen, stellen Sie sich vor, das Gehirn der KI bestünde aus tausenden rotierenden Zahnrädern. An vielen Stellen können diese Zahnräder in perfekter Synchronität miteinander rotieren, ohne das Endergebnis zu verändern, das die KI liefert. Es ist wie bei einem Tanzteam: Wenn alle gemeinsam um 90 Grad rotieren, sieht die Choreografie aus der Perspektung des Publikums immer noch gleich aus. Der KI ist es egal, aus welchem spezifischen „Winkel“ die Daten kommen, solange die Beziehungen zwischen den Zahnrädern gleich bleiben.

Das Problem ist, dass wir beim Versuch, die KI zu komprimieren (zu quantisieren), einen spezifischen Winkel wählen müssen. Wenn wir den falschen Winkel wählen, werden die „Outlier“ (die superhellen oder superdunklen Datenpunkte) verzerrt, was die Komprimierung ruiniert. Normalerweise müssen Wissenschaftler warten, bis die KI fertig trainiert ist, um den besten Winkel unter Verwendung eines separaten Datensatzes zu ermitteln.

GaugeQuant ändert das Spiel, indem es dies während des Trainings tut. Die Autoren fügten der Hausaufgabe der KI eine spezielle „Strafe“ hinzu. Stellen Sie sich vor, die KI lernt, Geschichten zu schreiben, und der Lehrer (der Computer) sagt: „Tolle Geschichte! Aber wenn du Wörter benutzt, die zu extrem oder seltsam sind, verlierst du Punkte.“ Diese Strafe basiert auf einer mathematischen Formel namens LogSumExp. Sie drängt die KI sanft dazu, ihre internen Zahnräder neu zu ordnen (ihre Daten zu rotieren), sodass keine einzelne Zahl zu einem extremen Ausreißer wird.

Das ist der magische Teil: Die KI muss diese Umordnung vornehmen, ohne ihre Fähigkeit zu verlieren, Geschichten zu schreiben. Die Autoren verwendeten einen „Stop-Gradient“-Trick. Denken Sie an einen Einwegspiegel. Die KI lernt, bessere Geschichten zu schreiben, indem sie ihre normalen Lektionen nutzt, aber sie lernt, ihre Daten für die Komprimierung zu organisieren, indem sie eine separate, unsichtbare Lektion durchläuft. Diese beiden beeinflussen sich nicht gegenseitig. Die KI findet automatisch den „perfekten Winkel“ für ihre Daten, sodass bei der endgültigen Komprimierung alles passgenau hineinpasst, ohne an Qualität zu verlieren.

Was sie herausgefunden haben

Die Forscher testeten dies an zwei berühmten KI-Modellen: Qwen-2.5 0.5B und LLaMA-2 7B. Sie simulierten die Komprimierung der Modelle auf eine sehr niedrige Präzision (unter Verwendung von nur 4 Bit für Gewichte und Aktivierungen, was eine sehr enge Platzierung ist).

Die Ergebnisse waren sehr vielversprechend:

• Für das LLaMA-2 7B Modell, als sie sowohl die Gewichte als auch die Aktivierungen auf 4 Bit komprimierten (W4A4) mit einer Gruppengröße von 128, sank die „Perplexity“ (ein Wert, bei dem ein niedrigerer Wert besser ist, was bedeutet, dass die KI weniger verwirrt ist) von 8,22 auf 6,73.
• Als sie nur die Gewichte auf 4 Bit komprimierten, aber die Aktivierungen mit voller Präzision beibehielten (W4A16), verbesserte sich der Wert sogar noch dramatischer, von 11,16 auf 5,45.
• Für das kleinere Qwen-2.5 0.5B Modell waren die Verbesserungen ebenfalls signifikant, wobei der W4A4-Wert von 187,8 auf 61,2 sank.

Die Autoren merken an, dass diese Methode keine speziellen Kalibrierungsdaten benötigt (kein Bedarf an einem separaten Testdatensatz) und die Trainingszeit kaum zusätzlich belastet. Sie konkurriert mit Methoden, die normalerweise erfordern, dass das Modell nach dem Training eingefroren und intensiv getestet wird.

Was es nicht tut (und was noch unbekannt ist)

Es ist wichtig zu wissen, was diese Methode nicht löst. Die Autoren fanden heraus, dass, wenn man versucht, die Aktivierungen auf 4 Bit zu komprimieren, indem man nur einen einzigen Skalierungsfaktor für das gesamte Token verwendet (eine sehr strenge Einstellung namens „per-token“), die Modelle dennoch scheitern und unbrauchbar werden, unabhängig von der Rotation. Die Methode funktioniert am besten, wenn man eine gewisse Gruppierung zulässt (wie die Gruppengröße von 128).

Zudem geben die Autoren zu, dass ihre Methode auf einem „Proxy“ (einem Stellvertreter) für den tatsächlichen Komprimierungsfehler beruht. Sie verwenden die LogSumExp-Formel, um zu erraten, wo die Outlier liegen, aber dies ist keine perfekte Simulation der realen Komprimierung. Sie deuten an, dass dies manchmal Daten glätten könnte, die das Modell eigentlich benötigt, um zwischen ähnlichen Dingen zu unterscheiden.

Schließlich basieren diese Ergebnisse auf Simulationen und Trainingsläufen auf zwei spezifischen Modellen (0.5B und 7B). Die Autoren schlagen vor, dass, obwohl die Mathematik solide aussieht, wir noch nicht wissen, wie dies bei viel größeren Modellen oder in anderen realen Szenarien funktionieren wird. Sie schlagen vor, dass dies ein neues Werkzeug ist, das während des Trainings eingesetzt werden kann und dann mit anderen „Post-Training“-Korrekturen kombiniert werden kann, um noch bessere Ergebnisse zu erzielen, aber sie haben noch nicht bewiesen, dass es für jede mögliche KI-Architektur funktioniert.

Kurz gesagt: GaugeQuant legt nahe, dass, indem wir eine KI lehren, ihre eigenen Daten aufzuräumen, während sie lernt, wir sie in einen viel kleineren Rucksack packen können, ohne dass der Inhalt herausfällt. Es ist eine spielerische, effiziente Art, mit der chaotischen Realität der Komprimierung riesiger KI-Gehirne umzugehen.