Stellen Sie sich vor, Sie versuchen, sich eine riesige Geschichte zu merken, um sie einem Freund zu erzählen. Sie haben ein Notizbuch, in dem Sie jedes wichtige Detail aufschreiben, das Sie bisher gehört haben. Je größer die Geschichte, desto mehr Seiten benötigen Sie. Nun stellen Sie sich vor, Ihr Notizbuch geht zur Neige und Sie können es sich nicht leisten, ein größeres zu kaufen. Um dieses Problem zu lösen, beschließen Sie, Ihre Handschrift zu verkleinern. Anstatt ganze, klare Buchstaben zu schreiben, kritzeln Sie sie mit nur vier winzigen Symbolen hinunter: einen Punkt, einen Strich, einen Kreis und ein Kreuz. Das ist wie das Komprimieren einer riesigen Menge an Informationen auf einen sehr kleinen Raum.

In der Welt der künstlichen Intelligenz, speziell der Large Language Models (LLMs), werden diese Notizbücher als „KV-Caches“ (Key-Value-Caches) bezeichnet. Sie speichern den Kontext eines Gesprächs, damit die KI sich an das erinnern kann, was zuvor gesagt wurde. Wenn die Gespräche länger werden, werden diese Caches riesig und verbrauchen viel Speicherplatz sowie Rechenleistung. Um dies zu beheben, versuchen Wissenschaftler, die Daten auf nur 2 Bit zu schrumpfen (unter Verwendung von nur vier Ebenen, wie unsere vier Symbole). Aber hier ist der Haken: Wenn Sie die Daten so eng zusammenquetschen, werden die „Ausreißer“ – die wirklich wichtigen, ungewöhnlichen Details – in die falsche Form gepresst, und die KI beginnt Fehler zu machen. Es ist, als würde man versuchen, eine riesige, klumpige Kartoffel in eine winzige Schachtel zu passen; die Kartoffel wird zerquetscht, und wenn man sie herausnimmt, sieht sie nicht mehr aus wie die Kartoffel, die man hineingelegt hat.

Eine Zeit lang versuchten Forscher, dies zu beheben, indem sie die Kartoffel vor dem Quetschen rotierten, in der Hoffnung, die Klumpen gleichmäßig zu verteilen. Aber sie maßen den Erfolg daran, wie gut die Kartoffel innerhalb der Schachtel aussah, nicht daran, wie gut die KI sie später nutzen konnte, um die Geschichte zu erzählen. Dieses Paper stellt eine neue Methode namens OptR (Output-Aware Rotation) vor, die das Spiel verändert. Anstatt nur zu versuchen, die Daten im Inneren der Box gut aussehen zu lassen, prüft OptR, ob die KI die Geschichte noch immer verstehen kann, nachdem die Daten geschrumpft und wieder entpackt wurden. Es stellt sich heraus, dass die KI durch die Beachtung des Endergebnisses viel genauer erinnern kann, selbst mit diesem winzigen, vier-symboligen Notizbuch.

Das Problem: Der „zerquetschte Kartoffel“-Effekt

Wenn eine KI einen langen Text liest, erstellt sie eine mentale Landkarte der Wörter, die sie gesehen hat. Diese Landkarte wird im KV-Cache gespeichert. Um Platz zu sparen, nutzen Forscher eine Technik namens Quantisierung, um diese Landkarte zu schrumpfen. Die extremste Version ist die INT2-Quantisierung, die die Daten auf nur vier mögliche Werte reduziert. Sie ist unglaublich effizient – sie nutzt nur 1/8 des Speichers von Standardformaten – aber sie ist riskant.

Stellen Sie sich die Daten im Cache wie eine Gruppe von Schülern vor, die in einer Schlange stehen. Die meisten Schüler sind durchschnittlich groß, aber einige wenige sind Riesen. Wenn Sie versuchen, sie alle in einen kleinen Raum (den INT2-Bereich) zu passen, werden die Riesen zerquetscht, und auch die durchschnittlichen Schüler werden zusammengedrückt, weil der Raum zu klein für die Riesen ist. Dies verursacht einen „Quantisierungsfehler“, bei dem die KI sowohl die Riesen als auch die durchschnittlichen Schüler falsch erinnert.

Um dies zu beheben, nutzten frühere Methoden eine Rotation. Stellen Sie sich vor, Sie drehen die Schlange der Schüler so, dass die Riesen nicht mehr aufrecht stehen, sondern seitlich lehnen. Dies verteilt ihre Höhe über den Raum, was es einfacher macht, alle unterzubringen, ohne jemanden zu zerquetschen. Das Paper argumentiert jedoch, dass bestehende Methoden einen Fehler machten. Sie drehten die Schüler nur deshalb, damit sie gut in den Raum passten (Minimierung des Fehlers der gespeicherten Daten), aber sie prüften nicht, ob die Schüler nach dem Verlassen des Raums noch korrekt einen Wettlauf laufen konnten.

Die Autoren weisen auf eine Diskrepanz hin: Die Rotation, die die Daten innerhalb der Box am besten aussehen lässt, ist nicht unbedingt die Rotation, die der KI am besten hilft, nach der Nutzung dieser Daten zu performen. Die KI kümmert sich nicht darum, ob die Daten im Cache perfekt aussehen; sie kümmert sich nur darum, ob die endgültige Antwort korrekt ist.

Die Lösung: OptR (Output-Aware Rotation)

Das Paper schlägt OptR vor, eine Methode, die die Rotation basierend auf dem Endausgang der KI optimiert, nicht nur auf die Speicherung.

So funktioniert OptR Schritt für Schritt:

1. Zentrierung der Daten (Der „Leveling“-Trick): Bevor die Daten geschrumpft werden, subtrahiert OptR den Durchschnittswert von den Keys (die „Key-Reparametrisierung“). Stellen Sie sich vor, die Riesen in unserer Schlange stünden eigentlich auf einer hohen Plattform. OptR senkt die Plattform ab, sodass alle auf demselben Bodenniveau stehen. Dies ändert nichts daran, wer im Verhältnis zueinander groß oder klein ist, aber es verhindert, dass die Riesen gegen die Decke des kleinen Raums stoßen. Entscheidend ist, dass dieser Schritt „attention-äquivalent“ ist, was bedeutet, dass er die Zahlen zwar ändert, aber den Fokus der Aufmerksamkeit der KI exakt gleich lässt. Er verengt den Zahlenbereich, was das INT2-Schrumpfen viel weniger schmerzhaft macht.

2. Das perfekte Drehen lernen (Der „Output-Aware“-Schritt): Anstatt eine feste Drehung zu verwenden (wie eine Standard-mathematische Rotation), lernt OptR eine maßgeschneiderte Drehung für jeden einzelnen „Head“ (einen spezifischen Teil des KI-Gehirns) im Modell. Dies geschieht durch die Simulation des gesamten Prozesses: das Schrumpfen der Daten, das Entpacken der Daten, das Durchlaufen des Attention-Mechanismus der KI und schließlich die Projektion auf die endgültige Antwort.

   • Es betrachtet den Fehler in der endgültigen Antwort (den „post-WO attention-output error“).
   • Es bricht diesen Fehler in zwei Teile auf: Fehler, die durch die Keys verursacht werden (welche bestimmen, worauf die KI achtet), und Fehler, die durch die Values verursacht werden (welche bestimmen, welche Informationen tatsächlich abgerufen werden).
   • Anschließend passt es die Rotationswinkel leicht an, um den Fehler in der endgülten Antwort zu minimieren, nicht nur den Fehler in der Speicherung.

Man kann es sich wie das Einstellen eines Radios vorstellen. Alte Methoden versuchten, das Rauschen so leise wie möglich innerhalb des Lautsprechergehäuses zu machen. OptR hört sich die Musik an, die aus dem Lautsprecher kommt, und dreht an den Knöpfen, bis das Lied perfekt klingt, selbst wenn das Rauschen innerhalb des Gehäuses nicht perfekt lautlos ist.

Was sie herausgefunden haben

Die Forscher testeten OptR auf drei verschiedenen KI-Modellen (Qwen3-4B, Qwen3-8B und Phi4-14B) und fünf verschiedenen anspruchsvollen Benchmarks, darunter mathematische Probleme (AIME25), Programmieraufgaben (LiveCodeBench) und Long-Context-Retrieval (das Finden einer Nadel im Heuhaufen von 64.000 Wörtern).

Die Ergebnisse waren beeindruckend:

• Massive Genauigkeitsgewinne: Bei Verwendung des Qwen3-8B Modells führte die Standard-INT2-Quantisierung mit der bisher besten Methode (QuaRot) zu einer Genauigkeit von nur 17,33 % bei einem schwierigen Mathetest. Als sie OptR hinzufügten, schoss die Genauigkeit auf 66,67 % empor. Das ist fast eine Vervierfachung der Verbesserung.
• Den Baseline-Wert schlagen: Selbst im Vergleich zur State-of-the-Art-Methode (OSCAR), die bereits sehr gut war, steigerte OptR die Genauigkeit von 54,67 % auf 66,00 %.
• Long-Context-Superkraft: Die beeindruckendste Erkenntnis war bei den Long-Context-Aufgaben. Wenn die Geschichte länger wurde (bis zu 64.000 Token), versagten Standard-INT2-Methoden kläglich und fielen auf nahezu Null Genauigkeit ab. OptR hielt die Retrieval-Genauigkeit hoch und sank nur leicht von 99,83 % (bei 4k Tokens) auf 70,02 % (bei 64k Tokens), während die Standardmethode auf 0,04 % abstürzte.
• Keine Geschwindigkeits-Einbußen: Die Autoren bestätigten, dass dieser Zauber keinen hohen Preis hat. Sie integrierten OptR in das System und stellten fest, dass es vernachlässigbare Overheads verursacht. Die Geschwindigkeit der KI (Latenz) und die Menge der Daten, die sie verarbeiten kann (Durchsatz), blieben fast identisch mit den Standardmethoden. Es ist, als bekäme man einen Supermotor, ohne das zusätzliche Gewicht für das Auto zu erhöhen.

Warum das wichtig ist

Das Paper legt nahe, dass für ultra-niedrig-bit Quantisierung (wie INT2) nicht nur die Daten isoliert betrachtet werden dürfen. Wir müssen sehen, wie diese Daten durch das gesamte System bis zur endgültigen Antwort fließen. Indem wir auf den Output statt auf die Speicherung optimieren, schließt OptR die Lücke zwischen extremer Kompression und hoher Performance.

Die Autoren betonen, dass dies kein rein theoretischer Sieg ist, sondern ein praktischer. Es ermöglicht KI-Modellen, viel längere Gespräche und größere Nutzergruppen zu handhaben, ohne dass der Speicher ausgeht, und behält dabei die Intelligenz bei, um komplexe Matheprobleme zu lösen oder Code zu schreiben. Sie haben nicht nur vermutet, dass dies funktionieren könnte; sie haben es über verschiedene Modelle gemessen und konsistente, signifikante Verbesserungen gefunden, was beweist, dass die „output-aware“ Optimierung der Schlüssel zur Entfaltung des vollen Potenzials von 2-Bit-KI ist.