Stel je voor dat je probeert een enorm verhaal te onthouden om aan een vriend te vertellen. Je hebt een notitieblok waarin je elk belangrijk detail dat je hebt gehoord opschrijft. Hoe groter het verhaal, hoe meer pagina's je nodig hebt. Nu stel je je voor dat je notitieblok bijna vol is en je geen ruimte hebt voor een grotere versie. Om dit op te lossen, besluit je je handschrift te verkleinen. In plaats van volledige, duidelijke letters te schrijven, krabbel je ze op met slechts vier piepkleine symbolen: een stip, een streep, een cirkel en een kruisje. Dit is als het comprimeren van een enorme hoeveelheid informatie in een zeer kleine ruimte.

In de wereld van kunstmatige intelligentie, specifal Large Language Models (LLM's), worden deze notitieblokken "KV-caches" (Key-Value caches) genoemd. Ze slaan de context van een gesprek op, zodat de AI zich kan herinneren wat er eerder is gezegd. Naarmate gesprekken langer worden, worden deze caches enorm groot, wat geheugen opeet en de boel vertraagt. Om dit op te lossen, proberen wetenschappers de data te verkleinen tot slechts 2 bits (door slechts vier niveaus te gebruiken, zoals onze vier symbolen). Maar er is een addertje onder het gras: wanneer je data zo strak samensnoept, worden de "outliers"—de echt belangrijke, ongebruikelijke details—in de verkeerde vorm geperst, en begint de AI fouten te maken. Het is alsof je probeert een enorme, hobbelige aardappel in een pieklein doosje te passen; de aardappel raakt gekneusd, en wanneer je hem eruit haalt, ziet hij er niet meer uit als de aardappel die je erin stopte.

Een tijdje probeerden onderzoekers dit op te lossen door de aardappel te draaien voordat ze hem samenpersten, in de hoop de bulten gelijkmatig te verdelen. Maar ze maten het succes door te kijken hoe goed de aardappel er in de doos uitzag, niet hoe goed de AI de aardappel later kon gebruiken om het verhaal te vertellen. Deze paper introduceert een nieuwe methode genaamd OptR (Output-Aware Rotation) die de regels verandert. In plaats van alleen te proberen de samengeperste data er mooi uit te laten zien, controleert OptR of de AI het verhaal nog steeds kan begrijpen nadat de data is samengeperst en weer uitgepakt. Het blijkt dat door aandacht te besteden aan het eindresultaat, de AI veel nauwkeuriger kan onthouden, zelfs met dat piekleine notitieblok met vier symbolen.

Het Probleem: Het "Samengeperste Aardappel"-effect

Wanneer een AI een lange tekst leest, bouwt het een mentale kaart van de woorden die het heeft gezien. Deze kaart wordt opgeslagen in de KV-cache. Om ruimte te besparen, gebruiken onderzoekers een techniek genaamd kwantisatie om deze kaart te verkleinen. De meest extreme versie is INT2-kwantisatie, die de data reduceert tot slechts vier mogelijke waarden. Het is ongelooflijk efficiënt—het gebruikt slechts 1/8e van het geheugen van standaardformaten—maar het is riskant.

Beschouw de data in de cache als een groep studenten die in een rij staan. De meeste studenten zijn gemiddeld qua lengte, maar een enkeling is een reus. Als je probeert hen allemaal in een kleine kamer te passen (het INT2-bereik), worden de reuzen geplet, en worden de gemiddelde studenten ook geplet omdat de kamer te klein is voor de reuzen. Dit veroorzaakt "kwantisatiefouten", waarbij de AI zowel de reuzen als de gemiddelde studenten verkeerd onthoudt.

Om dit op te lossen, gebruikten eerdere methoden rotatie. Stel je voor dat je de rij studenten zo draait dat de reuzen niet meer rechtop staan, maar zijwaarts leunen. Dit verspreidt hun hoogte over de kamer, waardoor het makkelijker wordt om iedereen te laten passen zonder iemand te pletten. Echter, de paper beargumenteert dat bestaande methoden een fout maakten. Ze draaiden de studenten alleen maar om ze mooi in de kamer te laten passen (het minimaliseren van de fout in de opgeslagen data), maar ze controleerden niet of de studenten nog wel goed konden hardlopen zodra ze de kamer verlieten.

De auteurs wijzen op een mismatch: de rotatie die ervoor zorgt dat de data er het beste uitziet in de doos, is niet noodzakelijkerwijs de rotatie die de AI het beste laat presteren nadat het die data gebruikt. De AI geeft niet om of de data perfect is in de cache; de AI geeft erom of het uiteindelijke antwoord correct is.

De Oplossing: OptR (Output-Aware Rotation)

De paper stelt OptR voor, een methode die de rotatie optimaliseert op basis van de uiteindelijke output van de AI, en niet alleen op basis van de opslag.

Zo werkt OptR, stap voor stap:

1. De Data Centreren (De "Nivellerings"-truc): Voordat de data wordt samengeperst, trekt OptR de gemiddelde waarde af van de keys (de "Key Reparameterization"). Stel je voor dat de reuzen in onze rij eigenlijk op een hoog platform stonden. OptR verlaagt het platform zodat iedereen op hetzelfde grondniveau staat. Dit verandert niets aan wie groot of klein is ten opzichte van elkaar, maar het voorkomt dat de reuzen tegen het plafond van de kleine kamer aanstoten. Cruciaal is dat deze stap "attention-equivalent" is, wat betekent dat het de getallen verandert maar de focus van de aandacht van de AI exact hetzelfde houdt. Het verkleint het bereik van de getallen, waardoor het INT2-samperst proces veel minder pijnlijk wordt.

2. De Perfecte Draai Leren (De "Output-Aware" Stap): In plaats van een vaste draai te gebruiken (zoals een standaard wiskundige rotatie), leert OptR een aangepaste draai voor elke individuele "head" (een specifelijk deel van het brein van de AI) in het model. Dit doet het door het hele proces te simuleren: de data sameperen, de data weer uitpakken, de data door het aandachtmechanisme van de AI halen, en vervolgens projecteren naar het uiteindelijke antwoord.

   • Het kijkt naar de fout in het uiteindelijke antwoord (de "post-WO attention-output error").
   • Het breekt deze fout op in twee delen: fouten veroorzaakt door de keys (die bepalen waar de AI op let) en fouten veroorzaakt door de values (die bepalen welke informatie daadwerkelijk wordt opgehaald).
   • Vervolgens past het de rotatiehoeken licht aan om de fout in het uiteindelijke antwoord te minimaliseren, in plaats van alleen de fout in de opslag.

Denk aan het afstemmen van een radio. Oude methoden probeerden de ruis zo stil mogelijk te maken binnenin de luidsprekerdoos. OptR luistert naar de muziek die uit de luidspreker komt en draait aan de knoppen totdat het liedje perfect klinkt, zelfs als de ruis binnenin de doos niet perfect stil is.

Wat Ze Ontdekten

De onderzoekers testten OptR op drie verschillende AI-modellen (Qwen3-4B, Qwen3-8B en Phi4-14B) en vijf verschillende uitdagende benchmarks, waaronder wiskundige problemen (AIME25), programmeertaken (LiveCodeBench) en retrieval in lange contexten (het vinden van een naald in een hooiberg van 64.000 woorden).

De resultaten waren spectaculair:

• Enorme Winst in Nauwkeurigheid: Op het Qwen3-8B model resulteerde het gebruik van standaard INT2-kwantisatie met de vorige beste methode (QuaRot) in een nauwkeurigheid van slechts 17,33% op een moeilijke wiskundetoets. Wanneer ze OptR toevoegden, schoot de nauwkeurigheid omhoog naar 66,67%. Dat is bijna een verviervoudige verbetering.
• De Baseline Verslaan: Zelfs vergeleken met de state-of-the-art methode (OSCAR), die al erg goed was, duwde OptR de nauwkeurigheid van 54,67% naar 66,00%.
• Superkracht voor Lange Context: De meest indrukwekkende bevinding was bij taken met een lange context. Naarmate het verhaal langer werd (tot 64.000 tokens), faalden standaard INT2-methoden hopeloos en daalde de nauwkeurigheid naar bijna nul. OptR hield de retrieval-nauwkeurigheid hoog, met een daling van slechts 99,83% (bij 4k tokens) naar 70,02% (bij 64k tokens), terwijl de standaardmethode instortte naar 0,04%.
• Geen Snelheidsverlies: De auteurs bevestigden dat deze magie geen zware prijs heeft. Ze integreerden OptR in het systeem en ontdekten dat het verwaarloosbare overhead toevoegde. De snelheid van de AI (latency) en de hoeveelheid data die het kon verwerken (throughput) bleven vrijwel identiek aan de standaardmethoden. Het is alsof je een supercharged motor krijgt zonder extra gewicht aan de auto toe te voegen.

Waarom Dit Belangrijk Is

De paper suggereert dat voor ultra-lage bit kwantisatie (zoals INT2) niet alleen naar de data in isolatie gekeken kan worden. We moeten kijken naar hoe die data door het hele systeem stroomt naar het uiteindelijke antwoord. Door te optimaliseren voor de output in plaats van de opslag, overbrugt OptR de kloof tussen extreme compressie en hoge prestaties.

De auteurs benadrukken dat dit niet alleen een theoretische overwinning is, maar ook een praktische. Het stelt AI-modellen in staat om veel langere gesprekken en grotere batches gebruikers aan te kunnen zonder dat het geheugen opraakt, terwijl het model slim genoeg blijft om moeilijke wiskundeproblemen op te lossen en code te schrijven. Ze suggereerden niet alleen dat dit zou kunnen werken; ze maten het over meerdere modellen en vonden consistente, significante verbeteringen, waarmee bewezen werd dat "output-aware" optimalisatie de sleutel is tot het ontsluiten van het volledige potentieel van 2-bit AI.