Stel je de wereld van kunstmatige intelligentie voor als een enorme, bruisende bibliotheek waar reusachtige robots (Large Language Models genoemd) proberen te leren lezen, schrijven en redeneren. Om dit te doen, moeten ze bergen informatie verwerken, wat een enorme hoeveelheid energie en geheugen vereist. Het is alsof je probeert een supercomputer te laten draaien op een enkele AA-batterij; dat werkt gewoon niet goed. Wetenschappers proberen deze robots efficiënter te maken door ze te leren denken met "eenvoudigere" getallen. In plaats van complexe, hoog-precieze decimalen te gebruiken (zoals een afstand meten tot op de miljoenste millimeter), proberen ze het met ruvere 4-bit getallen (zoals meten in hele inches). Dit bespaart een enorme hoeveelheid ruimte en energie. Maar er is een addertje onder het gras: wanneer de robots proberen te leren met deze ruwe getallen, raken ze vaak in de war, maken ze fouten en stoppen ze volledig met leren. Het is alsof je een doolhof probeert te navigeren met een kaart waarvan de regels constant veranderen.

De paper die je nu gaat lezen, pakt deze specifieke verwarring aan. De vraag is: waarom crasht het wanneer je deze AI-robots leert met ultra-eenvoudige getallen? De auteurs ontdekten dat het probleem niet alleen de eenvoud van de getallen is; het is de manier waarop de robots deze getallen organiseren die verandert wanneer ze overschakelen van "voorwaarts leren" (een zin lezen) naar "achterwaarts leren" (hun fouten controleren). Het is alsof de robot een boek van links naar rechts leest, maar wanneer hij zijn aantekeningen controleert, plotseling van rechts naar links leest, waardoor de paginanummers door elkaar worden gehusseld en de draad kwijt is. De paper stelt een slimme oplossing voor: een nieuwe manier om de getallen te organiseren zodat de regels hetzelfde blijven, ongeacht de richting waarin de robot kijkt. Dit stelt de robots in staat om stabiel te leren, zelfs met de eenvoudigste getallen, waardoor ze sneller en goedkoper te trainen zijn zonder hun intelligentie te verliezen.

---

De Grote Getallen Shuffle: Het repareren van de AI-geheugenfout

Dus, je wilt een superintelligente AI bouwen, maar je computer raakt door stroom en geheugen heen. De gebruikelijke truc is om de AI te vertellen om "low-precision" wiskunde te gebruiken. Denk er zo over: normaal gesproken meet de AI dingen met een super-precieze liniaal die piepkleine markeringen heeft (zoals BF16 of FP8). Maar om ruimte te besparen, willen we dat de AI een liniaal gebruikt met slechts vier grote, grove markeringen (FP4). Dat is veel sneller en neemt minder ruimte in beslag. Maar hier is het probleem: wanneer de AI probeert te leren met deze grove markeringen, valt het vaak uit elkaar. De AI begint wilde gokken te doen en de training crasht.

Lama een tijdje dachten wetenschappers dat het probleem simpelweg was dat de grove markeringen niet gedetailleerd genoeg waren. Ze probeerden het op te lossen door getallen te groeperen en elke groep een gedeelde "schaal" te geven (een manier om de getallen te rekken of te krimpen). Dit werkte redelijk, maar de nieuwe paper van Mehdi Rahimifar en zijn team zegt: "Wacht eens even! We hebben de echte boosdoener gevonden."

De boosdoener is een sluipend klein foutje genaamd transpositie.

Het "Links-naar-Rechts vs. Rechts-naar-Links" Probleem

Stel je voor dat je een raster van plaknotities hebt op een muur, gerangschikt in rijen. Je schrijft een getal op elke notitie en zet een label op de hele rij om aan te geven hoe groot de getallen zijn. Dit is hoe de AI zijn gegevens gewoonlijk organiseert.

Stel je nu voor dat de AI aan het leren is. Eerst leest hij de notities van links naar rechts (de "forward pass"). Hij ziet de getallen en de labels, en hij leert. Maar dan, om zijn werk te controleren en fouten te herstellen, moet hij het raster omdraaien (dit wordt in de wiskunde "transpositie" genoemd). Plotseling worden de rijen kolommen.

Hier ontstaat de ramp: In de oude methode (genaamd 1D block quantization), wanneer het raster wordt omgedraaid, worden de plaknotities in nieuwe groepen gehusseld. Een notitie die in "Groep A" zat met een specifiek label, zit nu in "Groep B" met een totaal ander label. De AI denkt: "Wacht, ik dacht dat dit getal klein was, maar nu zegt het label dat het enorm is!" Deze mismatch tussen wat de AI zag tijdens het leren en wat hij ziet tijdens het controleren, creëert een verwarrend, bevooroordeeld signaal. Het is also als een recept volgen waarbij de ingrediëntenlijst elke keer verandert als je de pagina omdraait. Het resultaat? De AI wordt duizelig, de training wordt instabiel en het slaagt er niet in om te leren.

De 2D Vierkante Oplossing

De auteurs van deze paper hadden een briljant idee: Laat de groepen niet veranderen wanneer je het raster omdraait.

Ze stelden het gebruik van 2D vierkante blokken voor. Stel je voor dat je, in plaats van lange rijen plaknotities, ze in perfecte vierkantjes arrangeert (zoals een 32x32 dambord). Wanneer je een vierkant raster omdraait, blijven de vierkanten vierkanten. De plaknotities die in het linksboven vierkant zaten, zitten nog steeds in een vierkant dat overeenkomt met dezelfde groep, alleen dan gespiegeld. Het label (de schaal) blijft exact hetzelfde voor die getallen, of de AI nu voorwaarts of achterwaarts kijkt.

Door deze transpositie-invariante regel af te dwingen, raakt de AI niet meer in de war. De getallen die hij ziet tijdens het leren, zijn dezelfde getallen die hij ziet tijdens het corrigeren. Deze eenvoudige verandering lost de "duizeligheid" op en stelt de AI in staat om stabiel te trainen met de ultra-eenvoudige FP4-getallen.

Het Veiligheidsnet: Geen Afkapping en Willekeurig Gokken

Maar wacht, er is meer! Alleen het oplossen van de groepen was niet genoeg. Omdat FP4-getallen zo eenvoudig zijn, kunnen ze gemakkelijk te groot worden (overflow) of op een manier worden afgerond die een bias introduceert (bijvoorbeeld altijd naar boven afronden).

Om dit op te lossen, voegde het team twee veiligheidsfuncties toe:

1. Truncation-Free Scaling (Afkappingsvrije Schaling): In plaats van getallen die te groot zijn af te knippen (wat de data vervormt), passen ze de "liniaal" zelf aan, zodat elk getal comfortabel binnen het bereik past. Het is alsof je de liniaal uitrekt zodat de langste persoon in de kamer nog steeds past zonder dat zijn hoofd wordt afgehakt.
2. Stochastic Rounding (Stochastisch Afronden): Wanneer een getal tussen twee markeringen op de liniaal in valt, in plaats van altijd naar de dichtstbijzijnde te ronden (wat een bias creëert), gooit de AI een muntje. Soms rondt hij naar boven, soms naar beneden. Na verloop van tijd blijft het gemiddelde perfect nauwkeurig. Het is als een eerlijk spel waarbij het huis niet vals speelt.

De "Speciale Saus" voor Attention

Er is één lastig onderdeel van het AI-brein genaamd "Attention", waarbij het model bepaalt welke woorden in een zin belangrijk zijn. Dit deel is supergevoelig. Als je hier de eenvoudige FP4-getallen gebruikt, raakt de AI in de war.

Daarom kwamen de auteurs met een mixed-precision strategie. Ze gebruiken de super-efficiënte FP4-getallen voor het zware werk (de hoofd wiskunde), maar ze gebruiken een iets preciezer formaat (MXFP8) voor het "Attention"-gedeelte. Het is alsof je een ruwe, snelle schep gebruikt om een groot gat te graven, maar overschakelt naar een precieze troffel voor het delicate bloemperk in het midden. Dit houdt het hele systeem snel en efficiënt terwijl de meest gevoelige onderdelen beschermd worden.

Werkt het echt?

Het team testte dit idee op enkele zeer grote AI-modellen, inclusief modellen met tot wel 30 miljard parameters (dat zijn veel hersencellen!). Ze trainden ze op tot wel 100 miljard tokens (woorden en symbolen).

De resultaten waren indrukwekkend:

• Stabiliteit: De modellen trainden vloeiend van begin tot eind. De oude methoden die deze 2D-vierkante truc niet gebruikten, crashten vroegtijdig.
• Prestaties: De AI-modellen die met deze nieuwe methode getraind zijn, presteerden bijna exact hetzelfde als modellen die getraind zijn met de trage, zware, hoog-precieze getallen. Het verschil in kwaliteit was minimaal — minder dan 1,3% in sommige tests.
• Efficiëntie: Ze bespaarden een enorme hoeveelheid geheugen (ongeveer 65% minder) en zouden theoretisch 3,5 keer sneller kunnen draaien op toekomstige hardware die hiervoor ontworpen is.

De Kern van het Verhaal

Deze paper suggereert dat de grootste hindernis om AI-training super-efficiënt te maken niet alleen gaat over het gebruiken van kleinere getallen; het gaat erom dat je ervoor zorgt dat die getallen consistent gedragen, ongeacht hoe de AI ernaar kijkt. Door over te stappen van rommelige, verschuivende rijen naar nette, stabiele vierkanten, hebben de auteurs een manier gevonden om AI-training zowel razendsnel als robuust te maken.

Natuurlijk zijn er nog hindernissen. Het team moest dit simuleren op huidige computers omdat de speciale chips die deze wiskunde direct kunnen uitvoeren nog niet breed beschikbaar zijn. Maar de wiskunde klopt, en de weg vooruit is duidelijk: als we willen dat AI sneller en goedkoper wordt, moeten we stoppen met de getallen shuffle en de regels consistent houden.