Pretraining large language models with MXFP4
Dit artikel identificeert dat het kwantiseren van gewichtsgradiënten (Wgrad) de primaire oorzaak is van instabiliteit bij full-pipeline FP4-training van grote taalmodellen en toont aan dat deterministische Hadamard-rotaties, in plaats van stochastische afronding, essentieel zijn om convergentiestabiliteit te herstellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een reusachtige, briljante student (een Large Language Model) te leren verhalen schrijven. Meestal geef je om deze student effectief te laten leren notities in hoogwaardige, gedetailleerde inkt (genaamd FP8-precisie). Dit werkt goed, maar de notities zijn zwaar, nemen veel ruimte in de rugzak van de student in beslag en vertragen hoe snel ze ze kunnen lezen.
Onderzoekers wilden zien of ze konden overstappen op ultralichte notities geschreven in slechts 4 bits aan informatie (MXFP4). Deze notities zijn klein en snel, en beloven de student veel sneller te laten leren. Er is echter een addertje onder het gras: toen ze probeerden deze kleine notities te gebruiken voor het hele leerproces, raakte de student vaak in de war, begon ze wilde gissingen te doen en slaagde er niet in iets te leren (de training "divergeerde").
Het artikel vraagt: Waarom gebeurt dit, en hoe lossen we het op?
Het Experiment: Een Drie-Stappen Test
De onderzoekers stelden een gecontroleerd experiment op om precies uit te vinden waar het probleem ligt. Ze splitsten het leerproces op in drie fasen en vervingen langzaam de zware notities door de lichte notities, één fase per keer:
- Forward Pass (Fprop): De student leest de vraag.
- Activation Gradients (Dgrad): De student berekent hoeveel ze de vraag verkeerd hebben begrepen.
- Weight Gradients (Wgrad): De student past hun brein (de "gewichten") aan om de les voor de volgende keer te onthouden.
De Bevindingen:
- Fase 1 & 2: Toen ze lichte notities gebruikten voor het lezen en het opsporen van misverstanden, deed de student het prima. Ze leerde bijna even goed als met de zware notities, hoewel ze een paar extra oefenvragen nodig had.
- Fase 3 (Het Probleem): Het moment dat ze overschakelden op lichte notities voor het bijwerken van het brein (Wgrad), begon de student uit de hand te lopen. De onderzoekers ontdekten dat deze specifieke stap de "zwakke schakel" is. Het is alsof je probeert een complexe wiskundige correctie op een klein, gekreukt stukje papier te schrijven; de details gaan verloren en de student leert de verkeerde les.
De Gefaalde Oplossingen: Het Toevoegen van Willekeur
Toen de student begon te falen, probeerden de onderzoekers een veelgebruikte truc: Stochasticiteit (het toevoegen van willekeur).
- De Analogie: Stel je voor dat de student in de war is, dus zeg je tegen ze: "Raad maar willekeurig!" of "Draai aan een wiel om je antwoord te beslissen."
- Het Resultaat: Dit werkte niet. Sterker nog, het toevoegen van willekeur aan de kleine notities maakte de fouten erger. Het "ruis" van de willekeurige gissingen versterkte de kleine fouten die al in de lichte notities aanwezig waren, waardoor de training volledig crashte.
De Winnende Oplossing: De Deterministische Shuffle
De onderzoekers probeerden toen een andere aanpak: Deterministische Hadamard-rotaties.
- De Analogie: In plaats van willekeurig te raden, stel je je voor dat de student een speciale, stijve liniaal heeft die de kleine notities perfect herschikt voordat ze worden opgeschreven. Deze liniaal voegt geen willekeur toe; het organiseert de informatie gewoon op een specifieke, voorspelbare manier, zodat de kleine notities niet gekreukt raken of verloren gaan.
- Het Resultaat: Dit werkte perfect. Door deze specifieke, voorspelbare "herordening"-methode te gebruiken, kon de student de kleine, snelle notities gebruiken voor het hele proces (lezen, analyseren en bijwerken) zonder in de war te raken.
De Conclusie
Het artikel concludeert met twee belangrijkste bevindingen:
- De Knelpunt: De belangrijkste reden waarom 4-bits training faalt, is niet omdat de notities over het algemeen te klein zijn; het is specifiek omdat de brein-bijwerkstap (Wgrad) te gevoelig is voor de kleine fouten in die notities.
- De Oplossing: Om 4-bits training te laten werken, hoef je geen extra willekeur toe te voegen. Je hebt structuur nodig. Door een specifieke, voorspelbare wiskundige shuffle (Hadamard-rotatie) te gebruiken, kun je het proces stabiliseren.
De Opbrengst:
Toen ze het probleem oplossen met deze "herordening-liniaal", werd het systeem 20% sneller bij elke stap van het leren. Omdat de student stabiel leerde zonder extra oefenvragen nodig te hebben, was het hele proces ongeveer 10% sneller van begin tot eind in vergelijking met de oude methode met zware inkt.
Kortom: Je kunt de supersnelle, kleine notities gebruiken, maar alleen als je ze perfect organiseert voordat je ze opschrijft. Als je gewoon wat willekeur toevoegt, breekt het alles.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.