Technische Samenvatting: Is Fijn Beter? De Limieten van Microscaling Formaten in Large Language Models

Probleemstelling

Naarmate Large Language Models (LLMs) toenemen in omvang en context, wordt het reduceren van numerieke precisie essentieel voor efficiënte training en inferentie. Hoewel hardwareleveranciers zijn verschoven van FP16 naar FP8 en nu naar FP4, veroorzaakt het verlagen van de precisie onder de 8 bits vaak substantiële nauwkeurigheidsafname, met name wanneer zowel gewichten als activaties worden gekwantiseerd.

Microscaling formaten (bijv. MXFP4, NVFP4) pakken dit aan door tensoren op te delen in kleine blokken waarbij elementen een enkele schalingsfactor delen. Dit maakt agressieve compressie mogelijk terwijl de nauwkeurigheid behouden blijft door middel van fijnere controle dan per-tensor of per-kanaal kwantisatie. De industrie beweegt echter in de richting van steeds kleinere blokgroottes om kwantiseringsfouten te minimaliseren.

Dit paper identificeert een contra-intuïtief fenomeen: het verlagen van de blokgrootte onder een bepaalde drempelwaarde kan paradoxaal genoeg de kwantiseringsfout verhogen en de modelprestaties (perplexity) verslechteren. Deze "perplexity inversie" spreekt de standaardverwachting tegen dat kleinere blokken leiden tot een betere tensorrepresentatie. De auteurs onderzoeken waarom dit gebeurt, specifiek bij het gebruik van FP8 unsigned E4M3-schalen, en stellen een hardware-vriendelijke oplossing voor.

Methodologie

De auteurs hanteren een tweeledige aanpak die experimentele analyse van vooraf getrainde modellen combineert met een rigoureus theoretisch kader.

1. Experimentele Analyse

• Monitoring van de Perplexity Gap: De auteurs maten de perplexity gap tussen FP4 microscaling-modellen en hun 16-bit baselines over verschillende blokgroottes (van 256 tot 8) voor meerdere modellen (bijv. Granite-3.3-8b, Llama-3.1-8b, Mixtral-8x7b).
• Foutdecompositie: Ze analyseerden de Mean Squared Error (MSE) op een per-blok en per-tensor basis. Door blokgroottes te vergelijken (bijv. 8 vs. 16), isoleerden ze gevallen waarin kleinere blokken resulteerden in een hogere MSE.
• Distributiecorrelatie: De studie correleerde MSE met de standaarddeviatie ($\sigma$) van gewichtsdistributies. Ze observeerden dat modellen met smalle gewichtsdistributies (lage $\sigma$) gevoeliger waren voor foutinversie bij het gebruik van UE4M3-schalen.

2. Theoretisch Kader

Om de anomalie te verklaren, hebben de auteurs een theoretisch model afgeleid voor de MSE van microscaling-kwantisatie:

• Ideale Distributies: Ze valideerden dat vooraf getrainde modelgewichten nauw de Normal distributie volgen ($\mu=0$, variabele $\sigma$).
• Foutbronnen: Het framework ontkoppelt de totale MSE in drie afzonderlijke bijdragen:
  1. Niet-maximale elementen: Fout door het kwantiseren van elementen $x_i \neq x_{max}$.
  2. Maximaal element: Fout door het kwantiseren van het blokmaximum $x_{max}$ zelf (wat niet nul is wanneer schalen worden gekwantiseerd).
  3. Zero-rounding: Fout die optreedt wanneer het blokmaximum onder de minimaal representeerbare schaalwaarde valt, waardoor alle elementen in het blok naar nul worden afgerond.
• Impact van Schalingskwantisatie: De theorie toont aan dat voor smalle distributies (kleine $\sigma$), de foutbijdrage van de kwantisatie van de schalingsfactor (specifiek het onvermogen om zeer kleine niet-nul schalen accuraat weer te geven) de totale fout domineert. Naarmate de blokgrootte afneemt, neemt de waarschijnlijkheid van het tegenkomen van deze smalle blokken toe, en faalt het beperkte dynamische bereik van UE4M3-schalen (minimale niet-nul waarde $2^{-9}$) om deze accuraat weer te geven, wat leidt tot de geobserveerde foutinversie.

Belangrijkste Bijdragen

1. Ontdekking van Perplexity Inversie: Het paper identificeert en karakteriseert een specifieke anomalie waarbij het verlagen van de blokgrootte in FP4 microscaling-formaten (met FP8 UE4M3-schalen) de kwantiseringsfout verhoogt voor modellen met smalle gewichtsdistributies.
2. Theoretisch Kader: De auteurs bieden een wiskundig framework gebaseerd op eerste principes dat bronnen van kwantiseringsfouten ontkoppelt. Dit framework voorspelt accuraat het kruispunt waar kleinere blokgroottes nadelig worden, en vertoont een opmerkelijke overeenkomst met experimentele gegevens van zowel ideale Normale distributies als echte vooraf getrainde modellen.
3. Hardware-vriendelijke Oplossing (UE5M3): Gebaseerd op het inzicht dat het beperkte dynamische bereik van de schalen de kernoorzaak is, stellen de auteurs het gebruik van FP8 unsigned E5M3 (UE5M3) voor voor de schalingsfactoren.
   • UE5M3 hergebruikt het ongebruikte tekenbit van het standaard UE4M3-formaat om het exponentbereik uit te breiden.
   • Dit verlaagt de minimale niet-nul representeerbare schaal van $2^{-9}$ (UE4M3) naar $2^{-17}$ (UE5M3), waardoor nauwkeurige representatie van smalle blokken mogelijk is zonder globale per-tensor schaling te vereisen.
   • De auteurs demonstreren dat deze modificatie verwaarloosbare hardwarewijzigingen vereist, aangezien het gebruik maakt van bestaande logica voor E5M2 en E4M3 formaten.

Resultaten

• Experimentele Validatie: De theoretische curves voor MSE vs. $\sigma$ kwamen met hoge precisie overeen met de experimentele gegevens ($\chi^2 \approx 4 \cdot 10^{-8}$). Het model voorspelde correct dat modellen zoals Granite-3.3-8b (smalle distributie) last zouden hebben van inversie bij blokgrootte 16, terwijl Llama-2-7b (bredere distributie) dat niet zou hebben.
• Prestaties van UE5M3:
  • Het toepassen van UE5M3-schalen op FP4 microscaling elimineerde de perplexity inversie die werd waargenomen met UE4M3.
  • Nauwkeurigheid: Op een reeks benchmarks (Wiki, PIQA, HellaSwag, Winogrande, GSM8K, MMLU) behaalde UE5M3 een prestatie die vergelijkbaar is met of beter is dan het conventionele UE4M3-formaat met per-tensor schaling (UE4M3-S).
  • Efficiëntie: In tegen tegenstelling tot UE4M3-S, dat dynamische per-tensor schaling vereist (wat de computationele kosten verhoogt of pre-kalibratie vereist), werkt UE5M3 zonder globale schalingsoperaties, waardoor de hardware-efficiëntie behouden blijft.
  • Robuustheid: De oplossing bleef standhouden over verschillende architecturen, inclus_ van attention-gebaseerde LLM's, State-Space Modellen (SSM) en hybride modellen.

Betekenis en Claims

Het paper claimt dat de "fijn is beter"-aanname in microscaling een fundamentele limiet heeft, gedreven door de interactie tussen smalle tensordistributies en het beperkte dynamische bereik van gekwantiseerde schalen.

• Cruciale Inzicht: De anomalie is geen fout in het microscaling-concept zelf, maar een specifieke beperking van de huidige standaard (UE4M3-schalen) wanneer deze wordt toegepast op bepaalde datadistributies.
• Praktische Impact: Het voorgestelde UE5M3-formaat biedt een pad om het volledige potentieel van sub-8-bit precisie (specifiek FP4) te ontsluiten zonder de nauwkeurigheidsverliezen die geassocieerd worden met kleinere blokgroottes.
• Hardware Haalbaarheid: De auteurs benadrukken dat hun oplossing "hardware-vriendelijk" is, waarbij slechts minimale wijzigingen nodig zijn aan bestaande AI-acceleratorontwerpen (het uitbreiden van de exponentlogica met één bit) in plaats van een volledige architecturale herziening.

Het werk dient als een gids voor hardwareleveranciers en modelontwikkelaars om nauwkeurigheidsvalkuilen in eerstvolgende generaties kwantiseringsformaten te vermijden en biedt een theoretisch instrument voor het analyseren van de impact van het verder verlagen van de precisie (bijv. naar sub-4-bit elementen of sub-8-bit schalen).