🤖 machine learning

FPTQuant: Function-Preserving Transforms for LLM Quantization

FPTQuant introduceert lichtgewicht, functie-behoudende transformaties die activatiedistributies hervormen om efficiënte statische INT4-kwantisatie van grote taalmodellen mogelijk te maken, waarbij een state-of-the-art versnelling van tot wel 3,9X wordt bereikt met minimale nauwkeurigheidsafname en zonder overhead voor aangepaste kernels.

Oorspronkelijke auteurs: Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, hoogwaardige bibliotheek. Om deze bibliotheek nuttig te maken, moet je boeken (tekst genereren) snel kunnen lezen. Echter, de boeken zijn geschreven in een zeer complexe, hoogprecisie taal (floating-point getallen) die veel ruimte inneemt en veel energie vereist om te verwerken.

Het Probleen: Het "Outlier" Boek
Om ruimte en energie te besparen, wil je deze boeken vertalen naar een simpelere, kortere taal (kwantisatie, zoals het gebruik van alleen 4-bit integers). Dit is alsof je een roman van 500 pagina's samenvat tot een pamflet van 10 pagina's. Meestal werkt dit geweldig.

Maar LLM's hebben een vreemd probleem: een paar specifieke woorden of getallen zijn enorme uitschieters (outliers). Stel je een bibliotheek voor waar 99% van de boeken dunne pamfletten zijn, maar één enkel boek een encyclopedie van 10.000 pagina's is. Als je probeert alles samen te vatten in een klein pamflet van 10 pagina's, heb je twee slechte keuzes:

Vergroot de omvang van het pamflet om de encyclopedie te laten passen, maar dan worden de overige 99% van de dunne pamfletten wazig en verliezen ze hun details.
Houd het pamflet klein en gooi de encyclopedie gewoon weg (clipping van de outliers), maar dan verlies je cruciale informatie.

Deze "range vs. precision" afweging ruïneert meestal de intelligentie van het model.

De Oplossing: FPTQuant (De "Magische Vertaler")
Het paper introduceert FPTQuant, een nieuwe methode die werkt als een slimme vertaler voordat je de boeken probeert samen te vatten. In plaats van te proberen de bibliotheek in een klein pamflet te persen, herstructureert FPTQuant de boeken zodat ze allemaal ongeveer even groot zijn voordat de samenvatting plaatsvindt.

Dit doet het met drie "Function-Preserving Transforms" (FPT's). Zie dit als magische trucs die de vorm van de data veranderen zonder het verhaal dat het vertelt te veranderen.

De Drie Magische Trucs

1. De "Pre-RoPE" Shuffle (Voor Queries en Keys)

De Metafoor: Stel je voor dat de bibliotheek een speciaal indexeringssysteem gebruikt (RoPE) om boeken te vinden op basis van hun positie. Je kunt de boeken niet zomaar willekeurig door elkaar husselen, want dan gaat de index kapot.
De Truc: FPTQuant voert een zeer specifieke, wiskundig perfecte shuffle uit voordat de indexering plaatsvindt. Het roteert en schaalt de "Query" en "Key" boeken op een manier die ervoor zorgt dat het resultaat, wanneer de index later wordt toegepast, exact hetzelfde is als wanneer je niet had gehusseld.
Het Voordeel: Dit vlakt de enorme, encyclopedie-grote uitschieters in de zoekdata af, waardoor ze gemakkelijk samen te vatten zijn zonder detailverlies.

2. De "Value" Reshuffle (Voor Values)

De Metafoor: Zodra de bibliotheek de juiste boeken heeft gevonden, haalt het de werkelijke inhoud (de "Values") eruit.
De Truc: Het paper realiseert zich dat de inhoud van deze boeken kan worden herschikt (geroteerd en geschaald) op een manier die volledig onafhankelijk is van de zoekindex. Het past een unieke reshuffle toe op elke "head" (een specifiek gedeelte van de bibliotheek).
Het Voordeel: Dit vlakt de wilde pieken in de inhoudsdata af, waardoor deze uniform en gemakkelijk te comprimeren is.

3. De "Dynamic Token" Scale (Voor Residuals)

De Metafoor: Terwijl je door de bibliotheek leest, houd je een lopende aantekening bij (de "residual") van wat je tot nu toe hebt geleerd. Soms wordt deze aantekening voor een specifieke zin enorm groot en onhandelbaar.
De Truc: FPTQuant voegt een kleine, dynamische "volumeknop" toe aan elke zin terwijl deze passeert. Als de aantekening van een zin te hard is (een outlier), draait de knop het volume omlaag. Als het zacht is, draait het volume omhoog. Cruciaal is dat het de volgende stap aanpast om de volume aan te passen, zodat het uiteindelijke verhaal ongewijzigd blijft.
Het Voordeel: Dit voorkomt dat een enkele zin de samenvatting domineert, waardoor de hele tekst in balans blijft en kwantisatie-vriendelijk is.

Waarom Dit Ertoe Doet (De Resultaten)

Het paper beweert dat ze door deze drie trucs te gebruiken, het model kunnen comprimeren naar INT4 (zeer kleine omvang) zonder dat daar aangepaste, dure computerchips voor nodig zijn of dat het de snelheid vertraagt.

Snelheid: Het is tot wel 3,9 keer sneller dan de originele, ongecomprimeerde versie.
Nauwkeurigheid: Het presteert net zo goed als, of zelfs beter dan, eerdere methoden die veel langzamer waren.
Geen Overhead: Omdat deze "magische trucs" ontworig zijn om direct in de bestaande gewichten van het model te worden samengevoegd, voegen ze geen extra stappen toe tijdens het eigenlijke leesproces. Het is alsof je de boeken in het magazijn herordent zodat ze perfect in de vrachtwagen passen, in plaats van een nieuwe stap toe te voegen om ze te laden.

Samenvattend:
FPTQuant is een slimme voorverwerkingsstap die de "vreemde, enorme getallen" in AI-modellen gladstrijkt. Door dit te doen, stelt het de modellen in staat om te krimpen tot minuscule, energiezuinige formaten zonder hun vermogen om helder na te denken of te spreken te verliezen. Het is alsof je een chaotische bibliotheek organiseert zodat een kleine, efficiënte robot de boeken net zo goed kan lezen als een menselijke bibliothecaris.

Technische Samenvatting: FPTQuant: Functiebehoudende Transformaties voor LLM Quantisatie

Probleemstelling

Large Language Models (LLMs) veroorzaken aanzienlijke computationele en energetische kosten tijdens inferentie, wat hun inzet op hulpbronnenbeperkte edge-apparaten bemoeilijkt. Hoewel quantisatie (het mappen van continue waarden naar een uniform integer-raster) de meest effectieve techniek is om de efficiëntie te verbeteren, leidt naïeve quantisatie van LLMs vaak tot ernstige prestatievermindering. Dit komt primair door "outliers"—activaties en gewichten met grote magnitudes die de uniforme distributie verstoren die vereist is voor low-bit quantisatie.

De fundamentele uitdaging ligt in de range-precisie trade-off:

Het vergroten van het bereik (range) om outliers te vangen, resulteert in een verlies aan precisie voor de meerderheid van de waarden die rond nul geclusterd zijn.
Het behouden van precisie door outliers af te kappen (clipping), leidt tot informatieverlies en modelinstorting.

Eerder werk heeft Function-Preserving Transforms (FPTs) verkend—operaties zoals schaling of rotaties die outliers gladstrijken zonder de output van het model te veranderen in de afwezigheid van quantisatie. Echter, bestaande methoden worden vaak geconfronteerd met een trade-off tussen expressiviteit (het vermogen om quantisatiefouten effectief te verminderen) en computational overhead (inferentie-kosten). Veel expressieve transformaties zijn niet-mergebaar, wat nieuwe operaties in de computationele graaf vereist en aanzienlijke latentie veroorzaakt.

Methodologie: FPTQuant

Het artikel introduceert FPTQuant, een framework dat gebruikmaakt van drie nieuwe, lichtgewicht en expressieve FPTs die specifiek zijn ontworpen voor transformers. De kernfilosofie is om de equivariante eigenschappen en onafhankelijkheden te benutten die inherent zijn aan canonieke transformer-operaties om transformaties te ontwerpen die zowel mergebaar (samengevoegd met bestaande gewichten) als expressief zijn.

De drie primaire transformaties zijn:

1. Mergebare Pre-RoPE Transformatie voor Queries en Keys ( $T_k, \bar{T}_k$ )

Context: Moderne LLMs gebruiken Rotary Positional Embeddings (RoPE), wat naïeve merging van transformaties in query- ( $W_q$ ) en key-gewichten ( $W_k$ ) verhindert omdat RoPE niet commuteert met willekeurige lineaire transformaties.
Mechanisme: De auteurs introduceren een paar transformaties die vóór RoPE worden toegepast. $T_k$ wordt toegepast op keys, en $\bar{T}_k$ (een benaderde inverse) wordt toegepast op queries. Deze bestaan uit geschaalde $2 \times 2$ rotatiematrices.
Eigenschap: Vanwege de blokdiagonaal-structuur van RoPE, communiceren deze specifieke rotatie/schalingsmatrices met de RoPE-operatie. Dit maakt het mogelijk om de transformaties direct te mergen in de $W_q$ en $W_k$ gewichten na de training, wat nul inferentie-overhead veroorzaakt.
Toepasbaarheid: Geldig voor modellen met RoPE (bijv. Llama-serie) en modellen zonder positionele embeddings.

2. Mergebare Multihead Value Transformatie ( $T_v, \bar{T}_v$ )

Context: In het attention-mechanisme opereert de gebatteerde matrixvermenigvuldiging (BMM) op values ( $V$ ) en de output-projectie ( $W_o$ ). De dimensie $d$ (value-dimensie) is onafhankelijk van de berekening van de attention-waarschijnlijkheid.
Mechanisme: Een omkeerbare transformatie $T_v$ wordt toegepast op de value-projectiegewichten ( $W_v$ ), en de inverse $\bar{T}_v$ wordt toegepast op de output-projectiegewichten ( $W_o$ ).
Eigenschap: Omdat de verschillende attention heads onafhankelijk zijn, kan een unieke omkeerbare matrix per head worden geoptimaliseerd. Deze transformatie wordt gemerged in $W_v$ en $W_o$ .
Voordeel: Dit biedt een hoge expressiviteit (volledige omkeerbare matrices per head) terwijl het toch mergebaar blijft, in tegen tegenstelling tot eerdere rotatie-gebaseerde methoden die vaak een enkele rotatie over alle heads deelden of niet-mergebaar waren.

3. Pseudo-Dynamische Residuele Schaling ( $S_n$ )

Context: Residuele verbindingen in transformers omzeilen vaak normalisatielagen, wat leidt tot tokens met zeer verschillende schalen. Dit veroorzaakt outliers in daaropvolgende blokken (bijv. de SwiGLU output).
Mechanisme: De auteurs stellen voor om de RMSNorm ook toe te passen op de residuele stroom. Een per-token schalingsfactor $S_n$ (gebaseerd op de root-mean-square van de residu) wordt toegepast op de residuele input. Om de output te behouden, worden de outputs van de attention- en MLP-blokken ( $Y_n$ ) door dezelfde $S_n$ geschaald voordat ze aan de residu worden toegevoegd.
Eigenschap: Matrixvermenigvuldiging en lineaire lagen zonder bias communiceren met per-token schaling. Dit maakt het mogelijk om de schaling diep binnen de attention- en MLP-blokken toe te passen om intra-block outliers te verminderen.
Implementatie: De schalen worden recursief berekend met behulp van de genormaliseerde output van het vorige blok. In de praktijk is de uiteindelijke deling door de schaal niet nodig, aangezien de LM head begint met een RMSNorm.

Optimalisatiestrategie

FPTQuant hanteert een tweestaps optimalisatieproces:

Lokale Optimalisatie: Transformaties worden lokaal en onafhankelijk geoptimaliseerd om de $L_p$ -norm (specifiek $L_4$ ) van de gemergde gewichten te minimaliseren. Dit vermindert outliers en zorgt voor een stabiele initialisatie.
End-to-End (Student-Teacher) Training: Een gekwantiseerd student-model (met transformaties) wordt getraind om een full-precision teacher-model te benaderen met behulp van Jensen-Shannon Divergentie (JSD) loss.
- Cruciaal onderscheid: In tegenstelling tot methoden die next-token prediction loss gebruiken, voorkomt de student-teacher aanpak overfitting op de trainingsdataset (bijv. Wikitext) door de volledige waarschijnlijkheidsdistributie van de teacher te matchen. Dit verbetert de generalisatie naar downstream taken.

Belangrijkste Bijdragen

Nieuwe FPTs: Introductie van drie specifieke transformaties (Pre-RoPE, Value, en Residual Scaling) die ontworpen zijn om zowel zeer expressief als mergebaar te zijn, waardoor inferentie-overhead wordt geëlimineerd.
Statische INT4 Quantisatie: Demonstratie dat FPTQuant statische INT4 quantisatie (gewichten, activaties en KV cache) mogelijk maakt met minimale overhead, waarbij tot 3.9× versnelling wordt bereikt ten opzichte van FP16 bij prefill-taken.
Accuracy-Speed Trade-off: FPTQuant bereikt prestaties die gelijkwaardig zijn aan of beter dan SOTA-methoden zoals FlatQuant en SpinQuant, terwijl het aanzienlijk sneller is (tot 29% sneller dan FlatQuant) en geen custom kernels vereist.

Experimentele Resultaten

De auteurs hebben FPTQuant geëvalueerd op diverse modellen (Llama-2/3, Ministral, Qwen) over meerdere quantisatie-instellingen (W4A4KV4, W4A8KV8, etc.).

Snelheid: FPTQuant bereikt consistent een 2.8×–3.9× prefill versnelling ten opzichte van FP16. Het is sneller dan SpinQuant en consequent sneller dan FlatQuant (15–29% relatieve versnelling).
Nauwkeurigheid:
- In "moeilijke" deployment settings (het quantiseren van alle tussenliggende activaties), presteert FPTQuant beter dan baselines zoals SpinQuant en FlatQuant.
- In standaard settings (Linear+KV), presteert FPTQuant vergelijkbaar met FlatQuant, wat momenteel de SOTA is voor nauwkeurigheid.
- Op de uitdagende W4A4KV4 setting laat FPTQuant concurrerende perplexiteit en zero-shot reasoning scores zien, waarbij het vaak SpinQuant en QuaRot overtreft.
Stabiliteit: Sensitiviteitsanalyse toont aan dat FPTQuant functiebehoudend is, zelfs onder ruisige parameter-updates, terwijl methoden zoals FlatQuant (die vertrouwen op floating-point inversies) en OSTQuant (niet-functiebehoudend) instabiliteit of degradatie vertonen met ruis.
Trainingskosten: De training van FPTQuant is efficiënt. Hoewel het iets trager is dan RTN-opt, is het over het algemeen sneller dan FlatQuant omdat de transformaties mergebaar zijn, wat de online forward passes voorkomt die nodig zijn voor niet-mergebare transformaties.

Betekenis en Claims

Het artikel claimt dat FPTQuant een belangrijke stap voorwaarts is in het levensvatbaar maken van LLMs voor edge-deployment. Door expliciet gebruik te maken van de wiskundige eigenschappen van transformer-operaties (equivariante eigenschappen), hebben de auteurs transformaties gecreëerd die niet ten koste gaan van de inferentiesnelheid voor de nauwkeurigheid.

Praktische Impact: FPTQuant maakt het gebruik van kleinere bit-breedtes (INT4) mogelijk zonder de zware computationele straf van dynamische quantisatie of niet-mergebare transformaties. Dit vermindert de geheugenvoetafdruk en het energieverbruik van LLMs, wat potentieel toegang tot AI op smartphones en edge-apparaten democratiseert.
Methodologische Bijdrage: Het werk benadrukt dat het begrijpen van de commutatie-eigenschappen van bestaande operaties essentieel is voor het ontwerpen van effectieve quantisatiestrategieën. Het pleit tegen het gebruik van next-token prediction loss voor het trainen van FPTs vanwege risico's op overfitting, en adviseert in plaats daarvan student-teacher training met distributie-matching.
Beperkingen: De auteurs merken bescheiden op dat hoewel de aanpak robuust is over verschillende modelfamilies, het niet gegarandeerd is dat dit even goed vertaalt naar alle LLMs (bijv. Mixture-of-Experts). Daarnaast betekent de huidige hardwarebeperking (gebrek aan native INT4 ondersteuning op veel GPU's) dat benchmarking berust op emulatie, en dat de volledige voordelen pas echt zichtbaar worden op toekomstige hardware of edge-specifieke versnellers.