OneComp: One-Line Revolution for Generative AI Model Compression

1. Het Probleem

De implementatie van fundamentele modellen (foundation models) voor generatieve AI wordt steeds meer beperkt door het geheugenvolume, latentie en hardwarekosten. Hoewel post-training compressie (PTQ) een veelbelovende oplossing biedt door de precisie van modelparameters te verlagen zonder de prestaties significant te verslechteren, blijft de praktische implementatie uitdagend.

Practici worden geconfronteerd met een gefragmenteerd landschap van:

• Verschillende kwantiseringsalgoritmen.
• Complexiteit in het bepalen van precisiebudgetten.
• Data-gedreven kalibratiestrategieën.
• Hardware-afhankelijke uitvoeringsregimes.

Er is geen universele "recept" die voor elk model, elke taak en elke hardware werkt. Dit leidt tot een kloof tussen theoretisch haalbare compressie en wat daadwerkelijk in productie wordt ingezet. Er is behoefte aan een gestructureerde, reproduceerbare workflow die de complexiteit van algoritme-selectie en bit-breedte-planning automatiseert.

2. Methodologie: OneComp Framework

OneComp is een open-source compressieframework dat een reproduceerbare, resource-adaptieve pipeline biedt. Het transformeert een vooraf getraind model in een implementatieklaar, gekwantiseerd model met minimale gebruikersinterventie. De pipeline volgt een progressieve verfijning (refinement) die gebaseerd is op drie principes:

A. Resource-Adaptieve Workflow

OneComp past de complexiteit van de kwantisatie aan de beschikbare GPU-geheugenbronnen aan. De pipeline doorloopt drie hoofdfasen, waarbij elke fase de output van de vorige verbetert:

1. Layer-wise PTQ: Kwantiseert één lineaire laag per keer. Dit is het meest geheugenefficiënt (werkt op één consument-GPU) en produceert direct een bruikbaar model.
2. Block-wise PTQ: Kwantiseert en optimaliseert alle lineaire lagen binnen één Transformer-blok simultaan. Dit vangt intra-blok afhankelijkheden op die layer-wise methoden missen.
3. Global PTQ: Optimaliseert het volledige model tegelijkertijd (vaak via Knowledge Distillation), wat de hoogste nauwkeurigheid biedt maar de meeste geheugenbronnen vereist.

B. Kernarchitectuurkeuzes

• AutoBit (Automatische Mixed-Precision Planning): In plaats van een uniforme bit-breedte toe te passen, lost OneComp een geoptimaliseerd integer lineair programmeringsprobleem op om per laag of module de beste bit-breedte te selecteren binnen een globaal geheugenbudget. Dit gebruikt activatie-statistieken (Hessiaan-diagonaal) om gevoelige lagen meer precisie te geven.
• Preprocessing via Equivalente Transformaties: Om "outliers" (extreme waarden) in gewichten en activaties te verminderen, gebruikt OneComp technieken zoals SmoothQuant (kanalen schalen) en SpinQuant (lerende orthogonale rotaties). Dit maakt het model beter geschikt voor lage bit-breedtes zonder de functie van het model te veranderen.
• De "Pivot"-Architectuur: Het eerste gekwantiseerde checkpoint (uit de layer-wise fase) dient als een draaipunt (pivot). Alle latere fasen (block-wise, global, fine-tuning) zijn post-processing stappen die dit bestaande model verder verbeteren, in plaats van het proces vanaf nul te starten.

C. Geavanceerde Optimalisatietechnieken

• QEP (Quantization Error Propagation): Corrigeert de kwantisatiedoelen van een laag om fouten te compenseren die zijn geïntroduceerd door voorgaande gekwantiseerde lagen.
• LPCD (Submodule-Aware Coordinate Descent): Optimaliseert gekoppelde submodules (bijv. Q en K projecties in Attention) gezamenlijk in plaats van ze los van elkaar te behandelen, wat cross-laag inconsistenties vermindert.
• JointQ: Optimaliseert schalen en gehele getallen (integers) gezamenlijk voor 3-4 bit kwantisatie, wat beter presteert dan de standaard GPTQ-methode.
• DBF & MDBF: Voor extreme lage bit-breedtes (1-2 bit) gebruikt OneComp gestructureerde binaire factorisatie. MDBF (Multi-Envelope DBF) lost het probleem op van DBF door meerdere magnitude-modi te modelleren in plaats van slechts één, wat de nauwkeurigheid aanzienlijk verbetert.
• Fine-tuning: Optionele QLoRA-fine-tuning om resterende fouten te herstellen of domeinadaptatie mogelijk te maken.

3. Belangrijkste Bijdragen

1. Eind-tot-eind Automatisering: OneComp vervangt handmatige configuratie door een enkele commando-pijplijn die modelinspectie, kalibratie, bit-planning en kwantisatie automatiseert.
2. Monotone Kwaliteitsverbetering: Het framework garandeert dat elke extra rekenkracht (van layer-wise naar global) resulteert in een betere modelkwaliteit.
3. Uitbreidbaarheid: De modulaire "refiner"-architectuur maakt het eenvoudig om nieuwe kwantisatie-algoritmen toe te voegen zonder de hele pipeline te herschrijven.
4. Ondersteuning voor Extreme Lage Bit-breedtes: Met MDBF en DBF kan OneComp modellen comprimeren tot 1-2 bits per gewicht met behoud van betekenisvolle nauwkeurigheid, een gebied waar uniforme kwantisatie vaak faalt.

4. Resultaten

Experimentele evaluaties op de LLaMA en Qwen model families tonen de volgende resultaten:

• AutoBit: Mixed-precision toewijzing leidt tot aanzienlijke verbeteringen ten opzichte van uniforme kwantisatie. Bijvoorbeeld, op LLaMA-3-8B met een gemiddelde van 4 bits per gewicht, bereikt de activatie-bewuste variant een perplexiteit van 6.85 (dicht bij de FP-basislijn van 6.14), terwijl uniforme kwantisatie instort (PPL > 300 bij per-channel settings).
• Foutcorrectie: QEP en LPCD herstellen de prestaties van layer-wise PTQ aanzienlijk, waardoor ze dicht in de buurt komen van duurdere block-wise methoden zonder extra hardware.
• JointQ vs. GPTQ: JointQ presteert consistent beter dan standaard GPTQ, vooral bij lagere bit-breedtes (3 bit) en per-channel kwantisatie.
• Extreme Compressie: MDBF behoudt significante nauwkeurigheid bij 1.0 en 1.5 bits per gewicht, waarbij het DBF overtreft door de multi-envelop structuur.
• Progressieve Verbetering: De experimenten bevestigen dat het toevoegen van block-wise en global PTQ fasen de nauwkeurigheid monotoon verbetert, zelfs in de meest agressieve compressie-scenario's.

5. Betekenis en Impact

OneComp vormt een paradigmaverschuiving in het veld van modelcompressie. Het verlegt de focus van het handmatig kiezen van de "beste" algoritme naar het gebruik van een principiële, geautomatiseerde workflow.

• Democratisering: Het maakt geavanceerde kwantisatietechnieken toegankelijk voor niet-experts via een simpele interface ("one-line revolution").
• Productie-klaar: Het sluit de kloof tussen academische innovatie en productiedeployments door een reproduceerbare pipeline te bieden die rekening houdt met hardware-beperkingen.
• Toekomstvisie: OneComp is ontworpen als een platform dat verder kan groeien naar activatie-kwantisering, KV-cache compressie en gepruneerde modellen, met als doel de economie van fundamentele modellen te hervormen door efficiëntie als drijvende kracht voor innovatie in plaats van brute-force hardware-schaling.

Kortom, OneComp biedt een robuust, open-source fundament voor de efficiënte implementatie van generatieve AI-modellen in de realiteit.