🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

Dit artikel stelt "ternaire multiplicatieve adaptatie" voor, een nieuwe low-rank methode die efficiënte fijnafstemming van ternaire transformers mogelijk maakt door discrete gewichtsupdates te representeren via kleine ternaire matrices, waardoor het ternaire domein behouden blijft en directe fusie zonder dekwantisering mogelijk wordt, terwijl het tegelijkertijd aanzienlijk de prestaties herstelt over taal- en visiemodellen heen.

Oorspronkelijke auteurs: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentie vertrouwt op enorme computerprogramma's genaamd transformers, die de motor zijn geworden achter alles van schrijfassistenten tot beeldgeneratoren. Deze programma's zijn ongelooflijk krachtig, maar ze zijn ook zwaar; ze vereisen enorme hoeveelheden computergeheugen en energie om te draaien. Om ze bruikbaar te maken op kleinere apparaten zoals telefoons of laptops, hebben onderzoekers jarenlang geprobeerd ze kleiner te maken. Een populaire strategie is het comprimeren van de getallen binnen het programma, waarbij ze worden omgezet van complexe, hoog-precieze waarden naar eenvoudigere, laag-bit versies. Stel je voor dat je een foto met een hoge resolutie neemt en deze terugbrengt naar slechts een paar kleuren; de afbeelding wordt kleiner en sneller te verwerken, hoewel er onvermijdelijk wat detail verloren gaat. De meest agressieve vorm van deze compressie houdt in dat de interne getallen van het programma beperkt worden tot slechts drie mogelijke waarden: negatief één, nul en positief één. Deze aanpak, bekend als ternaire kwantisatie, vermindert de benodigde geheugenruimte met een factor tien, wat een model dat ooit een grote server vereiste, potentieel kan veranderen in iets dat op een standaard laptop kan draaien.

Echter, een aanzienlijk probleem heeft de voortgang van deze ultra-compacte modellen vertraagd. Hoewel de modellen klein en efficiënt zijn, zijn ze moeilijk aan te leren nieuwe taken. Standaardmethoden om deze programma's te onderwijzen omvatten het maken van minuscule, continue aanpassingen aan hun getallen. Maar wanneer een model beperkt is tot slechts drie waarden, kan het geen kleine aanpassingen maken; het kan een getal alleen van negatief naar positief flippen, of het volledig uitschakelen. Bestaande technieken voor het onderwijzen van deze gecomprimeerde modellen vereisen vaak dat de getallen tijdelijk worden uitgebreid naar hun volledige, zware omvang om de veranderingen door te voeren, om ze vervolgens weer samen te persen. Dit proces van uitbreiden en opnieuw comprimeren introduceert fouten die de prestaties van het model verslechteren, waardoor het eindresultaat vaak slechter is dan wanneer er helemaal niets was geleerd.

Een team van onderzoekers van de Delftse Universiteit van Technologie en Amazon heeft een nieuwe manier ontwikkeld om deze ultra-compacte modellen te onderwijzen die dit proces van expansie en fouten vermijdt. In plaats van te proberen kleine, continue getallen aan het model toe te voegen, werkt hun methode direct binnen het strikte drie-waardensysteem. Ze ontwierpen een systeem dat werkt als een reeks schakelaars, waardoor het model het teken van zijn interne getallen kan omdraaien of ze volledig kan uitschakelen, zonder ooit het gecomprimeerde stadium te verlaten. Om dit efficiënt te maken, probeerden ze niet elk getal afzonderlijk aan te passen. In plaats daarvan gebruikten ze een wiskundige structuur waarmee een paar kleine, eenvoudige patronen grote secties van het model tegelijkertijd kunnen aansturen. Deze aanpak, die zij een low-rank ternaire adaptatie noemen, laat het model nieuwe vaardigheden leren terwijl het perfect gecomprimeerd blijft.

De onderzoekers testten deze methode op verschillende soorten kunstmatige intelligentie, waaronder taalmodellen die in staat zijn tot redeneren en visiemodellen die afbeeldingen herkennen. Ze begonnen met modellen die al gecomprimeerd waren tot de drie-waardengrens en pasten vervolgens hun nieuwe onderwijstechniek toe. De resultaten lieten zien dat de modellen veel van de nauwkeurigheid die ze verloren waren tijdens de initiële compressie, herstelden. In tests met taaltaken presteerden de aangepaste modellen aanzienlijk beter dan eerdere pogingen die probeerden het model te dwingen te leren via expansie en hercompressie. Zo verbeterde de nieuwe methode bij een taalmodel met drie miljard parameters de gemiddelde nauwkeurigheid over negen verschillende taken van ongeveer 32 procent naar 38 procent, terwijl het de voorspellingen van het model ook veel zelfverzekerder maakte.

Misschien wel het belangrijkste is dat het eindresultaat van dit proces een enkel, verenigd model is dat in zijn ultra-compacte vorm blijft. In tegen tegenstelling tot andere methoden die een aparte, zware set instructies achterlaten die naast het kleine model geladen moet worden, integreert deze nieuwe aanpak het leren direct in de kleine gewichten. De onderzoekers ontdekten dat hun methode voor visuele taken, zoals het identificeren van objecten in afbeeldingen, een model produceerde dat veel nauwkeuriger was dan die gemaakt door na het leren te hercomprimeren. Ze ontdekten ook dat het leerproces werkte door de tekens van de bestaande getallen te herverdelen, in plaats van te proberen de genulliseerde getallen weer tot leven te wekken. Dit betekent dat het model leert door te reorganiseren wat het al heeft, in plaats van te proberen nieuwe verbindingen te creëren waar die niet bestonden.

Dit werk demonstreert dat het mogelijk is om hoog gecomprimeerde kunstmatige intelligentie-modellen te onderwijzen zonder hun efficiëntie of nauwkeurigheid op te offeren. Door de strikte grenzen van het drie-waardensysteem te respecteren en een manier te vinden om binnen die grenzen te leren, hebben de onderzoekers aangetoond dat deze kleine modellen voor veel taken net zo bekwaam kunnen zijn als hun grotere tegenhangers. De methode vereist geen extra geheugen of rekenkracht tijdens het gebruik, aangezien het leren volledig is geïntegreerd in de structuur van het model. Dit opent de deur naar het draaien van geavanceerde kunstmatige intelligentie op apparaten met zeer beperkte middelen, waardoor krachtige mogelijkheden beschikbaar komen op plaatsen waar dit voorheen onmogelijk te implementeren was.

Technische Samenvatting: Low-Rank Ternaire Adaptatie voor het Fine-Tunen van Transformers

Probleemstelling

Transformer-modellen, met name Large Language Models (LLM's) en Vision Transformers (ViT's), kampen met aanzienlijke implementatieuitdagingen vanwege hoge geheugen- en rekenvereisten. Kwantisatie biedt een oplossing door gewichten te comprimeren, waarbij ternaire kwantisatie (het beperken van gewichten tot $\{-1, 0, 1\}$ ) een extreem compressieniveau vertegenwoordigt (~1,58 bits per gewicht) dat geschikt is voor hardware met lage specificaties. Het fine-tunen van deze ternaire modellen brengt echter een unieke uitdaging met zich mee: bestaande methoden voor Parameter-Efficient Fine-Tuning (PEFT), zoals Low-Rank Adaptation (LoRA) en de gekwantiseerde varianten daarvan (QLoRA, QA-LoRA), vertrouwen op additieve updates in continue floating-point ruimtes.

Het toepassen van additieve updates op ternaire gewichten dwingt het model uit het ternaire domein, wat dequantisatie naar volledige precisie vereist voor de update en daaropvolgende re-kwantisatie voor inferentie. Dit proces introduceert kwantisatiefouten die de prestaties verslechteren, met name bij sub-2-bit precisies. Bovendien falen huidige methoden of vereisen ze stappen van dequantisatie die de geheugen- en rekenvoordelen van ternaire kwantisatie tenietdoen. Er is een gebrek aan een methode die PEFT van nature binnen het discrete ternaire domein kan uitvoeren terwijl een gemerged model strikt ternair blijft.

Methodologie

De auteurs stellen Ternary Multiplicative Adaptation voor, een methode die is ontworpen om ternaire transformers te fine-tunen zonder het ternaire domein te verlaten. De kerninnovatie ligt in het vervangen van continue additieve updates door discrete multiplicatieve updates.

1. Ternaire Multiplicatieve Update

In plaats van een low-rank matrix aan de gewichten toe te voegen, past de methode een elementgewijze Hadamard-product ( $\odot$ ) toe tussen de voorgetrainde ternaire gewichten ( $W_{tern}$ ) en een ternaire adaptatie-masker ( $\Delta_{tern}$ ):
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
Het masker $\Delta_{tern}$ bestaat uit waarden in $\{-1, 0, 1\}$ , wat drie discrete operaties op de basisgewichten uitvoert:

$+1$ : Behoud het gewicht (identiteit).
$0$: Zet het gewicht op nul (pruning).
$-1$: Keer het teken van het gewicht om.

Deze formulering garandeert afsluiting binnen het ternaire domein; de gemergede gewichten $W'_{tern}$ blijven strikt in $\{-1, 0, 1\}$ , waardoor de noodzaak voor dequantisatie of re-kwantisatie wordt geëlimineerd.

2. Low-Rank Kronecker Decompositie

Om het hoogdimensionale adaptatie-masker $\Delta_{tern}$ efficiënt te representeren, decomponeren de auteurs het met behulp van een Kronecker-product van twee kleinere trainbare ternaire matrices, $A$ en $B$ :
$\Delta_{tern} = A \otimes B$
waarbij $A \in \{-1, 0, 1\}^{p \times q}$ en $B \in \{-1, 0, 1\}^{r \times s}$ . De dimensies zijn zo gekozen dat $p \cdot r = d_{out}$ en $q \cdot s = d_{in}$ , wat overeenkomt met de vorm van de oorspronkelijke gewichtsmatrix. Deze structuur stelt het model in staat om een hoge-rang expressiviteit te bereiken (rank tot $\min(d_{out}, d_{in})$ ) terwijl het een aantal parameters behoudt van $O(d)$ voor vierkante lagen, wat aanzienlijk lager is dan de $O(d^2)$ die vereist is voor volledige fine-tuning of high-rank LoRA.

3. Training via Real-Valued Proxies en STE

Aangezien de matrices $A$ en $B$ discreet moeten zijn, is directe gradiëntgebaseerde optimalisatie onmogelijk. De auteurs optimaliseren real-valued proxies $\bar{A}$ en $\bar{B}$ en projecteren deze naar het ternaire domein tijdens de forward pass met behulp van een drempelwaarde-functie (gebaseerd op het absolute gemiddelde van de matrix). Gradiënten worden door deze niet-differentieerbare projectie geleid met behulp van een Straight-Through Estimator (STE).

4. Inferentie en Merging

Na de training wordt de adaptatie direct gemerged met de basisgewichten via elementgewijze vermenigvuldiging. Het resulterende model is volledig ternair, wat geen extra parameters of latentie-overhead tijdens inferentie vereist.

Belangrijkste Bijdragen

Ternary Multiplicative Adapter: Een nieuwe PEFT-methode die discrete ternaire updates (tekenomkeringen en het op nul zetten) direct op ternaire gewichten modelleert, waardoor het ternaire domein gedurende de hele training en inferentie behouden blijft.
Kronecker Decompositie: Een compacte, low-rank representatie van het ternaire update-masker die een balans vindt tussen parameterefficiëntie en hoge expressiviteit, waardoor de adaptatie alle gewichten in een laag kan dekken.
Zero-Overhead Deployment: De methode maakt het mogelijk om de adapter volledig te mergen met het basismodel, wat resulteert in een strikt ternair model dat geen dequantisatie- of re-kwantisatiestappen vereist tijdens de inferentie.
Empirische Validatie: Uitgebreide evaluatie over zes modellen (LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58, en ViT-B/16) die het herstel van de prestaties aantoont die verloren zijn gegaan door kwantisatie.

Experimentele Resultaten

De auteurs evalueerden hun methode op taal- en visietaken, waarbij ze de methode vergeleken met full-precision baselines, post-training quantization (PTQ) baselines en QLoRA-varianten.

LLM Prestaties (Llama-3.2 1B/3B): Op het Llama-3.2 1B model verbeterde de methode de gemiddelde benchmarkscore van 33,2 (ternaire SpinQuant baseline) naar 35,3, waarmee het 2-bit baselines versloeg op zeven van de negen taken. Voor Llama-3.2 3B bereikte de methode een gemiddelde nauwkeurigheid van 38,3, wat de 2-bit SpinQuant baseline (32,6) en de 1,58-bit baseline (31,9) op alle negen benchmarks overtrof.
Perplexity (PPL): De methode verminderde de perplexiteit aanzienlijk vergeleken met de ternaire SpinQuant baseline (bijv. van 86,5 naar 44,6 voor Llama-1B) en presteerde beter dan QLoRA die gemerged en re-gekwantiseerd werd naar 1,58 bits.
Downstream Adaptatie: Bij het fine-tunen van voorgetrainde ternaire modellen (Falcon-E, BitNet) op GSM8K, verbeterde de methode de exact-match nauwkeurigheid met +1,0 tot +3,1 punten ten opzichte van de bevroren ternaire backbones.
Visie (ViT-B/16): Op ImageNet-100 bereikte de gemergede ternaire ViT een Top-1 nauwkeurigheid van 83,0%, wat beter is dan de re-gekwantiseerde QLoRA baseline (78,9%) en de kloof met full ternary fine-tuning (85,7%) verkleint.
Gewichtsanalyse: De transitie-analyse onthulde dat de winst in nauwkeurigheid primair voortkomt uit het herverdelen van tekens onder de bestaande niet-nul gewichten. De methode kan gewichten die naar nul zijn gekwantiseerd niet reactiveren, aangezien de multiplicatieve update een nul niet in een niet-nul waarde kan veranderen.

Betekenis en Claims

Het artikel stelt dat dit werk een cruciaal gat in efficiënte modeladaptatie aanpakt: het mogelijk maken van het fine-tunen van extreme low-bit (ternaire) modellen zonder de geheugen- en rekenvoordelen van het ternaire formaat op te offeren. Door dequantisatie en re-kwantisatie te vermijden, voorkomt de methode de degradatie van de nauwkeurigheid die gepaard gaat met deze stappen bij sub-2-bit precisies.

De auteurs benadrukken dat hun aanpak de eerste is die een gemerged model produceert dat strikt ternair blijft terwijl een parameterefficiënte adaptatiestrategie wordt gebruikt. Dit maakt de implementatie van sterk gecomprimeerde, gefine-tuned modellen op hulpbron-beperkte hardware mogelijk zonder de inferentie-overhead van aparte adaptermodules of de precisieverlies van re-kwantisatie. Het werk demonstreert dat ternaire modellen effectief kunnen worden aangepast aan downstream taken, waarbij een groot deel van de prestaties die verloren zijn gegaan tijdens het initiële kwantisatieproces wordt teruggewonnen.