🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

Dieses Paper schlägt „ternary multiplicative adaptation“ vor, eine neuartige Low-Rank-Methode, die eine effiziente Feinabstimmung von ternären Transformern ermöglicht, indem sie diskrete Gewichtsaktualisierungen durch kleine ternäre Matrizen darstellt, wodurch der ternäre Bereich bewahrt und ein direktes Merging ohne Dequantisierung ermöglicht wird, während gleichzeitig die Leistung über Sprach- und Visionsmodelle hinweg signifikant wiederhergestellt wird.

Ursprüngliche Autoren: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Veröffentlicht 2026-08-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Moderne künstliche Intelligenz stützt sich auf gewaltige Computerprogramme, die als Transformer bezeichnet werden und zum Motor für alles geworden sind, von Schreibassistenten bis hin zu Bildgeneratoren. Diese Programme sind unglaublich leistungsstark, aber sie sind auch schwerfällig und erfordern enorme Mengen an Computerspeicher und Energie, um zu laufen. Um sie auf kleineren Geräten wie Telefonen oder Laptops nutzbar zu machen, haben Forscher jahrelang versucht, sie zu verkleinern. Eine populäre Strategie besteht darin, die Zahlen innerhalb des Programms zu komprimieren, indem man sie von komplexen, hochpräzisen Werten in einfachere, niedrig-bit-basierte Versionen umwandelt. Stellen Sie sich vor, man nimmt ein hochauflösendes Foto und reduziert es auf nur wenige Farben; das Bild wird kleiner und schneller zu verarbeiten, obwohl zwangsläufig etwas Detailgenauigkeit verloren geht. Die aggressivste Form dieser Kompression besteht darin, die internen Zahlen des Programms auf nur drei mögliche Werte zu beschränken: minus eins, null und plus eins. Dieser Ansatz, bekannt als ternäre Quantisierung, senkt den benötigten Speicherbedarf um den Faktor zehn und macht aus einem Modell, das einst einen großen Server erforderte, potenziell etwas, das auf einem Standard-Laptop laufen kann.

Ein erhebliches Problem hat jedoch den Fortschritt dieser ultra-kompakten Modelle gebremst. Während die Modelle klein und effizient sind, lassen sie sich nur schwer neue Aufgaben lehren. Standardmethoden zum Lehren dieser Programme beinhalten das Vornehmen winziger, kontinuierlicher Anpassungen an ihren Zahlen. Aber wenn ein Modell auf nur drei Werte beschränkt ist, kann es keine kleinen Anpassungen vornehmen; es kann eine Zahl nur von negativ nach positiv umkehren oder sie ganz ausschalten. Bestehende Techniken zum Lehren dieser komprimierten Modelle erfordern oft, die Zahlen vorübergehend auf ihre volle, schwere Größe zu erweitern, um Änderungen vorzunehmen, und sie dann wieder zusammenzustauchen. Dieser Prozess des Erweiterns und Neu-Komprimierens führt zu Fehlern, die die Leistung des Modells verschlechtern, was das Endergebnis oft schlechter macht, als wenn gar kein Lehren stattgefunden hätte.

Ein Team von Forschern der Technischen Universität Delft und Amazon hat einen neuen Weg entwickelt, um diese ultra-kompakten Modelle zu lehren, der diesen Zyklus aus Expansion und Fehlern vermeidet. Anstatt zu versuchen, kleine, kontinuierliche Zahlen zum Modell hinzuzufügen, arbeitet ihre Methode direkt innerhalb des strengen Drei-Werte-Systems. Sie entwarfen ein System, das wie eine Reihe von Schaltern fungiert und es dem Modell ermöglicht, das Vorzeichen seiner internen Zahlen umzukehren oder sie ganz auszuschalten, ohne jemals den komprimierten Zustand zu verlassen. Um dies effizient zu gestalten, versuchten sie nicht, jede einzelne Zahl individuell anzupassen. Stattdessen verwendeten sie eine mathematische Struktur, die es ermöglicht, dass einige wenige, einfache Muster riesige Abschnitte des Modells gleichzeitig steuern. Dieser Ansatz, den sie eine „Low-Rank Ternary Adaptation“ nennen, lässt das Modell neue Fähigkeiten erlernen, während es perfekt komprimiert bleibt.

Die Forscher testeten diese Methode an verschiedenen Arten künstlicher Intelligenz, einschließlich Sprachmodellen, die fähig zu logischem Denken sind, und Visionsmodellen, die Bilder erkennen. Sie begannen mit Modellen, die bereits auf das Drei-Werte-Limit komprimiert worden waren, und wandten dann ihre neue Lehrmethik an. Die Ergebnisse zeigten, dass die Modelle einen Großteil der Genauigkeit zurückgewannen, die sie während der ursprünglichen Kompression verloren hatten. In Tests zu Sprachaufgaben schnitten die adaptierten Modelle deutlich besser ab als frühere Versuche, die versuchten, das Modell durch Expansion und Neu-Kompression zu lehren. Beispielsweise verbesserte die neue Methode bei einem Sprachmodell mit drei Milliarden Parametern die durchschnittliche Genauigkeit über neun verschiedene Aufgaben hinweg von etwa 32 Prozent auf 38 Prozent und steigerte gleichzeitig die Zuversichtlichkeit der Vorhersagen des Modells.

Vielleicht am wichtigsten ist, dass das Endergebnis dieses Prozesses ein einziges, einheitliches Modell ist, das in seiner ultra-kompakten Form bleibt. Im Gegensatz zu anderen Methoden, die ein separates, schweres Set an Instruktionen hinterlassen, das neben dem kleinen Modell geladen werden muss, integriert dieser neue Ansatz das Lernen direkt in die winzigen Gewichte. Die Forscher fanden heraus, dass ihre Methode bei Vision-Aufgaben, wie etwa dem Identifizieren von Objekten in Bildern, ein Modell erzeugte, das weita viel genauer war als jene, die durch Komprimierung nach dem Lernen erstellt wurden. Sie entdeckten auch, dass der Lernprozess dadurch funktionierte, dass die Vorzeichen der bestehenden Zahlen umverteilt wurden, anstatt zu versuchen, auf Null gesetzte Zahlen wieder zum Leben zu erwecken. Das bedeutet, das Modell lernt durch die Reorganisation dessen, was es bereits besitzt, anstatt zu versuchen, neue Verbindungen zu schaffen, wo keine existierten.

Diese Arbeit zeigt, dass es möglich ist, hochkomprimierte künstliche Intelligenz-Modelle zu lehren, ohne deren Effizienz oder Genauigkeit zu opfern. Indem sie die strengen Grenzen des Drei-Werte-Systems respektieren und einen Weg finden, innerhalb dieser Grenzen zu lernen, haben die Forscher gezeigt, dass diese winzigen Modelle für viele Aufgaben ebenso fähig sein können wie ihre größeren Gegenstücke. Die Methode benötigt während der Nutzung keinen zusätzlichen Speicher oder Rechenleistung, da das Lernen vollständig in die Struktur des Modells integriert ist. Dies öffnet die Tür für den Einsatz anspruchsvoller künstlicher Intelligenz auf Geräten mit sehr begrenzten Ressourcen und bringt leistungsstarke Fähigkeiten an Orte, an denen ihr Einsatz zuvor unmöglich war.

Technisches Resümee: Low-Rank Ternäre Adaptation zur Feinabstimmung von Transformern

Problemstellung

Transformer-Modelle, insbesondere Large Language Models (LLMs) und Vision Transformer (ViTs), stehen vor erheblichen Herausforderungen bei der Bereitstellung aufgrund hoher Speicher- und Rechenanforderungen. Quantisierung bietet eine Lösung durch Komprimierung von Gewichten, wobei die ternäre Quantisierung (Beschränkung der Gewichte auf $\{-1, 0, 1\}$ ) ein extremes Kompressionsniveau (~1,58 Bits pro Gewicht) darstellt, das für Hardware mit geringen Ressourcen geeignet ist. Die Feinabstimmung dieser ternären Modelle stellt jedoch eine einzigartige Herausforderung dar: Bestehende Methoden für das parametereffiziente Fine-Tuning (PEFT), wie etwa Low-Rank Adaptation (LoRA) und dessen quantisierte Varianten (QLoRA, QA-LoRA), basieren auf additiven Updates in kontinuierlichen Gleitkommazahlenräumen.

Die Anwendung additiver Updates auf ternäre Gewichte zwingt das Modell aus dem ternären Bereich heraus, was eine Dequantisierung in volle Präzision für das Update und eine anschließende Rekvantisierung für die Inferenz erforderlich macht. Dieser Prozess führt Quantisierungsfehler ein, die die Leistung beeinträchtigen, insbesondere bei Präzisionen unter 2 Bits. Zudem versagen aktuelle Methoden entweder darin, die ternäre Natur des zusammengeführten Modells zu bewahren, oder sie erfordern Dequantisierungsschritte, die die Speicher- und Rechenvorteile der ternären Quantisierung zunichtemachen. Es mangelt an einer Methode, die PEFT nativ innerhalb des diskreten ternären Bereichs durchführen kann und gleichzeitig ein zusammengeführtes Modell erzeugt, das strikt ternär bleibt.

Methodik

Die Autoren schlagen die Ternäre Multiplikative Adaptation vor, eine Methode, die darauf ausgelegt ist, ternäre Transformer feinabzustimmen, ohne den ternären Bereich zu verlassen. Die Kerninnovation liegt im Ersatz kontinuierlicher additiver Updates durch diskrete multiplikative Updates.

1. Ternärer multiplikativer Update

Anstatt eine Low-Rank-Matrix zu den Gewichten zu addieren, wendet die Methode ein elementweises Hadamard-Produkt ( $\odot$ ) zwischen den vortrainierten ternären Gewichten ( $W_{tern}$ ) und einer ternären Adaptationsmaske ( $\Delta_{tern}$ ) an:
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
Die Maske $\Delta_{tern}$ besteht aus Werten in $\{-1, 0, 1\}$ und führt drei diskrete Operationen auf den Basengewichten durch:

$+1$ : Beibehaltung des Gewichts (Identität).
$0$: Nullsetzen des Gewichts (Pruning).
$-1$: Umkehrung des Vorzeichens des Gewichts.

Diese Formulierung gewährleistet die Abgeschlossenheit innerhalb des ternären Bereichs; die zusammengeführten Gewichte $W'_{tern}$ bleiben strikt in $\{-1, 0, 1\}$ , wodurch Dequantisierung oder Rekvantisierung überflüssig werden.

2. Low-Rank Kronecker-Zerlegung

Um die hochdimensionale Adaptationsmaske $\Delta_{tern}$ effizient darzustellen, zerlegen die Autoren sie mittels eines Kronecker-Produkts zweier kleinerer, trainierbarer ternärer Matrizen $A$ und $B$ :
$\Delta_{tern} = A \otimes B$
wobei $A \in \{-1, 0, 1\}^{p \times q}$ und $B \in \{-1, 0, 1\}^{r \times s}$ . Die Dimensionen sind so gewählt, dass $p \cdot r = d_{out}$ und $q \cdot s = d_{in}$ gilt, was der Form der ursprünglichen Gewichtmatrix entspricht. Diese Struktur ermöglicht es dem Modell, eine hohe Rank-Expressivität (Rank bis zu $\min(d_{out}, d_{in})$ ) zu erreichen, während die Anzahl der Parameter für quadratische Schichten bei $O(d)$ bleibt, was signifikant niedriger ist als die $O(d^2)$ , die für volles Fine-Tuning oder High-Rank LoRA erforderlich wäre.

3. Training via reeller Proxies und STE

Da die Matrizen $A$ und $B$ diskret sein müssen, ist eine direkte gradientenbasierte Optimierung unmöglich. Die Autoren optimieren reelle Proxies $\bar{A}$ und $\bar{B}$ und projizieren diese während des Forward-Passes mithilfe einer Schwellenwertfunktion (basierend auf dem absoluten Mittelwert der Matrix) in den ternären Bereich. Gradienten werden durch einen Straight-Through Estimator (STE) durch diese nicht differenzierbare Projektion geleitet.

4. Inferenz und Zusammenführung (Merging)

Nach dem Training wird die Adaptation direkt durch elementweise Multiplikation in die Basengewichte zusammengeführt. Das resultierende Modell ist vollständig ternär und erfordert keinen zusätzlichen Parameter- oder Latenzaufwand während der Inferenz.

Zentrale Beiträge

Ternärer multiplikativer Adapter: Eine neuartige PEFT-Methode, die diskrete ternäre Updates (Vorzeichenumkehrungen und Nullsetzen) direkt auf ternären Gewichten modelliert und so den ternären Bereich während des Trainings und der Inferenz bewahrt.
Kronecker-Zerlegung: Eine kompakte, Low-Rank-Darstellung der ternären Update-Maske, die die Balance zwischen Parametereffizienz und hoher Expressivität hält und es der Adaptation ermöglicht, alle Gewichte einer Schicht abzudecken.
Zero-Overhead-Bereitstellung: Die Methode erlaubt die vollständige Zusammenführung des Adapters in das Basismodell, was zu einem strikt ternären Modell führt, das keine Dequantisierungs- oder Rekvantisierungsschritte benötigt.
Empirische Validierung: Umfassende Evaluierung über sechs Modelle (LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58 und ViT-B/16), welche die Wiederherstellung der durch Quantisierung verlorenen Leistung demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode auf Sprach- und Bildaufgaben im Vergleich zu Full-Precision-Baselines, Post-Training-Quantisierungs-Baselines (PTQ) und QLoRA-Varianten.

LLM-Leistung (Llama-3.2 1B/3B): Beim Llama-3.2 1B-Modell verbesserte die Methode den durchschnittlichen Benchmark-Score von 33,2 (ternärer SpinQuant-Baseline) auf 35,3 und übertraf damit 2-Bit-Baselines in sieben von neun Aufgaben. Für Llama-3.2 3B erreichte die Methode eine durchschnittliche Genauigkeit von 38,3, womit sie die 2-Bit-SpinQuant-Baseline (32,6) und die 1,58-Bit-Baseline (31,9) in allen neun Benchmarks übertraf.
Perplexität (PPL): Die Methode reduzierte die Perplexität im Vergleich zur ternären SpinQuant-Baseline signifikant (z. B. von 86,5 auf 44,6 für Llama-1B) und übertraf QLoRA, das zusammengeführt und auf 1,58 Bits rekwantisiert wurde.
Downstream-Adaptation: Beim Fine-Tuning vortrainierter ternärer Modelle (Falcon-E, BitNet) auf GSM8K verbesserte die Methode die Exact-Match-Genauigkeit um +1,0 bis +3,1 Punkte gegenüber den eingefrorenen ternären Backbones.
Vision (ViT-B/16): Auf ImageNet-100 erreichte der zusammengeführte ternäre ViT eine Top-1-Genauigkeit von 83,0 %, was die rekquantisierte QLoRA-Baseline (78,9 %) übertraf und die Lücke zum vollen ternären Fine-Tuning (85,7 %) verringerte.
Gewichtsanalyse: Die Übergangsanalyse ergab, dass die Genauigkeitsgewinne primlich durch die Umverteilung der Vorzeichen unter den bestehenden Nicht-Null-Gewichten erzielt werden. Die Methode kann Gewichte, die auf Null quantisiert wurden, nicht reaktivieren, da das multiplikative Update keinen Wert von Null in einen Nicht-Null-Wert ändern kann.

Bedeutung und Ansprüche

Das Paper behauptet, dass diese Arbeit eine kritische Lücke in der effizienten Modelladaptation schließt: die Ermöglichung des Fine-Tunings extrem niedrig-bitiger (ternärer) Modelle, ohne die Speicher- und Rechenvorteile des ternären Formats zu opfern. Durch das Vermeiden von Dequantisierung und Rekquantisierung verhindert die Methode die mit diesen Schritten verbundene Genauigkeitsdegradation bei Sub-2-Bit-Präzision.

Die Autoren betonen, dass ihr Ansatz der erste ist, der ein zusammengeführtes Modell erzeugt, das strikt ternär bleibt, während er gleichzeitig eine parametereffiziente Adaptationsstrategie nutzt. Dies ermöglicht den Einsatz hochkomprimierter, feinabgestimmter Modelle auf ressourcenbeschränkter Hardware ohne den Inferenzaufwand separater Adaptermodule oder den Präzisionsverlust durch Rekquantisierung. Die Arbeit zeigt, dass ternäre Modelle effektiv an Downstream-Aufgaben angepasst werden können, wodurch ein Großteil der durch den initialen Quantisierungsprozess verlorenen Leistung wiederhergestellt wird.