🤖 machine learning

LoCO: Low-rank Compositional Rotation Fine-tuning

LoCO ist eine neuartige, parameter-effiziente Feinabstimmungsmethode, die orthogonale Transformationen mittels rangniedriger schiefsymmetrischer Matrizen und zusammengesetzter Rotationsketten konstruiert, um die geometrische Struktur vortrainierter Repräsentationen zu bewahren und gleichzeitig eine effiziente parallele Berechnung über verschiedene Domänen hinweg zu ermöglichen.

Ursprüngliche Autoren: An Nguyen, Jaesik Choi, Anh Tong

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: An Nguyen, Jaesik Choi, Anh Tong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich intelligenten Roboter, der bereits gelernt hat, jede Sprache zu sprechen, jeden Gegenstand zu erkennen und wunderschöne Bilder zu malen. Dieser Roboter ist wie ein „Fundamentmodell" in der KI. Er ist so groß und leistungsstark, dass das Training von Grund auf einen Supercomputer Jahre in Anspruch nehmen würde.

Nun stellen Sie sich vor, Sie möchten diesem Roboter einen spezifischen neuen Trick beibringen, etwa das Schreiben von Gedichten im Stil Shakespeares oder das Korrigieren von unscharfen Fotos. Die alte Methode bestand darin, den gesamten Roboter zu „feinabstimmen" – im Wesentlichen sein gesamtes Gehirn neu zu schreiben. Das ist vergleichbar mit dem Versuch, einem 1.000-Personen-Chor einen neuen Tanz beizubringen, indem man jeden einzelnen Menschen neue Schritte lernen lässt. Es ist teuer, langsam und birgt das Risiko, dass der Chor vergisst, wie man seine ursprünglichen Lieder singt.

Das Problem mit aktuellen „intelligenten" Tricks
Um Zeit zu sparen, entwickelten Wissenschaftler eine „parametereffiziente Feinabstimmung" (PEFT). Anstatt das gesamte Gehirn neu zu schreiben, fügen sie eine winzige, leichte „Adapter"-Schicht hinzu. Stellen Sie sich das vor, als würden Sie dem Chor ein neues Notenblatt geben, das sie während des Singens halten.

Die meisten aktuellen Adapter funktionieren jedoch, indem sie neue Noten zum Lied hinzufügen. Das Papier argumentiert, dass dies etwas ungeschickt ist. Wenn Sie einfach Noten hinzufügen, könnten Sie versehentlich die Lautstärke oder den Rhythmus des ursprünglichen Liedes verändern und das ursprüngliche Verständnis des Roboters verzerren.

Einige neuere Methoden versuchen, die Noten stattdessen zu rotieren anstatt sie hinzuzufügen. Stellen Sie sich vor, Sie drehen die Formation des Chors um 90 Grad. Dadurch bleibt der Abstand zwischen jedem Sänger exakt gleich, was die perfekte Harmonie des ursprünglichen Liedes bewahrt. Dies wird als „Orthogonale Feinabstimmung" bezeichnet.

Die Engstelle: Das „Dreh"-Problem
Hier liegt der Haken: Eine riesige Chorformation (oder ein hochdimensionales KI-Modell) zu drehen, ist mathematisch aufwendig. Um eine perfekte Rotation durchzuführen, muss man normalerweise ein riesiges, komplexes Puzzle lösen, das viel Zeit und Speicherplatz erfordert. Es ist, als würde man versuchen, einen 1.000-Personen-Chor in einem winzigen Raum zu drehen; man bräuchte enorm viel Platz und Zeit, um sicherzustellen, dass alle sich bewegen, ohne zusammenzustoßen.

Bestehende Methoden versuchten dies zu lösen, indem sie den Chor in kleine, separate Gruppen aufteilten (blockdiagonal) oder eine komplexe, schrittweise Tanzroutine verwendeten (Butterfly-Faktorisierung). Doch diese Methoden schränken entweder die Kreativität des Tanzes ein oder sind immer noch zu langsam, weil die Tänzer warten müssen, bis die Person vor ihnen sich bewegt hat.

Die Lösung: LoCO (Low-rank Compositional Orthogonal Fine-tuning)
Die Autoren dieses Papiers stellen LoCO vor, eine neue Methode, dem Roboter beizubringen, die wie ein „magischer Drehtrick" funktioniert.

Der Low-Rank-Abkürzungsweg: Anstatt zu versuchen, den gesamten riesigen Chor auf einmal zu drehen, erkennt LoCO, dass man nur einige wenige Schlüsselpersonen bewegen muss, um die Richtung der gesamten Formation zu ändern. Sie nutzen einen mathematischen Trick (die Sherman-Morrison-Woodbury-Identität), der es ihnen ermöglicht, die Rotation des gesamten Chors zu berechnen, indem sie nur die Mathematik für eine winzige Handvoll Personen durchführen. Es ist, als würde man die Rotation einer ganzen Galaxie berechnen, indem man nur ein paar Sterne verfolgt.
Der parallele Tanz: Normalerweise muss man eine komplexe Rotation schrittweise durchführen (links drehen, dann nach oben drehen, dann rechts drehen). LoCO verwendet eine clevere Näherung, die es ermöglicht, all diese Drehungen gleichzeitig durchzuführen. Es ist, als würde man dem gesamten Chor befehlen, sich gleichzeitig in verschiedene Richtungen zu drehen, anstatt darauf zu warten, dass eine Reihe von Menschen ein Staffelholz weitergibt. Dies macht den Prozess unglaublich schnell und effizient.
Der Temperatur-Regler: Eine der coolsten Funktionen von LoCO ist eine „Temperatur"-Einstellung. Stellen Sie sich vor, Sie haben dem Chor einen neuen Tanz beigebracht. Manchmal möchten Sie, dass er den Tanz genau so ausführt, wie er gelehrt wurde; zu anderen Zeiten möchten Sie, dass er ihn mit einem Hauch seines ursprünglichen Stils mischt. LoCO verfügt über einen einfachen Regler (einen Temperaturparameter), mit dem Sie nahtlos zwischen dem „ursprünglichen Roboter" und dem „neu trainierten Roboter" wechseln können, ohne das Modell neu trainieren zu müssen. Es ist wie ein Lautstärkeregler für die neue Fähigkeit.

Was sie herausfanden
Das Team testete LoCO an drei verschiedenen Arten von KI-Robotern:

Sprachmodelle: Ihnen beizubringen, Grammatik zu verstehen und mathematische Probleme zu lösen.
Diffusions-Transformer: Ihnen beizubringen, Bilder basierend auf Text oder Skizzen zu generieren.
Vision-Transformer: Ihnen beizubringen, Objekte auf Fotos zu erkennen.

In jedem Test schnitt LoCO genauso gut oder besser ab als die bestehenden Methoden. Es war schneller zu trainieren, verbrauchte weniger Computerspeicher und verzerrte das ursprüngliche Wissen des Roboters nicht.

Auf den Punkt gebracht
LoCO ist eine neue, effiziente Methode, um riesigen KI-Modellen neue Fähigkeiten beizubringen. Anstatt ihre Gehirne neu zu schreiben oder ungeschickt neue Teile hinzuzufügen, „rotiert" es sanft ihr bestehendes Wissen unter Verwendung einer schnellen, parallelen mathematischen Abkürzung. Es bewahrt die ursprüngliche Intelligenz des Roboters, ermöglicht ihm gleichzeitig, neue Aufgaben schnell zu erlernen, und bietet Ihnen sogar einen Regler, um genau zu steuern, wie viel von der neuen Fähigkeit Sie nutzen möchten.

Technischer Überblick: LoCO – Feinabstimmung mit niedrigrangiger zusammengesetzter Rotation

Problemstellung

Die parameter-effiziente Feinabstimmung (PEFT) ist unverzichtbar geworden, um große Basis-Modelle (z. B. LLMs, Vision Transformer, Diffusion Transformer) an nachgelagerte Aufgaben anzupassen, ohne die prohibitiven Rechenkosten und das Risiko katastrophalen Vergessens, die mit einer vollständigen Feinabstimmung verbunden sind. Während bestehende Methoden wie die Low-Rank Adaptation (LoRA) Effizienz durch additive niedrigrangige Updates erreichen, bewahren sie die geometrische Struktur vortrainierter Repräsentationen nicht inhärent.

Orthogonale Feinabstimmungsmethoden adressieren dies, indem sie multiplikative Transformationen anwenden, die auf der speziellen orthogonalen Gruppe ($SO(d)$) eingeschränkt sind, welche die paarweisen Winkelbeziehungen und die hypersphärische Energie-Struktur von Merkmalen bewahren. Diese Methoden stoßen jedoch auf ein fundamentales Rechen-Engpass: Der Aufbau und die Anwendung allgemeiner orthogonaler Matrizen erfordern typischerweise eine Komplexität von $O(d^3)$ aufgrund von Matrixinversionen oder exponentiellen Berechnungen. Bisherige Lösungen, wie block-diagonale Matrizen (OFT) oder Schmetterlings-Faktorisierungen (BOFT), setzen strukturelle Einschränkungen voraus, die die Ausdruckskraft begrenzen oder auf moderner Hardware zu ineffizienten Speicherzugriffsmustern führen. Darüber hinaus behindern Methoden, die auf sequenziellen Kompositionen basieren (z. B. Householder-Reflexionen), die Parallelisierung und begrenzen den Trainingsdurchsatz.

Methodik

Die Autoren schlagen LoCO (Low-rank Compositional Orthogonal Fine-tuning) vor, eine Methode, die orthogonale Transformationen unter Verwendung von niedrigrangigen schiefsymmetrischen Matrizen und zusammengesetzten Rotationsketten konstruiert, die für parallele Berechnung optimiert sind.

1. Niedrigrangige schiefsymmetrische Parametrisierung

LoCO nutzt die mathematische Eigenschaft, dass der Tangentialraum der speziellen orthogonalen Gruppe $SO(d)$ aus schiefsymmetrischen Matrizen besteht ( $A^T = -A$ ). Anstatt eine vollständige $d \times d$ schiefsymmetrische Matrix zu lernen, parametrisiert LoCO diese unter Verwendung einer niedrigrangigen äußeren Produktform:
$A = UV^T - VU^T$
wobei $U, V \in \mathbb{R}^{d \times r}$ und $r \ll d$ . Dies wird unter Verwendung von Hilfsmatrizen $X = [U | -V]$ und $Y = [V | U]$ so umgeschrieben, dass $A = XY^T$ gilt.

2. Effiziente Berechnung via Cayley-Transformation und Woodbury-Identität

Um aus der schiefsymmetrischen Matrix $A$ die Rotationsmatrix $R \in SO(d)$ zu erzeugen, verwendet LoCO die Cayley-Transformation:
$R = (I - A)^{-1}(I + A)$
Die direkte Inversion der $d \times d$ -Matrix $(I-A)$ ist rechenintensiv. LoCO nutzt die Sherman-Morrison-Woodbury-Identität, um die Inversionskomplexität zu reduzieren. Durch Einsetzen von $A = XY^T$ wird die Inversion einer $d \times d$ -Matrix in die Inversion einer kleinen $2r \times 2r$ -Matrix umgewandelt:
$R = I + 2X(I - Y^T X)^{-1}Y^T$
Dies reduziert die rechnerische Komplexität von $O(d^3)$ auf $O(dr^2 + r^3)$ , was unter der Annahme $r \ll d$ zu $O(dr^2)$ vereinfacht wird.

3. Zusammengesetzte Rotationsketten und parallele Approximation

Um die Ausdruckskraft zu erhöhen, komponiert LoCO mehrere Rotationskomponenten: $R = R_1 R_2 \dots R_n$ . Während die exakte Komposition eine sequenzielle Matrixmultiplikation erfordert, führt LoCO eine Approximation erster Ordnung ein, die eine vollständig parallele Berechnung ermöglicht:
$R \approx I + \sum_{i=1}^n 2X_i(I - Y_i^T X_i)^{-1}Y_i^T$
Eine theoretische Analyse bestätigt, dass für Feinabstimmungsszenarien, bei denen Parameteraktualisierungen klein sind (nahe der Initialisierung bei Null), die Fehlerterme höherer Ordnung vernachlässigbar sind ( $O(\epsilon^4)$ und darüber). Diese Approximation ermöglicht es, alle Rotationskomponenten parallel zu berechnen und zu summieren, wodurch die GPU-Parallelisierung voll ausgenutzt und die sequenziellen Engpässe von Methoden wie BOFT oder HRA vermieden werden.

4. Temperaturskalierung zur Testzeit

LoCO führt einen skalaren Temperaturparameter $t$ ein, der während der Inferenz auf die schiefsymmetrische Matrix $A$ angewendet wird ( $R = (I - At)^{-1}(I + At)$ ). Dies ermöglicht eine glatte Interpolation zwischen dem vortrainierten Verhalten ( $t=0$ ) und dem vollständig adaptierten Verhalten ( $t=1$ ) und bietet eine kontrollierbare Anpassungsstärke ohne Nachtraining.

Hauptbeiträge

Neue PEFT-Architektur: Die Vorstellung von LoCO, das orthogonale Transformationen über niedrigrangige schiefsymmetrische Matrizen konstruiert und eine effiziente Anpassung in hochdimensionalen Räumen ermöglicht.
Parallelisierbare Approximation: Die Einführung eines Approximationsschemas erster Ordnung für zusammengesetzte Rotationsketten. Dies ermöglicht die parallele Berechnung mehrerer Rotationskomponenten unter Beibehaltung der Orthogonalität mit begrenztem Approximationsfehler, eine Eigenschaft, die bei früheren sequenziellen orthogonalen Methoden fehlt.
Kontrollierbare Inferenz: Die Entwicklung eines Temperaturskalierungsmechanismus zur Testzeit, der eine flexible Kontrolle der Anpassungsstärke ermöglicht und eine Alternative zu kostspieligen Regularisierungsschemata bietet, die in früheren orthogonalen Methoden verwendet wurden.
Empirische Validierung: Demonstration von State-of-the-Art- oder wettbewerbsfähigen Leistungen über diverse Benchmarks hinweg (GLUE, GSM8K, MATH, VTAB-1k und kontrollierte Diffusionsgenerierung) bei gleichzeitig geringerer Speichernutzung und höherer Trainingseffizienz im Vergleich zu OFT, BOFT und HRA.

Experimentelle Ergebnisse

Die Autoren bewerteten LoCO in drei Domänen:

Large Language Models (NLU & Schlussfolgerung): Auf dem GLUE-Benchmark erzielte LoCO die höchste Durchschnittspunktzahl (87,75) und übertraf dabei HRA (85,64) und OFT (87,63), obwohl weniger Parameter verwendet wurden. Bei mathematischem Schlussfolgern (LLaMA-2-7B auf GSM8K/MATH) erzielte LoCO die beste GSM8K-Punktzahl (50,19 %) und wettbewerbsfähige MATH-Ergebnisse und übertraf dabei block-diagonale und Householder-basierte Baselines.
Diffusion Transformer: Bei konditionierten Generierungsaufgaben (z. B. Kante-zu-Bild, Tiefe-zu-Bild) unter Verwendung von FLUX.1 zeigte LoCO eine überlegene Ausrichtungstreue (CLIP-Bildwerte) und wettbewerbsfähige Bildqualitätsmetriken (FID, SSIM) im Vergleich zu LoRA und BOFT. Bemerkenswerterweise ermöglichte der Temperaturskalierungsmechanismus eine robuste Generierungsqualität über verschiedene Anpassungsstärken hinweg, im Gegensatz zur spröden Skalierung, die bei LoRA beobachtet wurde.
Vision Transformer (VTAB-1k): LoCO erzielte wettbewerbsfähige Genauigkeiten über die Aufgabengruppen Natural, Specialized und Structured hinweg. Es übertraf andere orthogonale Methoden insbesondere bei strukturierten Aufgaben (63,4 % mittlere Genauigkeit) und zeigte eine starke Übertragung auf medizinische Bildgebung (Patch Camelyon: 88,1 %).

Effizienz: LoCO entsprach der Trainingseffizienz von sparse OFT und übertraf dichte Methoden (HRA, BOFT) sowohl in der Schrittzeit als auch bei der Speichernutzung deutlich. HRA und BOFT erlitten erhebliche Speicherüberhänge aufgrund der Materialisierung dichter Matrizen oder sequenzieller Abhängigkeiten, während LoCOs paralleles, input-zentriertes Design einen stabilen Durchsatz aufrechterhielt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LoCO erfolgreich die Lücke zwischen den geometrischen Vorteilen orthogonaler Feinabstimmung und der für moderne hochdimensionale Modelle erforderlichen Recheneffizienz schließt. Durch die Ausnutzung der niedrigrangigen Struktur des Tangentialraums und die Verwendung einer parallelisierbaren Approximation erster Ordnung vermeidet LoCO die kubische Komplexität und sequenziellen Engpässe bestehender orthogonaler Methoden.

Die Autoren betonen, dass ihre Methode die Winkelstruktur vortrainierter Repräsentationen bewahrt – eine kritische Eigenschaft für Aufgaben, bei denen semantische Informationen in Winkeln und nicht in Beträgen kodiert sind –, während sie praktische Vorteile wie eine kontrollierbare Inferenzstärke und überlegene Skalierbarkeit bietet. Die Ergebnisse deuten darauf hin, dass die niedrigrangige schiefsymmetrische Parametrisierung eine effektivere Strategie zur Erfassung von Schlussfolgerungsmustern und semantischer Ausrichtung ist als block-diagonale oder Householder-Reflexionsstrukturen.

Die Arbeit schließt bescheiden, indem sie feststellt, dass LoCO zwar die Skalierbarkeit für typische Szenarien adressiert, zukünftige Arbeiten jedoch theoretische Optimierungen für optimale Rotationszerlegungen und Erweiterungen auf multimodale Modelle untersuchen könnten.