🤖 machine learning

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

LARA ist eine leichtgewichtige Adaptionsmethode, die Low-Rank-Korrekturen direkt in den Residual Stream eines eingefrorenen Modells injiziert und so eine effiziente, parameter-entsprechende Leistung, eine reibungslose Steuerung während der Inferenz mittels eines Skalierungsfaktors sowie das gleichzeitige Hosting mehrerer distinkter Verhaltensweisen auf einem einzigen Gerät ermöglicht.

Ursprüngliche Autoren: Pascal Ekin, Hyosun Choi, Wei Jie

Veröffentlicht 2026-08-03

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pascal Ekin, Hyosun Choi, Wei Jie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der fast alles im Internet gelesen hat. Er ist ein Genie, aber er ist auch ein wenig eigensinnig: Sobald er seine Lektionen gelernt hat, kann man ihn nicht einfach neue Tricks lehren, ohne sein Gehirn zu beschädigen oder eine massive Menge an Speicherplatz zu benötigen, um eine völlig neue Version seiner selbst zu speichern. Das ist die Welt der Großen Sprachmodelle (Large Language Models, LLMs). Um diese Roboter für spezifische Aufgaben hilfreich zu machen – wie etwa das Schreiben von Python-Code oder das Geben medizinischer Ratschläge – nutzen Wissenschaftler normalerweise eine Technik namens Fine-Tuning. Betrachten Sie dies als das Überreichen eines neuen Lehrbuchs an den Roboter. Die alte, dominante Methode, genannt LoRA, ist so, als würde man das Gehirn des Roboters auseinandernehmen, ein paar Seiten seines internen Handbuchs umschreiben und es dann wieder zusammenkleben. Es funktioniert gut, aber es ist schwerfällig. Wenn Sie möchten, dass der Roboter ein Programmierer und ein Arzt und ein Dichter ist, müssen Sie drei verschiedene, schwere Versionen seines Geirms mit sich herumtragen, was unmöglich ist für ein kleines Gerät wie ein Telefon.

Hier kommt LARA (Lightweight Additive Residual Adaptation) ins Spiel, eine neue Idee von Forschern des Royal Holloway und der University of West London. Anstatt das interne Handbuch des Roboters umzuschreiben, behandelt LARA das Gehirn des Roboters als ein festes, unveränderliches Fundament. Es fügt eine winzige, abnehmbare „Notiz“ zum Informationsstrom des Roboters hinzu, kurz bevor dieser spricht. Diese Notiz ist so klein und leichtgewichtig, dass Sie eine ganze Bibliothek an verschiedenen „Persönlichkeiten“ (eine für das Programmieren, eine für Mathematik, eine für Freundlichkeit) gleichzeitig auf demselben Roboter beherbergen können. Der Roboter kann dann zwischen diesen Persönlichkeiten sofort, Wort für Wort, wechseln, ohne dass er sein gesamtes Gehirn neu laden muss. Dieses Paper legt nahe, dass diese „Notiz-Methode“ genauso gut funktioniert wie die schwere „Umschreib-Methode“, aber mit einer Superkraft: Sie können die Lautstärke des neuen Verhaltens aufdrehen oder leiser stellen, und Sie können viele Verhaltensweisen in einen winzigen Raum packen, was es möglich macht, eine vielseitige KI direkt auf Ihrem Gerät auszuführen.

Das Problem: Das schwere Gehirn

Stellen Sie sich vor, Sie haben die riesige, gefrorene Statue eines Genies. Sie ist perfekt, aber sie kann sich nicht verändern. Wenn Sie möchten, dass sie anfängt, Französisch zu sprechen, können Sie ihr nicht einfach etwas zuflüstern; Sie müssen neue Muskeln in den Stein meißeln. Das ist es, was die meisten KI-Adaptionen tun: Sie versuchen, die Statue zu meißeln. Die populäre Methode, LoRA, ist wie das Hinzufügen einer dünnen Schicht Ton über die Muskeln der Statue. Es funktioniert, aber wenn Sie möchten, dass die Statue Französisch, Spanisch und Deutsch spricht, benötigen Sie drei verschiedene Statuen oder drei verschiedene Schichten aus Ton, die Sie hinein- und herauswechseln müssen. Das ist langsam und nimmt viel Platz ein.

Die Lösung: Der Klebezettel

Die Forscher hinter LARA stellten eine andere Frage: „Was wäre, wenn wir die Statue gar nicht erst berühren?“ Anstatt zu meißeln oder Ton hinzuzufügen, entschieden sie sich, jedes Mal, wenn die Statue nach etwas greift, einen winzigen, magischen Klebezettel an ihre Hand zu kleben.

In der Welt der KI wird die „Hand“ als Residual Stream bezeichnet. Es ist der Informationsfluss, der durch die Schichten des Modells fließt, wie ein Fluss, der die Gedanken des Roboters trägt. LARA verändert nicht das Flussbett (die eingefrorenen Gewichte/Weights); es taucht lediglich einen kleinen, niedrig-rangigen Schwamm in den Fluss, drückt ein winziges Stück „Korrektur“ heraus und gibt es wieder in das Wasser zurück.

Der Schwamm: Dies ist ein winziges Modul mit nur etwa 2,39 Millionen trainierbaren Parametern.
Der Fluss: Das Hauptmodell (ein 1,5 Milliarden Parameter Modell) bleibt völlig eingefroren und unberührt.

Da das Hauptmodell niemals berührt wird, ist der „Basis“-Roboter immer da und einsatzbereit. Der Schwamm fügt den Gedanken, die vorbeifließen, einfach nur ein wenig „Geschmack“ hinzu.

Die magischen Tricks

Das Paper fand drei coole Dinge über diesen Ansatz heraus:

1. Es ist genauso gut wie der schwere Weg
Die Forscher testeten LARA bei einer Aufgabe zum Schreiben von Code und einer „Präferenz“-Aufgabe (dem Roboter beizubringen, hilfreicher und weniger unhöflich zu sein). Sie verglichen es mit der schweren Ton-Methode (LoRA) unter Verwendung exakt derselben Anzahl an trainierbaren Parametern. Das Ergebnis? LARA war ebenbürtig mit LoRA. Es lernte, Code zu schreiben und Präferenzen zu folgen, genau so gut, obwohl es das ursprüngliche Gehirn nie berührt hat. Es ist, als wäre der Klebezettel genauso effektiv gewesen wie das Umschreiben des Handbuchs.

2. Der Lautstärkeregler
Hier wird LARA richtig spielerisch. Da die „Korrektur“ nur eine additive Notiz ist, können Sie einen Regler namens $\gamma$ (Gamma) in dem Moment drehen, in dem der Roboter spricht.

Wenn Sie $\gamma = 0$ setzen, ignoriert der Roboter die Notiz und agiert exakt wie die eingefrorene Basis.
Wenn Sie $\gamma = 1$ setzen, nutzt er die Notiz voll aus.
Wenn Sie $\gamma = 0,5$ setzen, ist es halb-halb.

Das Paper zeigt, dass Sie sanft zwischen der „langweiligen Basis“ und dem „Experten-Programmierer“ wechseln können, indem Sie einfach an diesem Regler drehen. Mit der schweren Ton-Methode (LoRA) können Sie dies nicht tun, sobald der Ton einmal aufgeklebt ist; das ist eine permanente Veränderung. Mit LARA können Sie sagen: „Hey Roboter, sei zu 70 % Programmierer und zu 30 % Dichter“, indem Sie einfach die Lautstärke anpassen.

3. Die Bibliothek der Persönlichkeiten
Das ist der entscheidende Punkt. Da die Basis eingefroren ist und die Notizen winzig sind, können Sie sieben verschiedene Verhaltensweisen gleichzeitig auf demselben 1,5 Milliarden Parameter Modell leben lassen.

Die Forscher platzierten sechs feinabgestimmte Verhaltensweisen (Code, allgemeiner Chat, Mathematik, Medizin, ein zweiter Code-Satz und Zusammenfassung) und ein „Präferenz“-Verhalten auf einem einzigen eingefrorenen Modell.
Das zusätzliche Gewicht für alle sieben zusammen? Nur 33 MB.
Wenn Sie die alte Methode verwendet hätten, bräuchten Sie sieben vollständige Kopien des Modells, was 21,6 GB beanspruchen würde.

Stellen Sie sich vor, Sie passen sieben verschiedene Persönlichkeiten in die Größe einer einzigen MP3-Datei. Das Modell verwendet einen winzigen „Router“ (einen Verkehrspolizisten), der jedes Wort, das der Roboter gleich sagen wird, betrachtet und entscheidet, welche Persönlichkeit es für dieses spezifische Wort ausleiht. Wenn der Satz von Mathematik handelt, schnappt er sich die Mathe-Notiz. Wenn es um Coding geht, schnappt er sich die Code-Notiz. Er kann sie sogar mischen, wenn ein Satz mehrdeutig ist.

Der Haken (und die Zukunft)

Das Paper ist vorsichtig darin zu betonen, dass dies noch kein magisches Allheilmittel für alles ist.

Der „Code“-Test: Der Beweis, dass LARA so gut wie LoRA funktioniert, wurde hauptsächlich an einem Code-Datensatz durchgeführt. Die Autoren deuten an, dass es wahrscheinlich auch für andere Dinge funktioniert, aber sie haben es noch nicht auf jedes erdenkliche Thema getestet.
Das „Verstärkungs“-Limit: Wenn Sie den Lautstärkeregler ( $\gamma$ ) zu hoch drehen (wie z. B. auf 3), fängt der Roboter an zu stottern und Fehler zu machen, besonders wenn viele Notizen gestapelt sind. Eine einzelne Notiz ist stabil, aber wenn man sechs Notizen stapelt und die Lautstärke voll aufdreht, tritt der Fluss über die Ufer.
Die Verwirrung des Routers: Wenn zwei Verhaltensweisen sehr ähnlich sind (wie zwei verschiedene Code-Datensätze), wird der Verkehrspolizist manchmal verwirrt und teilt die Stimme auf. Das Paper stellte jedoch fest, dass der Roboter selbst dann noch gute Arbeit leistet, wenn er verwirrt ist, da beide Notizen versuchen, beim Programmieren zu helfen.

Warum das wichtig ist

Das Paper legt nahe, dass wir vielleicht nicht für jede neue Fähigkeit riesige, separate Gehirne bauen müssen. Stattdessen können wir ein solides, eingefrorenes Gehirn haben und einen Rucksack voller kleiner, umschaltbarer Notizen. Das ist enorm wichtig für den Betrieb von KI auf Geräten wie Telefonen oder Laptops, wo der Speicher begrenzt ist. Es deutet auf eine Zukunft hin, in der Ihr Telefon eine einzige KI-Modell besitzt, das augenblicklich von Ihrem Mathe-Tutor zu Ihrem Coding-Assistenten oder Ihrem Partner für kreatives Schreiben wechseln kann, ohne dass Sie eine neue App herunterladen oder auf ein massives Update warten müssen. Die Forscher nennen dies „komponierbare Adaption“ (composable adaptation), aber Sie können es einfach als das Geben eines Kleiderschranks voller kleiner, magischer Klebezettel an Ihren Roboter betrachten.

Technisches Resümee: LARA (Lightweight Adapters in the Residual Stream)

Problemstellung

Die effiziente Anpassung großer vortrainierter Modelle basiert typischerweise auf der Modifikation der Modellgewichte, wobei Low-Rank Adaptation (LoRA) der dominante Ansatz ist. LoRA fügt eine trainierbare Low-Rank-Aktualisierung zu spezifischen Gewichtmatrizen hinzu und faltet die Anpassung effektiv in den Gewichtsraum ein. Obwohl dieser Ansatz effizient ist, weist er Einschränkungen auf:

Mangelnde Kontrolle zur Inferenzzeit: Einmal trainiert, ist die Anpassung fixiert. Methoden im Gewichtsraum bieten keinen Mechanismus, um das Verhalten des Basismodells und das der angepassten Version während der Inferenz reibungslos zu interpolieren, ohne ein erneutes Training oder das Laden anderer Gewichte durchzuführen.
Skalierbarkeit für multiple Verhaltensweisen: Die konventionelle Bereitstellung für mehrere Verhaltensweisen (z. B. verschiedene Domänen oder Aufgaben) erfordert oft das Laden einer separaten Kopie des vollständigen Modells oder distinkter Adapter-Sets für jede Aufgabe. Dies ist speicherintensiv, insbesondere für die Inferenz auf Geräten (On-Device).
Komponierbarkeit: Bestehende Methoden haben oft Schwierigkeiten, viele verschiedene Verhaltensweisen gleichzeitig auf einem einzigen eingefrorenen Basismodell zu hosten und diese pro Token automatisch zu routen.

Methodik: LARA

LARA (Lightweight Additive Residual Adaptation) schlägt vor, im Residual Stream eines eingefrorenen Transformer-Modells zu operieren, anstatt die Gewichte zu modifizieren.

Mechanismus: Anstatt Gewichtmatrizen zu aktualisieren, fügt LARA leichte Module an einer ausgewählten Teilmenge von Schichten ( $\mathcal{L}$ $L$ ) ein. In jeder ausgewählten Schicht $\ell$ $ℓ$ liest das Modul den Hidden State $h_\ell$ $h_{ℓ}$ , wendet eine Low-Rank-Transformation an und addiert die resultierende Korrektur zurück in den Residual Stream.
- Die Update-Regel lautet: $h_\ell \leftarrow h_\ell + \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $W_\downarrow$ ist eine $r \times d$ Matrix, $W_\uparrow$ ist eine $d \times r$ Matrix, und $r \ll d$ .
- $W_\uparrow$ wird mit Null initialisiert, was sicherstellt, dass das Modell zu Beginn des Trainings exakt wie das eingefrorene Basismodell agiert.
Eingefrorenes Basismodell: Die Basisgewichte werden nie verändert. Wenn die Module entfernt oder ihr Output auf Null gesetzt wird, ist der Forward Pass bitgenau identisch mit dem ursprünglichen eingefrorenen Modell.
Skalierung zur Inferenzzeit: Da die Anpassung additiv ist, kann zur Inferenzzeit ein Skalierungskoeffizient $\gamma$ $γ$ angewendet werden:
- $h_\ell \leftarrow h_\ell + \gamma \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $\gamma = 0$ stellt das Basismodell wieder her; $\gamma = 1$ stellt das trainierte Modell wieder her. Zwischenwerte ermöglichen eine abgestufte Kontrolle zwischen dem Basis- und dem angepassten Verhalten.
Multi-Behavior-Routing: Mehrere Verhaltensweisen (jeweils ein Satz von LARA-Modulen) können auf demselben eingefrorenen Basismodell existieren. Ein kleiner linearer Router liest den Hidden State und weist für jeden Token eine Verteilung über die Verhaltensweisen zu. Die Korrekturen aller aktiven Verhaltensweisen werden als gewichtete Summe pro Token gemischt.

Zentrale Beiträge

Das Paper beansprucht explizit drei primäre Beiträge:

Parität mit LoRA bei gleichem Parameteraufwand: Im Gegensatz zu vorangegangener Arbeit, die Residual-Adapter ohne Angleichung der Parameteranzahl mit LoRA vergleicht, etabliert diese Studie, dass LARA die Leistung von LoRA sowohl beim Code-Fine-Tuning als als auch bei der Präferenzoptimierung (DPO) erreicht, wenn mit gleichen Parameterbudgets trainiert wird.
Abgestufte Kontrolle zur Inferenzzeit: Die additive Natur von LARA ermöglicht einen Skalierungskoeffizienten $\gamma$ , der eine reibungslose Interpolation zwischen dem Basis- und dem angepassten Verhalten während der Inferenz erlaubt – ein Kontrollmechanismus, der bei der Anpassung im Gewichtsraum nicht verfügbar ist.
Komponierbare Verhaltensweisen auf einem einzigen Basismodell: Indem es das Basismodell eingefroren hält und die Verhaltensweisen als kleine Residual-Module behandelt, ermöglicht LARA das Hosting einer „Bank“ von Verhaltensweisen auf einem einzigen Modell. Diese können separat trainiert und pro Token automatisch geroutet werden, was den Speicherbedarf im Vergleich zum Laden separater Modellkopien signifikant reduziert.

Experimentelle Ergebnisse

Die Experimente wurden auf einem eingefrorenen Qwen2.5 1.5B Instruct Modell (8-bit) durchgeführt.

Fine-Tuning (Code): LARA (2,39 Mio. Parameter) und LoRA (2,18 Mio. Parameter) wurden auf einem Code-Korpus verglichen.
- Trainingsverteilung: LARA erreichte eine Perplexität von 1,70 gegenüber 1,75 bei LoRA.
- Instruction Split: LARA erreichte 7,50 gegenüber 6,74 bei LoRA.
- Fazit: Bei gleichem Parameteraufwand erreicht LARA die gleiche Fine-Tuning-Qualität wie LoRA.
Präferenzoptimierung (DPO): Angewendet auf UltraFeedback-Präferenzpaare.
- LARA erreichte eine Reward-Genauigkeit von 0,625 gegenüber 0,613 bei LoRA.
- Beide Methoden übertrafen das eingefrorene Basismodell (0,55) deutlich.
Inferenz-Skalierung: Das Variieren von $\gamma$ von 0 bis 3 zeigte, dass die Perplexität für $\gamma \in [0, 1]$ monoton zwischen dem Basis- und den trainierten Werten verläuft. Die Stabilität hängt jedoch von der Platzierung ab: Eine Single-Layer-Bridge blieb auch bei hohem $\gamma$ stabil, während eine Multi-Layer-Konfiguration bei einer Verstärkung über $\gamma=1$ hinaus stark degradierte.
Hosting multipler Verhaltensweisen: Sieben Verhaltensweisen (6 Fine-Tuned, 1 DPO-optimiert) wurden auf einem 1,5B-Modell gehostet.
- Speicher: Das Basismodell (3,09 GB resident) + 7 Verhaltensweisen + Router = 3,12 GB. Dies ist ein Bruchteil der ca. 21,6 GB, die für sieben separate Modellkopien erforderlich wären.
- Leistung: Unter Soft-Routing behielten die Verhaltensweisen 87 % bis 99 % ihrer dedizierten Leistung bei. Der Router leitete Token erfolgreich mit hoher Konfidenz (>0,94) an domänenspezifische Verhaltensweisen (z. B. Mathematik, Medizin) weiter, hatte jedoch Schwierigkeiten, sehr ähnliche Code-Domänen zu trennen.
- Gemeinsame Aktivierung: Das Präferenz-Verhalten konnte neben Domänen-Verhaltensweisen auf gemeinsamen Tokens (z. B. allgemeine Instruktionen) aktiviert werden, was die Komponierbarkeit demonstriert.

Bedeutung und Ansprüche

Das Paper positioniert LARA nicht als neuen Mechanismus (da Residual-Adapter und Side-Tuning etabliert sind), sondern als eine rigorose Charakterisierung dieses Ansatzes im Kontext moderner effizienter Anpassung.

Praktische Auswirkungen: Der primäre praktische Nutzen liegt in der Fähigkeit, eine „Bank von Verhaltensweisen“ mit minimalem Speicheraufwand auf einem einzigen eingefrorenen Modell zu hosten (Megabytes pro Verhalten), was es für die Inferenz auf Geräten geeignet macht, bei denen der Speicher eine einschränkende Ressource darstellt.
Designphilosophie: Der Ansatz behandelt die Anpassung als ein Residuum, das neben der eingefrorenen Berechnung platziert wird, anstatt sie in diese einzufalten. Dies ermöglicht es, Verhaltensweisen separat zu trainieren und zur Bank hinzuzufügen, ohne das Basismodell neu anzupassen.
Einschränkungen: Die Autoren merken an, dass die Parität beim Fine-Tuning auf einem Code-Korpus etabliert wurde und die Generalisierung auf andere Domänen weitere Tests erfordert. Die Inferenz-Skalierung und die gemeinsame Anwendung wurden über Perplexität und Aktivierungsgewichte gemessen, nicht notwendigerweise über das nachgeschaltete behaviorale Alignment. Der Vergleich erfolgt strikt gegen LoRA, nicht gegen andere Methoden im Gewichts- oder Aktivierungsraum.

Zusammenfassend zeigt LARA, dass effiziente Anpassung im Residual Stream mit einer Qualität handhabbar ist, die mit Methoden im Gewichtsraum vergleichbar ist, während es gleichzeitig die einzigartige Möglichkeit zur Skalierung zur Inferenzzeit und das komponierbare Hosting multipler Verhaltensweisen auf einem einzigen Gerät bietet.