🤖 machine learning

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

LARA is een lichte adaptatiemethode die low-rank correcties direct in de residual stream van een bevroren model injecteert, wat efficiënte prestaties met overeenkomstige parameters, vloeiende controle tijdens de inferentie via een schaleringsfactor en het gelijktijdig hosten van meerdere verschillende gedragingen op een enkel apparaat mogelijk maakt.

Oorspronkelijke auteurs: Pascal Ekin, Hyosun Choi, Wei Jie

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pascal Ekin, Hyosun Choi, Wei Jie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die bijna alles op het internet heeft gelezen. Het is een genie, maar het is ook een beetje eigenwijs: zodra het zijn lessen heeft geleerd, kun je het niet gemakkelijk nieuwe trucjes leren zonder de hersenen te breken of een enorme hoeveelheid geheugen nodig te hebben om een hele nieuwe versie van zichzelf op te slaan. Dit is de wereld van Large Language Models (LLMs). Om deze robots nuttig te maken voor specifieke taken — zoals het schrijven van Python-code of het geven van medisch advies — gebruiken wetenschappers meestal een techniek genaamd fine-tuning. Denk hierbij aan het geven van een nieuw tekstboek aan de robot. De oude, dominante methode, genaamd LoRA, is alsof je de hersenen van de robot uit elkaar haalt, een paar pagina's van de interne instructiehandleiding herschrijft en het daarna weer aan elkaar lijmt. Het werkt goed, maar het is zwaar. Als je wilt dat de robot een programmeur én een arts én een dichter is, moet je drie verschillende, zware versies van zijn hersenen meedragen, wat onmogelijk is voor een klein apparaatje zoals een telefoon.

Maak kennis met LARA (Lightweight Additive Residual Adaptation), een nieuw idee van onderzoekers van Royal Holloway en de University of West London. In plaats van de interne handleiding van de robot te herschrijven, behandelt LARA de hersenen van de robot als een vaste, onveranderlijke fundering. Het voegt een klein, afneembaar "briefje" toe aan de stroom van gedachten van de robot vlak voordat hij spreekt. Dit briefje is zo klein en lichtgewicht dat je een hele bibliotheek aan verschillende "persoonlijkheden" (één voor coderen, één voor wiskunde, één om aardig te zijn) tegelijkertijd op dezelfde robot kunt hebben. De robot kan vervolgens direct tussen deze persoonlijkheden schakelen, woord voor woord, zonder dat hij zijn hele brein opnieuw hoeft te laden. Dit artikel suggereert dat deze "briefjes-methode" net zo goed werkt als de zware "herschrijf-methode", maar met een superkracht: je kunt het volume van het nieuwe gedrag harder of zachter zetten, en je kunt veel gedragingen in een kleine ruimte verpakken, wat het mogelijk maakt om een veelzijdige AI direct op je apparaat te draaien.

Het Probleem: Het Zware Brein

Stel je voor dat je een gigantisch, bevroren standbeeld van een genie hebt. Het is perfect, maar het kan niet veranderen. Als je wilt dat het Frans gaat spreken, kun je er niet gewoon tegen fluisteren; je moet nieuwe spieren in de steen beitelen. Dat is wat de meeste AI-adaptatie doet: het probeert het standbeeld te beitelen. De populaire methode, LoRA, is als het toevoegen van een dunne laag klei over de spieren van het standbeeld. Het werkt, maar als je wilt dat het standbeeld Frans, Spaans en Duits spreekt, heb je drie verschillende standbeelden nodig, of drie verschillende lagen klei die je erin en eruit moet wisselen. Dit is traag en neemt veel ruimte in beslag.

De Oplossing: Het Post-it Briefje

De onderzoekers achter LARA stelden een andere vraag: "Wat als we het standbeeld helemaal niet aanraken?" In plaats van te beitelen of klei toe te voegen, besloten ze een klein, magisch post-it briefje op de hand van het standbeeld te plakken elke keer dat het naar iets reikt.

In de wereld van AI wordt de "hand" de residual stream genoemd. Het is de informatiestroom die door de lagen van het model stroomt, als een rivier die de gedachten van de robot vervoert. LARA verandert de rivierbedding (de bevroren gewichten) niet; het dompelt alleen een kleine, laag-rangige spons in de rivier, knijpt een klein beetje "correctie" eruit en voegt dit weer toe aan het water.

De Spons: Dit is een klein module met slechts ongeveer 2,39 miljoen trainbare parameters.
De Rivier: Het hoofdmodel (een model met 1,5 miljard parameters) blijft volledig bevroren en onaangetast.

Omdat het hoofdmodel nooit wordt aangeraakt, is de "basis"-robot altijd aanwezig en klaar voor gebruik. De spons voegt alleen een beetje smaak toe aan de gedachten terwijl ze voorbijstromen.

De Magische Trucs

Het paper vond drie coole dingen aan deze aanpak:

1. Het is net zo goed als de zware manier
De onderzoekers testten LARA op een taak voor het schrijven van code en een "voorkeurs"-taak (de robot leren om behulpzamer en minder onbeleefd te zijn). Ze vergeleken het met de zware kleimethode (LoRA) met exact hetzelfde aantal trainbare parameters. Het resultaat? LARA kwam overeen met LoRA. Het leerde net zo goed code te schrijven en voorkeuren op te volgen, zelfs zonder de originele hersenen aan te raken. Het is alsof het post-it briefje net zo effectief was als het herschrijven van de handleiding.

2. De Volumeknop
Dit is waar LARA echt speels wordt. Omdat de "correctie" slechts een additieve noot is, kun je een draaiknop genaamd $\gamma$ (gamma) gebruiken op het moment dat de robot spreekt.

Als je $\gamma = 0$ instelt, negeert de robot het briefje en gedraagt hij zich exact als de bevroren basis.
Als je $\gamma = 1$ instelt, gebruikt hij het briefje volledig.
Als je $\gamma = 0,5$ instelt, is het een mix van beide.

Het paper laat zien dat je vloeiend kunt schakelen tussen de "saaie basis" en de "expert-programmeur" door simpelweg aan deze knop te draaien. Dit kun je niet met de zware kleimethode (LoRA) zodra het vastgeplakt zit; dat is een permanente verandering. Met LARA kun je zeggen: "Hé robot, wees 70% programmeur en 30% dichter," door alleen het volume aan te passen.

3. De Bibliotheek van Persoonlijkheden
Dit is de grote winnaar. Omdat de basis bevroren is en de briefjes minuscuul zijn, kun je zeven verschillende gedragingen tegelijkertijd op hetzelfde model van 1,5 miljard parameters hebben.

De onderzoekers plaatsten zes fijn afgestelde gedragingen (code, algemene chat, wiskunde, medisch, een tweede codelap en samenvatting) en één "voorkeur"-gedrag op één bevroren model.
Het totale extra gewicht voor alle zeven? Slechts 33 MB.
Als je de oude methode zou gebruiken, heb je zeven volledige kopieën van het model nodig, wat 21,6 GB zou kosten.

Stel je voor dat je zeven verschillende persoonlijkheden in de grootte van één MP3-bestand past. Het model gebruikt een kleine "router" (een verkeersregelaar) om naar elk woord te kijken dat de robot op het punt staat te zeggen en te beslissen welke persoonlijkheid hij voor dat specifieke woord moet lenen. Als de zin over wiskunde gaat, pakt hij het wiskunde-briefje. Als het over coderen gaat, pakt hij het code-briefje. Het kan ze zelfs mengen als een zin dubbelzinnig is.

De Addertjes (en de Toekomst)

Het paper is voorzichtig in de bewering dat dit nog geen wondermiddel voor alles is.

De "Code"-test: Het bewijs dat LARA net zo goed werkt als LoRA is voornamelijk gedaan op een dataset voor code. De auteurs suggereren dat het waarschijnlijk ook voor andere zaken werkt, maar ze hebben het nog niet volledig getest op elk mogelijk onderwerp.
De "Versterkings"-limiet: Als je de volumeknop ( $\gamma$ ) te hoog zet (zoals bij 3), begint de robot te stotteren en fouten te maken, vooral als je veel briefjes op elkaar stapelt. Eén briefje is stabiel, maar als je zes briefjes stapelt en het volume omhoog draait, loopt de rivier over.
Verwarring van de Router: Wanneer twee gedragingen erg vergelijkbaar zijn (zoals twee verschillende code-datasets), raakt de verkeersregelaar soms in de war en splitst hij de stemmen. Het paper vond echter dat de robot zelfs als hij in de war is nog steeds goed werk levert, omdat beide briefjes proberen te helpen met het coderen.

Waarom dit ertoe doet

Het paper suggereert dat we misschien niet voor elke nieuwe vaardigheid een enorme, aparte hersenpan nodig hebben. In plaats daarvan kunnen we één solide, bevroren brein hebben en een rugzak vol met kleine, schakelbare briefjes. Dit is enorm belangrijk voor het draaien van AI op apparaten zoals telefoons of laptops, waar het geheugen beperkt is. Het suggereert een toekomst waarin je telefoon één AI-model heeft dat direct kan schakelen van je wiskundeleraar naar je programmeerassistent naar je creatieve schrijfpartner, zonder dat je een nieuwe app hoeft te downloaden of te wachten op een enorme update. De onderzoekers noemen dit "composable adaptation", maar je kunt het ook zien als het geven van een garderobe met kleine, magische post-it briefjes aan je robot.

Technische Samenvatting: LARA (Lightweight Adapters in the Residual Stream)

Probleemstelling

Efficiënte adaptatie van grote vooraf getrainde modellen rust doorgaans op het aanpassen van de gewichten van het model, waarbij Low-Rank Adaptation (LoRA) de dominante benadering is. LoRA voegt een trainbare low-rank update toe aan specifieke gewichtsmatrices, waardoor de adaptatie effectief in de gewichtsruimte wordt ingebed. Hoewel efficiënt, kent deze aanpak beperkingen:

Gebrek aan controle tijdens inferentie: Eenmaal getraind, is de adaptatie vaststaand. Methoden in de gewichtsruimte bieden geen mechanisme om de gedragingen van het basismodel en de geadapteerde gedragingen tijdens inferentie vloeiend te interpoleren zonder hertraining of het laden van verschillende gewichten.
Schaalbaarheid voor meerdere gedragingen: Conventionele implementatie voor meerdere gedragingen (bijv. verschillende domeinen of taken) vereist vaak het laden van een aparte volledige modelkopie of afzonderlijke adapter-sets voor elke taak. Dit is geheugenintensief, met name voor on-device inferentie.
Compositie: Bestaande methoden hebben vaak moeite om veel verschillende gedragingen gelijktijdig op een enkele bevroren basis te huisvesten en deze per token automatisch te routeren.

Methodologie: LARA

LARA (Lightweight Additive Residual Adaptation) stelt voor om te opereren in de residual stream van een bevroren transformer-model in plaats van de gewichten te wijzigen.

Mechanisme: In plaats van gewichtsmatrices bij te werken, voegt LARA lichtgewicht modules toe aan een geselecteerd deelverzameling van lagen ( $\mathcal{L}$ $L$ ). Bij elke geselecteerde laag $\ell$ $ℓ$ leest de module de verborgen toestand $h_\ell$ $h_{ℓ}$ , past een low-rank transformatie toe en voegt de resulterende correctie terug naar de residual stream.
- De update-regel is: $h_\ell \leftarrow h_\ell + \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $W_\downarrow$ is een $r \times d$ matrix, $W_\uparrow$ is een $d \times r$ matrix, en $r \ll d$ .
- $W_\uparrow$ wordt geïnitialiseerd op nul, wat garandeert dat het model aan het begin van de training exact hetzelfde gedrag vertoont als het bevroren basismodel.
Bevroren Basis: De basisgewichten worden nooit aangepast. Als de modules worden verwijderd of hun output op nul wordt gezet, is de forward pass bit-voor-bit identiek aan het originele bevroren model.
Inferentie-tijd Schaling: Omdat de adaptatie additief is, kan er tijdens de inferentie een schalingscoëfficiënt $\gamma$ $γ$ worden toegepast:
- $h_\ell \leftarrow h_\ell + \gamma \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $\gamma = 0$ herstelt het basismodel; $\gamma = 1$ herstelt het getrainde model. Tussenliggende waarden maken geleidelijke controle mogelijk tussen het basisgedrag en het geadapteerde gedrag.
Multi-Behavior Routing: Meerdere gedragingen (elk een set LARA-modules) kunnen op dezelfde bevroren basis verblijven. Een kleine lineaire router leest de verborgen toestand en wijst een distributie over gedragingen toe voor elk token. De correcties van alle actieve gedragingen worden samengevoegd als een gewogen som per token.

Belangrijkste Bijdragen

Het artikel claimt expliciet drie primaire bijdragen:

Gelijkwaardigheid aan LoRA bij gelijke parameters: In tegen tegenstelling tot eerder werk dat residual adapters vergeleek met LoRA zonder de parametersaantallen te matchen, stelt deze studie vast dat LARA de prestaties van LoRA evenaart bij zowel code fine-tuning als preference optimization (DPO) wanneer ze zijn getraind met gelijke parameterbudgetten.
Inference-tijd Graded Control: De additieve aard van LARA legt een schalingscoëfficiënt $\gamma$ bloot die een vloeiende interpolatie tussen het basis- en het geadapteerde gedrag tijdens inferentie mogelijk maakt, een controlemechanisme dat niet beschikbaar is bij adaptatie in de gewichtsruimte.
Composabele Gedragingen op een Enkele Basis: Door de basis bevroren te houden en gedragingen als kleine residual modules te behanden, stelt LARA in staat om een "bank" van gedragingen op één enkel model te huisvesten. Deze gedragingen kunnen afzonderlijk worden getraind en automatisch per token worden gerouteerd, wat de geheugencapaciteit aanzienlijk vermindert vergeleken met het laden van volledige modelkopieën.

Experimentele Resultaten

Experimenten werden uitgevoerd op een bevroren Qwen2.5 1.5B Instruct model (8-bit).

Fine-Tuning (Code): LARA (2.39M parameters) en LoRA (2.18M parameters) werden vergeleken op een code corpus.
- Trainingsdistributie: LARA bereikte een perplexiteit van 1.70 versus LoRA's 1.75.
- Instruction Split: LARA behaalde 7.50 versus LoRA's 6.74.
- Conclusie: Bij gelijke parameters bereikt LARA dezelfde kwaliteit van fine-tuning als LoRA.
Preference Optimization (DPO): Toegepast op UltraFeedback preference paren.
- LARA behaalde een reward accuracy van 0.625 versus LoRA's 0.613.
- Beide methoden presteerden significant beter dan de bevroren basis (0.55).
Inference Schaling: Het variëren van $\gamma$ van 0 naar 3 liet zien dat de perplexiteit monotoon beweegt tussen de basis en de getrainde waarden voor $\gamma \in [0, 1]$ . Echter, stabiliteit hangt af van plaatsing: een single-layer bridge bleef stabiel bij een hoge $\gamma$ , terwijl een multi-layer configuratie scherp degradeerde wanneer deze verder werd versterkt dan $\gamma=1$ .
Multi-Behavior Hosting: Zeven gedragingen (6 fine-tuned, 1 DPO-geoptimaliseerd) werden gehost op één 1.5B model.
- Geheugen: De basis (3.09 GB resident) + 7 gedragingen + router = 3.12 GB. Dit is een fractie van de ~21.6 GB die nodig is voor zeven afzonderlijke modelkopieën.
- Prestaties: Onder soft routing behielden gedragingen 87%–99% van hun toegewezen prestaties. De router stuurde tokens succesvol naar domeinspecifieke gedragingen (bijv. wiskunde, medisch) met een hoge mate van vertrouwen (>0.94), hoewel het moeite had om zeer vergelijkbare code-domeinen te scheiden.
- Gezamenlijke Activering: Het preference gedrag kon naast de domeingedragingen worden geactiveerd op gedeelde tokens (bijv. algemene instructies), wat de compositie aantoont.

Betekenis en Claims

Het artikel positioneert LARA niet als een nieuw mechanisme (aangezien residual adapters en side tuning gevestigde concepten zijn), maar als een rigoureuze karakterisering van deze benadering in de context van moderne efficiënte adaptatie.

Praktische Impact: De primaire praktische winst is het vermogen om een "bank van gedragingen" op een enkel bevroren model te huisvesten met minimale geheugenoverhead (megabytes per gedrag), wat het geschikt maakt voor on-device inferentie waar geheugen een beperkende factor is.
Ontwerpfilosofie: De benadering behandelt adaptatie als een residu dat naast de bevroren berekening wordt geplaatst in plaats van er in te worden ingebed. Dit maakt het mogelijk om gedragingen afzonderlijk te trainen en aan de bank toe te voegen zonder de basis opnieuw te fitten.
Beperkingen: De auteurs merken op dat de gelijkwaardigheid van fine-tuning is vastgesteld op een code corpus, en dat generalisatie naar andere domeinen verdere tests vereist. De inferentie-schaling en gezamenlijke toepassing worden gemeten via perplexiteit en activatiegewichten, niet noodzakelijkerwijs via downstream gedragsmatige alignment. De vergelijking is strikt gericht op LoRA, niet op andere gewichts- of activatieruimte-methoden.

Samenvattend toont LARA aan dat efficiënte adaptatie kan worden afgehandeld in de residual stream met een kwaliteit die vergelijkbaar is met methoden in de gewichtsruimte, terwijl het uniek is in het mogelijk maken van inferentie-tijd schaling en de composabele hosting van meerdere gedragingen op een enkel apparaat.