🤖 AI

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

Dit artikel toont aan dat LoRA er niet in slaagt om complexe meerstaps procedurele kennis effectief te internaliseren vergeleken met volledige fine-tuning, omdat de noodzakelijke gewichtsaanpassingen een hoge effectieve rang vertonen die de lage-rang capaciteit van LoRA ver overstijgt, wat leidt tot aanzienlijke prestatiekloof, zelfs bij hoge rangen.

Oorspronkelijke auteurs: Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

Gepubliceerd 2026-07-27

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een complexe taak moet uitvoeren, zoals het boeken van een vlucht of het repareren van een kapotte computer. In de wereld van kunstmatige intelligentie is er een populaire truc genaamd "fine-tuning". Denk aan een gigantisch AI-model als een enorme bibliotheek die bijna elk boek dat ooit geschreven is bevat. Om het een specifieke taak te leren, moet je meestal de hele bibliotheek herschrijven, wat duur en traag is. Om tijd te besparen, hebben wetenschappers een afkorting uitgevonden genaamd LoRA (Low-Rank Adaptation). In plaats van de hele bibliotheek te herschrijven, probeert LoRA de robot te onderwijzen door een klein, dun notitieboekje met plaknotities toe te voegen aan de planken. Het grote idee was dat deze plaknotities alles wat de robot nodig heeft over een nieuwe taak konden vangen zonder de zware boeken eronder aan te raken. Het is alsof je denkt dat je iemand kunt leren om een racewagen te besturen door ze alleen een klein spiekbriefje te geven, in plaats van ze urenlang op het circuit te laten oefenen.

Maar hier zit de crux: dit artikel vraagt zich af of dat spiekbriefje wel genoeg is wanneer de taak niet alleen gaat over het onthouden van feiten of het schrijven in een coole stijl, maar over het volgen van een strikt, meerstaps procedure. Procedurele kennis is als een recept met veel "als dit gebeurt, doe dan dat"-stappen, waarbij je je voortgang moet bijhouden, fouten moet afhandelen en moet zorgen dat je geen stap overslaat. De onderzoekers wilden weten: kan een klein notitieboekje (LoRA) een robot leren om een complexe, vertakkende procedure te volgen, of moet het de hele bibliotheek herschrijven (Full Fine-Tuning) om het goed te krijgen?

Het Grote Spiekbriefje-falen

De onderzoekers zetten een reeks tests op om te zien of de "plaknotitie"-methode de rommelige realiteit van het opvolgen van instructies aan kon. Ze vroegen de robot niet alleen om een gedicht te schrijven; ze lieten hem optreden als een reisagent, een Zoom-technische ondersteuningsspecialist en een schaderegelaar voor verzekeringen. Dit zijn geen eenvoudige taken; ze zijn als het navigeren door een gigantisch, kronkelend doolhof waar elke afslag afhangt van wat de klant vijf minuten geleden zei. Als de klant boos wordt, moet je van pad veranderen. Als ze een detail vergeten, moet je er weer naar vragen. Het doel was om te zien of de robot het gesprek succesvol kon leiden van het begin naar een gelukkig einde zonder de weg kwijt te raken.

De resultaten waren een beetje een schok. Wanneer de onderzoekers de methode van de volledige bibliotheek-herschrijving gebruikten (Full Fine-Tuning), werden de robots uitstekende agenten. Ze volgden de regels, onthielden de details en losten de problemen op, met een solide score van 4,11 uit 5 op hun test voor het boeken van reizen. Maar wanneer ze de "spiekbriefje"-methode probeerden (LoRA), faalden de robots de procedure volledig, zelfs met de grootste, meest dure spiekbriefjes die ze konden maken.

Hier is het vreemde deel: de LoRA-robots werden niet alleen iets slechter; ze kwamen vast te zitten in een vreemde loop. Ze konden nog steeds chatten! Ze konden het gesprek 14 beurten lang gaande houden zonder vast te lopen. Ze klonken beleefd en natuurlijk. Maar ze faalden voor de eigenlijke taak. Op de reis-test scoorden de LoRA-robots tussen de 2,10 en 2,54 — nauwelijks de helft zo goed als de volledig getrainde robots. Ze sloegen belangrijke stappen over, vergaten te vragen naar de bestemming, of gaven te vroeg op. Het was als een gids die perfect weet hoe hij "Hallo" en "Dag" moet zeggen, maar de toeristen tegen een muur leidt omdat hij de kaart is vergeten.

De Paradox van Grotere Notitieboekjes

Je zou kunnen denken: "Oké, misschien was het spiekbriefje gewoon te klein. Laten we het groter maken!" De onderzoekers probeerden dit. Ze vergrootten de grootte van het LoRA-notitieboekje van een piepkleine rank 16 tot een enorme rank 128. Dit betekende dat ze meer van de hersenen van de robot veranderden, waarbij ze tot wel 3,4% van zijn totale parameters gebruikten. Je zou verwachten dat een groter notitieboekje zou helpen, toch?

Verrassend genoeg maakte het het de robots juist slechter. Naarmate het notitieboekje groter werd, werden de robots eigenlijk slechter in het volgen van de procedure. De beste score werd behaald bij de kleinste grootte, en tegen de tijd dat ze de grootste grootte bereikten, daalde de score voor taaksucces naar 2,10. Het blijkt dat het groter maken van het spiekbriefje de robot niet hielp om de logica van het doolhof te leren; het hielp de robot alleen om de woorden van het doolhof beter te onthouden. De robot werd heel goed in het klinken alsof hij wist wat hij moest doen, maar hij was nog steeds verdwaald. De onderzoekers ontdekten dat de robots aan "overfitting" deden, wat een chique manier is om te zeggen dat ze de trainingsvoorbeelden uit het hoofd leerden als een papegaai, zonder de regels te begrijpen.

Waarom het Spiekbriefje Niet Genoeg Was

Dus, waarom faalde het kleine notitieboekje zo verschrikkelijk? De auteurs groeven diep in de hersenen van de robot om het antwoord te vinden. Ze gebruikten een wiskundig hulpmiddel genaamd SVD (Singular Value Decomposition) om precies te kijken hoeveel de hersenen van de robot veranderden toen hij de procedure leerde.

Stel je voor dat de hersenen van de robot een gigantisch rooster van getallen zijn. Wanneer de robot een nieuwe vaardigheid leert, verschuiven de getallen in dit rooster. Het "Low-Rank"-idee gaat ervan uit dat deze verschuivingen eenvoudig zijn, zoals het tekenen van een rechte lijn of een plat vlak op het rooster. Maar de onderzoekers ontdekten dat de verschuivingen voor procedurele taken ongelooflijk complex en rommelig zijn. Ze zijn als een 3D-sculptuur gemaakt van duizenden kleine, kronkelende draden.

De wiskunde toonde aan dat om de veranderingen die nodig zijn voor deze taken te vangen, de robot een "rank" van ongeveer 761 tot 1.026 nodig had. Maar de LoRA-methode mocht maximaal een rank van 128 gebruiken. Dit betekent dat het LoRA-notitieboekje probeerde een complexe 3D-sculptuur te beschrijven met slechts een platte, 2D-tekening. Het had simpelweg niet genoeg dimensies om de informatie te bevatten. De onderzoekers berekenden dat zelfs het grootste LoRA-notitieboekje slechts ongeveer 43% tot 51% van de noodzakelijke veranderingen kon vangen. De rest van de "kennis" werd gewoon achtergelaten, zoals het proberen te passen van een hele oceaan in een kopje.

Het Eindoordeel: Je Kunt het Doolhof Niet Bedriegen

De studie concludeert dat voor taken die vereisen dat een robot een strikte, meerstaps procedure volgt met veel "als-dan"-beslissingen, de shortcut-methode (LoRA) gewoon niet werkt. Het is niet dat de robot niet hard genoeg getraind was; het is dat de methode zelf te beperkt is. De kennis die nodig is om deze complexe doolhoven te navigeren, is verspreid over de gehele hersenen van de robot op een manier die een klein, low-rank notitieboekje niet kan vangen.

De onderzoekers zijn zeer zeker van deze zaak omdat ze het testten in drie verschillende gebieden (reizen, technische ondersteuning en verzekeringen) en met twee verschillende grootten van robotbreinen (3 miljard en 8 miljard parameters). In elk geval won de volledige bibliotheek-herschrijving, en verloor het spiekbriefje. Ze sloten ook de mogelijkheid uit dat de robot gewoon meer trainingstijd nodig had, omdat de LoRA-robots de woorden sneller leerden dan de volledig getrainde robots—ze faalden echter in het leren van de regels.

Dus, als je een AI-agent wilt die betrouwbaar je vlucht kan boeken, je Zoom-gesprek kan oplossen of je verzekeringsclaim kan verwerken zonder in de war te raken, kun je niet alleen een paar plaknotities op zijn hersenen plakken. Je moet het hem toestaan de hele bibliotheek te herschrijven. De efficiëntie van de shortcut gaat ten koste van het vermogen van de robot om de taak daadwerkelijk uit te voeren.

Technische Samenvatting: Procedurele Kennis Is Niet Laag-Rangig

Probleemstelling

Hoewel methoden voor parameter-efficiënte fine-tuning (PEFT), zoals Low-Rank Adaptation (LoRA), de standaard zijn geworden voor het aanpassen van Large Language Models (LLM's) vanwege hun geheugenefficiëntie en succes bij instructievolging, stijltransformatie en feitelijke adaptatie, blijft hun effectiviteit op procedurele kennis onverifieerd. Procedurele kennis wordt hier gedefinieerd als het vermogen om meerstaps-procedures te volgen die betrokken zijn bij conditionele vertakkingen, impliciete statusbewaking over verschillende beurten (turns) en navigatie naar specifieke terminale staten (bijv. klantenservice-workflows, boekingssystemen, diagnostische interviews).

De kernaanname die ten grondslag ligt aan LoRA is dat taakspecifieke aanpassingen zich bevinden in een laag-dimensionale subruimte van de parameterruimte. Dit artikel daagt die aanname uit door te stellen dat procedurele kennis verspreid is over de volledige parameterruimte op een wijze die laag-rangige benaderingen niet kunnen vastleggen bij praktische rangen. Als LoRA er niet in slaagt procedurele kennis te internaliseren, zijn de efficiëntievoordelen die het biedt niet beschikbaar voor de opkomende klasse van agentische toepassingen die steunen op gestructureerde workflows.

Methodologie

De studie maakt gebruik van een systematische ablatie- en cross-domein replicatiebenadering met behulp van synthetische data gegenereerd uit flowchart-gebaseerde proceduredefinities.

1. Taakdefinitie en Datageneratie

Procedures worden geformaliseerd als gerichte grafen $F = (N, E, n_0, T)$ die meerdaagse conversaties vertegenwoordigen met conditionele vertakkingen. Drie domeinen van variërende complexiteit werden gebruikt:

Reisboekingen (3B model): 14 knopen, 3 beslissingshubs, 86 unieke acyclische paden.
Zoom Support (8B model): 14 knopen, 3 beslissingshubs, 60 unieke acyclische paden, inclusief domeinspecifieke UI en foutcodes.
Verzekeringsclaims (8B model): 55 knopen, 6 beslissingshubs, 2.381 unieke acyclische paden, met geneste lussen en cross-fase afhankelijkheden.

Synthetische conversaties werden gegenereerd door paden door deze flowcharts te samplen en Claude Sonnet 4.5 te gebruiken om turn-by-turn dialogen te genereren, waarbij scenario-variabelen werden gevarieerd om diversiteit te waarborgen. Het inferentiemodel ziet alleen natuurlijke dialoog zonder expliciete procedurele annotaties.

2. Fine-Tuning Configuraties

De studie vergelijkt Full Parameter Fine-Tuning (Full FT) met LoRA bij vier rangen ( $r = 16, 32, 64, 128$ ).

Full FT: Update alle parameters. Training maakte gebruik van AdamW met cosine decay, draaiend voor 20 epochs (3B) of 10–20 epochs (8B) tot convergentie.
LoRA: Richt zich op alle lineaire lagen (attention $q, k, v, o$ en MLP gate, up, down). De schaleringsfactor $\alpha = 2r$ . De leerfrequenties voor LoRA werden hoger ingesteld ( $2 \times 10^{-4}$ ) dan voor Full FT ( $2 \times 10^{-5}$ ) om LoRA de beste kans op prestaties te geven. Adapters werden samengevoegd (merged) vóór evaluatie om identieke inferentiekosten te garanderen.

3. Evaluatieprotocol

Prestaties werden geëvalueerd op $n=200$ scenario's per conditie met behulp van dynamische gebruikerssimulatie en een LLM-as-a-judge (Claude Sonnet 4.5, geverifieerd door GPT-4.1). Metrieken omvatten:

Taaksucces: Correcte uitvoering van de procedure naar een terminale staat.
Informatie-accuratesse, Consistentie, Graceful Handling en Naturalness.
Statistische significantie werd beoordeeld met Wilcoxon signed-rank en Mann–Whitney U tests met Holm–Bonferroni correctie.

4. Structurele Analyse (SVD)

Om gedragsfalen te verklaren, voerden de auteurs een Singular Value Decomposition (SVD) uit op de gewichtsverschillen ( $\Delta W = W_{ft} - W_{base}$ ) over alle gewichtsmatrices. Ze maten de "Energie bij $r$ " (fractie van de gekwadrateerde Frobeniusnorm gevangen door de top $r$ singuliere vectoren) om de theoretische bovengrens te bepalen van wat een rank- $r$ LoRA-adapter zou kunnen vastleggen, ongeacht de kwaliteit van de optimalisatie.

Belangrijkste Resultaten

1. Uniform Falen over Rangen heen

Op de taak Reisboekingen (3B model) faalden alle LoRA-configuraties om Full FT te evenaren, ongeacht de rang.

Taaksucces: LoRA-scores varieerden van 2.10 tot 2.54, vergeleken met 4.11 voor Full FT ( $p < 0.001$ ).
Rang-insensitiviteit: Het verhogen van de rang van 16 naar 128 (een 8x toename in trainbare parameters) leverde geen verbetering op. Sterker nog, de scores verslechterden bij hogere rangen (bijv. Taaksucces daalde van 2.54 bij $r=32$ naar 2.10 bij $r=128$ ).
Completion vs. Correctness: LoRA-modellen behielden hoge conversatie-voltooiingspercentages (95.5%–99.0%), wat aangeeft dat ze niet halverwege de conversatie instortten. Echter, ze faalden in het volgen van de juiste procedurele paden, waarbij ze vaak beslissingshubs oversloegen of terminale staten voortijdig bereikten.

2. Cross-Domein Generalisatie

Het falen generaliseerde naar het 8B model voor zowel Zoom Support als Insurance Claims.

LoRA presteerde gemiddeld 0.8–2.2 punten lager dan Full FT op alle criteria bij zowel $r=32$ als $r=128$ .
Het prestatieverschil was het grootst bij de meest complexe procedure (Insurance Claims), waar LoRA $r=128$ een Taaksucces behaalde van 2.10 tegenover 4.47 voor Full FT.
Het verhogen van de rang van 32 naar 128 leverde slechts marginale verbeteringen op en slaagde er niet in de kloof met Full FT te dichten.

3. Hoog-Rang Natuur van Gewichtsupdates

SVD-analyse onthulde dat de gewichtsveranderingen die nodig zijn voor procedurele internalisering werkelijk hoog-rangig zijn.

Effectieve Rang: De gemiddelde effectieve rang van de Full FT-update over de domeinen varieerde van 761 tot 1.026.
Energie-captatie: Een rank-128 LoRA-adapter vangt slechts 43% tot 51% van de gekwadrateerde Frobeniusnorm van de Full FT-update op.
MLP Bottleneck: De MLP-lagen (gate, up, down projecties) vertoonden de hoogste effectieve rangen (tot 1.872 in Insurance Claims). Rank 128 dekt slechts 7–13% van de vereiste rang voor deze lagen, wat slechts 26–44% van de update-energie vangt. De aandacht K/V-projecties werden beter gedekt vanwege kleinere matrixgroottes (GQA), maar MLP's blijven de primaire bottleneck.

4. Trainingsdynamiek en Overfitting

Analyse van de trainingsdynamiek toonde aan dat LoRA niet lijdt onder onderfitting.

Lagere Loss, Slechter Gedrag: Bij convergentie behaalde LoRA ( $r=32$ ) een lagere helden-per-token loss (0.81) dan Full FT (0.89).
Divergentie: Ondanks de lagere loss presteerde LoRA aanzienlijk slechter op gedragscriteria. Dit geeft aan dat LoRA de oppervlakte-token distributie nauwkeuriger past (het memoriseren van lokale patronen), maar faalt in het verwerven van de staat-naar-actie mapping die vereist is voor procedurele correctheid.
Positie-afhankelijke Overfitting: De loss van LoRA voor vroege beurten (formulaal) bleef stabiel, maar de loss voor latere beurten (die statusbewaking vereisen) nam toe na epoch 3, wat wijst op overfitting aan oppervlakte-correlaties in plaats van de procedurele structuur.

Betekenis en Claims

Dit artikel stelt vast dat procedurele kennis niet laag-rangig is. De bevindingen suggereren een fundamentele beperking van parameter-efficiënte methoden voor agentische toepassingen:

Structurele Beperking: Het onvermogen van LoRA om procedurele kennis te vatten is geen optimalisatiefout, maar een representationele fout. De vereiste gewichtsupdates zijn verspreid over honderden dimensies, wat de capaciteit van standaard laag-rangige benaderingen overschrijdt (zelfs bij $r=128$ ).
Efficiëntie-trade-off: Voor taken die betrouwbare meerstaps-procedurevolging vereisen, komen de efficiëntievoordelen van LoRA ten koste van de procedurele competentie. Full fine-tuning blijft noodzakelijk om dergelijke procedures met bijna frontier-kwaliteit in de modelgewichten te compileren.
Paradoxale Verslechtering: Het verhogen van de LoRA-rang binnen het praktische bereik leidt niet tot een lineaire verbetering van de prestaties; in plaats daarvan kan het de capaciteit voor overfitting op oppervlaktepatronen vergroten zonder de diepere procedurele structuur te vatten.

De auteurs concluderen dat hoewel LoRA succesvol is in instructievolging en feitelijke adaptatie, het ver naast Full Fine-Tuning blijft liggen voor procedurele taken, een cruciaal onderscheid voor de inzet van LLM-gebaseerde agents. Het artikel merkt op dat heterogene-rang LoRA (waarbij hogere rangen specifiek aan MLP-lagen worden toegewezen) een plausibele route is voor toekomstig onderzoek, maar dat dit niet in deze studie is getest.