Technische Samenvatting: ADAPAD

Probleemstelling

Het fijnafstemmen van grote taalmodellen (LLM's) via Low-Rank Adaptation (LoRA) vereist het selecteren van een rang $r$ voorafgaand aan het trainen. Bestaande benaderingen staan voor twee primaire beperkingen met betrekking tot rangselectie en foutpropagatie:

1. Sequentiële Deflatie: Methoden die rang-1 componenten sequentieel extraheren (bijvoorbeeld via SVD) lijden onder "bevroren fouten". Fouten gemaakt in vroege componenten worden permanent vergrendeld in het residu voor latere componenten, wat multiplicatief versterkt wordt door het spectrale gat.
2. Gecombineerde Optimalisatie: Methoden die de volledige laag-rang matrix gecombineerd optimaliseren (bijvoorbeeld dEBORA, ARD-LoRA) bieden convergentiegaranties voor de geaggregeerde update, maar bieden geen garanties voor individuele rang-1 richtingen. Bijgevolg kunnen ze de correctheid van specifieke componenten niet certificeren, slechts hun som.

Bovendien behandelen huidige adaptieve-rang methoden de rangverdeling vaak als een vaste invoer of vertrouwen op heuristieken die de capaciteit per module niet dynamisch aanpassen op basis van trainingsdynamiek.

Methodologie: ADAPAD

De auteurs stellen ADAPAD (Adaptive Parallel Deflation) voor, een raamwerk dat alle rang-1 componenten gelijktijdig traint terwijl het de optimale rangverdeling dynamisch ontdekt. De kerninnovatie is parallelle deflatie met zelfcorrectie.

1. Parallelle Deflatie met Zelfcorrectie

In tegenstelling tot sequentiële deflatie, waarbij het doel voor component $k$ vastligt op basis van eerdere benaderingen, wijst ADAPAD elke rang-1 component toe aan een specifieke worker.

• Mechanisme: Bij elke communicatieronde $\ell$ reconstrueert worker $k$ zijn deflatiedoel $Y_{k,\ell}$ met behulp van de laatste schattingen van alle voorgaande componenten ($k' < k$).
• Zelfcorrectie: Naarmate de schattingen van voorgangers verbeteren over de rondes, verbeteren de deflatiedoelen voor daaropvolgende workers gelijktijdig. Dit zorgt ervoor dat deflatie-afwijkingen (fouten in het doel) in de loop van de tijd naar nul convergeren in plaats van te blijven bestaan als vaste residuen.
• Voortrajectleren: Voordat een worker wordt geactiveerd (gestaggerde activatie), ondergaat deze een privé "warm-up" fase, waarbij wordt getraind tegen zijn huidige deflatiedoel zonder updates te publiceren. Dit biedt een initiatie van hoge kwaliteit.

2. Dynamische Rangontdekking per Module

ADAPAD behandelt de rangverdeling als een output in plaats van een invoer.

• Groeistrategie: Elke module start met een minimale rang (bijvoorbeeld 1) en een privé reservecomponent.
• Belangrijkheidsscore: Elke $\Delta$ mini-batches evalueert het systeem de modulebelangrijkheid met behulp van een product van Belangrijkheid-Onzekerheid (gebaseerd op parametergrootte en gradiëntvolatiliteit).
• Toewijzing: Onder een gedeeld globaal budget bevorderen modules met hoge belangrijkheidsscores hun reservecomponenten naar een vastgestelde status en spawnen nieuwe reserves. Groei stopt wanneer de totale actieve rang het budget bereikt.

3. Algorithmische Structuur

Het basisalgoritme (Algoritme 1) paralleliseert onnauwkeurige sequentiële deflatie voor bilineaire regressiemodellen. Het hanteert:

• Gestaggerde Activatie: Worker $k$ begint bij ronde $k$.
• Warm-Start: Elke iteratie gebruikt de parameters van de vorige ronde als initialisatie.
• Projectie: Schattingen worden geprojecteerd op een Frobeniusbol om beperkte herstelgarantie te waarborgen, hoewel de auteurs opmerken dat in de praktijk het overslaan van projectie ($Q=\infty$) vaak voldoende is.

Theoretische Garanties

Het paper biedt een rigoureuze theoretische analyse voor de setting van bilineaire regressie $Y = W^*X + E$:

• Exponentiële Convergentie: Na een component-afhankelijke warm-up periode, neemt de totale fout voor elke component bijna-lineair af (exponentieel gemoduleerd door een lineaire prefactor).
• Verdwijnende Deflatie-afwijking: Het paper bewijst dat de deflatie-afwijking $\|Y_{k,\ell} - Y^*_k\|_F$ verdwijnt naarmate de rondes $\ell \to \infty$. Dit is de bepalende "zelfcorrectie" eigenschap, in tegenstelling tot sequentiële deflatie waarbij de afwijking vast en niet-nul is.
• Schattinggrenzen:
  • Ruisvrije Geval: De fout bij het herstellen van de gewichten verdwijnt naarmate het aantal rondes toeneemt.
  • Ruizig Geval: De foutgrens splitst in een verdwijnende algoritmische term (door zelfcorrectie) en een onherleidbare statistische vloer (die overeenkomt met de Gaussische verstoringgrens van sequentiële methoden). Parallelisatie voegt geen nieuwe ruisstraf toe.

Empirische Resultaten

De auteurs evalueren ADAPAD over drie assen:

1. GLUE Classificatie (DeBERTaV3-base)

• Opzet: Vergelijking met vaste-rang LoRA en adaptieve baselines (IncreLoRA, AdaLoRA, SoRA, dEBORA) met gelijkgestelde parameterbudgetten (0,32–0,47M).
• Prestatie: ADAPAD behaalde de hoogste gemiddelde score (89,34) over alle acht taken, presterend beter dan AdaLoRA (89,03) en IncreLoRA (88,99).
• Rangverdeling: Het algoritme deelde rangen dynamisch toe, met hogere rangen geconcentreerd in de laatste transformerlagen en FFN-intermediaire projecties, consistent met bevindingen over taak-specifiekheid in eerdere werken.

2. Parameter-efficiëntie (Qwen3-0.6B op SQuAD)

• Opzet: Fijnafstemming op SQuAD v1.1 en v2.0.
• Prestatie: ADAPAD kwam overeen met of overtrof de prestaties van vaste-rang LoRA op F1 en Exact Match (EM) metrieken, terwijl het adapters gebruikte die gemiddeld 30,7% kleiner waren (variërend van 15,9% tot 44,3% reductie).

3. Multi-GPU Schaalbaarheid

• Opzet: Component-parallel sharding op 4× NVIDIA H200 GPU's.
• Prestatie: De aanpak leverde tot 2,66× versnelling op in vergelijking met een enkele GPU, wat een bijna-lineaire schaalbaarheid demonstreert voor component-parallel trainen.

Betekenis en Claims

Het paper claimt dat ADAPAD fundamentele ontwerpvragen in LoRA aanpakt:

1. Zelfcorrectie: Het is de eerste methode die een bewijsbare garantie biedt dat deflatiefouten in parallelle rang-1 training in de loop van de tijd verdwijnen, waardoor individuele rang-1 richtingen als correct kunnen worden gecertificeerd in plaats van slechts hun gezamenlijke som.
2. Dynamische Rangontdekking: Het verschuift het paradigma van rang als hyperparameter-invoer naar rang als een geleerde output gedreven door modulebelangrijkheid.
3. Efficiëntie: Het bereikt concurrerende of superieure prestaties met aanzienlijk minder parameters en biedt aanzienlijke versnellingen via parallelisatie.

De auteurs merken beperkingen op: de theorie is geformuleerd voor bilineaire regressie (enkele LoRA-laag), en hoewel empirische resultaten de kloof naar niet-lineaire verliezen overbruggen, worden uitbreidingen naar volledige niet-lineaire modellen en asynchrone communicatie overgelaten aan toekomstig werk. Ze erkennen ook dat synchrone communicatie-overhead de versnellingen kan compenseren bij zeer grote rangen.