Learning Adapter Rank via Symmetry Breaking

Technische Samenvatting: Leren van Adapterrang via Symmetriebreking

1. Probleemstelling

Low-rank adaptation (LoRA) is een standaard geworden voor efficiënte fine-tuning van grote taalmodellen, gebaseerd op de empirische observatie dat taakrelevante updates in een laag-dimensionale deelruimte liggen. Er blijven echter twee kritieke uitdagingen onopgelost:

1. Rangselectie: Het kiezen van de optimale rang is niet triviaal. Methoden met vaste rang lopen het risico om ofwel verspillend ofwel ontoereikend te zijn, terwijl heuristische rangtoewijzingsstrategieën (bijv. AdaLoRA) extra afstemmingslasten introduceren.
2. Niet-identificeerbaarheid en Kalksymmetrie: Bij standaard LoRA zijn de rangrichtingen niet identificeerbaar. Voor elke inverteerbare matrix $R \in \mathbb{R}^{r \times r}$ levert de factorisatie $BA = (BR)(R^{-1}A)$ dezelfde gewichtsupdate op. Bijgevolg ontberen individuele rangindices een intrinsieke identiteit, waardoor het onmogelijk is om onzekerheids- of relevantiescores aan specifieke richtingen te koppelen zonder eerst deze rotatiekalksymmetrie te breken.
3. Calibratie: Gefine-tuned Large Language Models (LLM's) lijden vaak aan oververtrouwen. Bestaande methoden voor onzekerheidskwantificatie voor Parameter-Efficiënte Fine-Tuning (PEFT)-modules behandelen rangselectie en onzekerheid doorgaans als aparte problemen, opererend in de omgevende gewichtsruimte of gebruikmakend van post-hoc benaderingen, wat de architecturale complexiteit en het aantal parameters verhoogt.

2. Methodologie: Low-Rank Variational Dropout (LRVD)

De auteurs stellen Low-Rank Variational Dropout (LRVD) voor, een Bayesiaans raamwerk dat inferentie direct uitvoert in de latente rangruimte in plaats van in de omgevende gewichtsruimte. De kerninstantiatie van dit raamwerk is BayesLoRA.

Kernmechanismen:

• Rang-gebonden Posterior: In plaats van onafhankelijke posteriors op individuele gewichten te plaatsen, plaatst LRVD een gefactoriseerde Gaussische posterior over de adapterfactoren ($A$ en $B$), waarbij alle parameters die tot een specifieke rang $i$ behoren, één enkele ruis-naar-signaalverhouding $\alpha_i$ delen.
  $$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$$
• Symmetriebreking: De diagonale structuur van deze posterior (waarbij de variantie per rang is gekoppeld) breekt de $GL(r)$-rotatiekalksymmetrie van LoRA. De variational doelstelling selecteert een voorkeursbasis in de rangruimte, waardoor Automatic Relevance Determination (ARD) over rangrichtingen mogelijk wordt.
• Theoretisch Garandeer (Stelling 1): De auteurs bewijzen dat hoewel de volledige kalksymmetrie wordt gebroken, een residu-symmetrie overblijft. Specifiek moet de transformatiematrix $R$ orthogonaal zijn, en als de diagonaalelementen van de rangcovariantie verschillend zijn, is $R$ beperkt tot gesigneerde permutatiematrices. Dit zorgt ervoor dat de geleerde rangordening betekenisvol en identificeerbaar is tot op teken en permutatie.
• Variational Doelstelling: Training maximaliseert de Evidence Lower Bound (ELBO). De KL-divergentieterm, afgeleid van sparse variational dropout, is monotoon stijgend in $\log \alpha_i$. Dit straft richtingen met hoge ruis-naar-signaalverhoudingen, waardoor deze progressief worden onderdrukt om continue automatische rangselectie te bereiken.
• Inferentie: Tijdens het testen marginaliseert het model over de adapter-deelruimte met behulp van Monte Carlo-sampling (doorgaans $T \in [4, 16]$ steekproeven), terwijl de voorgeöordeerde backbone deterministisch blijft.

3. Belangrijkste Bijdragen

• Formalisatie van LRVD: Een algemeen raamwerk voor Bayesiaanse inferentie in rangruimte dat gestructureerde sparsiteit induceert via geleerde ruis-naar-signaalverhoudingen.
• BayesLoRA: Een concrete implementatie die de effectieve adapterrang en voorspellende onzekerheid gelijktijdig leert met slechts $O(r)$ extra scalair parameters, zonder hulpoptimizers, post-hoc krommeschatting of KL-annealing-schema's.
• Oplossing van Niet-identificeerbaarheid: Het artikel demonstreert dat de niet-identificeerbaarheid van LoRA kan worden omgezet in een nuttige inductieve bias. Door de kalksymmetrie te breken via een diagonale posterior, levert de methode een stabiele, identificeerbare rangordening op die overeenkomt met de intrinsieke structuur van de geleerde updates.

4. Experimentele Resultaten

De auteurs evalueerden BayesLoRA op de GLUE-benchmark (met DeBERTa-V3-base) en redeneerbenchmarks (met LLaMA-2-7B).

• Rangselectie en Nauwkeurigheid:

  • BayesLoRA komt overeen met of overtreft de prestaties van AdaLoRA op alle GLUE-taken met vergelijkbare trainingskosten.
  • Het induceert stabiele rangstructuren die overeenkomen met de dominante singuliere richtingen van geleerde updates.
  • Compressieverhoudingen zijn evenredig met de intrinsieke taakstructuur (bijv. comprimeert CoLA tot ~63% ongeacht de initiële rang), in plaats van een artefact te zijn van de initiële basisgrootte.
  • In veel gevallen collapseert BayesLoRA volledige adaptermodules tot een effectieve rang van nul, waardoor het meer werkt als module-niveau sparsiteit dan als een gladde begrotingsallocatie.

• Onzekerheid en Calibratie:

  • vs. Klassieke Baselines: BayesLoRA verbetert de Expected Calibration Error (ECE) en Negative Log-Likelihood (NLL) aanzienlijk ten opzichte van MC Dropout, Deep Ensembles en Bayes by Backprop (BBB), ondanks dat het minder parameters heeft dan BBB.
  • vs. Calibratie-gerichte Methoden: In vergelijkingen met gelijke begroting tegenover BloB (dat een volledige variational posterior met een hulpoptimizer gebruikt), bereikt BayesLoRA een hogere nauwkeurigheid op bijna alle taken. Hoewel BloB een lichte voorsprong behoudt op calibratiemetrics (ECE/NLL), verkleint BayesLoRA deze kloof aanzienlijk zonder de rekenkundige overhead van een aparte optimizer of complexe krommeschatting.

5. Betekenis en Claims

Het artikel beweert dat BayesLoRA een eenvoudige maar krachtige alternatief biedt voor bestaande PEFT-onzekerheidsmethoden. Door direct in rangruimte te opereren, vermijdt het de prohibitieve kosten van variational inferentie in gewichtsruimte, terwijl het tegelijkertijd het fundamentele probleem van rang-niet-identificeerbaarheid oplost.

• Efficiëntie: Het bereikt automatische rangselectie en onzekerheidskwantificatie met minimale parameteroverhead ($O(r)$ scalars).
• Stabiliteit: De geleerde rangordening is niet louter een pruning-heuristiek, maar weerspiegelt de intrinsieke singuliere structuur van de taakupdates.
• Afwegingen: De auteurs erkennen dat hoewel BayesLoRA de calibratie verbetert ten opzichte van standaard baselines, het nog steeds achterblijft bij methoden met rijkere variational machinery (zoals BloB) op taken waar de kloof tussen rangruimte- en gewichtsruimte-posteriors het grootst is. Zij schrijven dit toe aan het gebruik van een variational-dropout-surrogaat met een onbehoorlijke log-uniforme prior.

Kortom, het werk stelt vast dat het breken van LoRA's kalksymmetrie via een diagonale variational posterior toelaat tot het gezamenlijk leren van effectieve rang en onzekerheid, waardoor een schaalbare, Bayesiaanse aanpak voor low-rank adaptation wordt geboden.