Technische Samenvatting: Bayesiaanse Fijne Afstelling in Projecteerde Subruimten

Probleemstelling

Grote Taalmodellen (LLMs) en andere diepe neurale netwerken lijden vaak aan oververtrouwen en slechte kalibratie wanneer ze worden fijngesteld, vooral op beperkte data. Hoewel Low-Rank Adaptation (LoRA) een parameter-efficiënte oplossing biedt voor fijne afstelling door gewichtsupdates te decomponeren in laag-rang matrices, mist standaard LoRA mechanismen voor onzekerheidskwantificering.

Bayesiaanse varianten van LoRA (Bayesian LoRA) zijn voorgesteld om dit aan te pakken door posterior-verdelingen over parameters te leren. Deze methoden staan echter voor een kritieke afweging: het modelleren van de posterior-covariantiematrix (noodzakelijk voor epistemische onzekerheid) vereist doorgaans een aantal parameters dat kwadratisch schaalt met het aantal trainbare gewichten. Dit verhoogt opslag- en rekenkosten aanzienlijk, waardoor de efficiëntiewinst van LoRA gedeeltelijk teniet wordt gedaan. Bovendien kan het trainen van deze hoog-dimensionale Bayesiaanse modellen instabiel zijn en moeilijk convergeren.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat parameter-efficiënte fijne afstelling combineert met Bayesiaanse inferentie binnen een geprojecteerde laag-dimensionale subruimte. De kernidee is om het leren van Bayesiaanse posteriors te beperken tot een gecomprimeerd manifold in plaats van de volledige parameter ruimte.

1. Parameterisatie van de Geprojecteerde Subruimte

In plaats van volledige laag-rang updates te leren $\Delta W = AB$ waarbij zowel $A$ als $B$ trainbaar zijn (zoals in standaard LoRA), bevriest de voorgestelde methode de basis-matrices $A$ en $B$ en leert slechts een kleine, vierkante "kern"-matrix $R$. De gewichtsupdate wordt gedefinieerd als:
$$\Delta W = ARB$$
Hierbij zijn $A \in \mathbb{R}^{n \times r}$ en $B \in \mathbb{R}^{r \times m}$ vooraf berekende projectiematrices afgeleid van de vooraf getrainde gewichten $W_0$, en is $R \in \mathbb{R}^{r \times r}$ de leerbare parameter. Dit reduceert het aantal trainbare parameters van $r(n+m)$ naar $r^2$, waardoor een sterk gecomprimeerde parameter ruimte ontstaat.

2. Projectiestrategieën

Het artikel evalueert vier verschillende methoden voor het berekenen van de bevroren projectiematrices $A$ en $B$:

• Geknipte SVD: Aligneert projecties met de hoofdrichtingen van de oorspronkelijke gewichtsmatrix $W_0$.
• Geknipte Witgemaakte SVD (W-SVD): Neemt statistieken van de invoerdata (covariantie $\Sigma_{xx}$) in rekening om activatiefouten te minimaliseren in plaats van reconstructiefouten van gewichten.
• 2D Discrete Cosine Transform (DCT): Gebruikt een vaste, universele basis van cosinusgolven, voorafgegaan door een deterministische permutatie van gewichten om ruimtelijke correlatie te induceren.
• Random Projecties: Gebruikt Haar-verdeelde Gaussische orthogonale matrices, zonder structurele aannames over de gewichten.

3. Bayesiaanse Inferentie in de Subruimte

Het raamwerk voert Bayesiaanse inferentie uit op de kern-matrices $R$ in plaats van op de volledige gewichtsupdates. Er worden twee benaderde Bayesiaanse methoden toegepast:

• SWAG (Stochastic Weight Averaging-Gaussian): Benut de trajectorie van Stochastic Gradient Descent (SGD) om een Gaussische posterior te construeren met een laag-rang plus diagonale covariantie.
• Laplace Benadering: Benadert de posterior rond een Maximum A Posteriori (MAP) oplossing. De auteurs implementeren zowel Diagonale (DIAG) als Kronecker-gefactoreerde (KRON) benaderingen voor de Hessian/Fisher-informatiematrix om expressiviteit en geheugenefficiëntie in evenwicht te brengen.

Cruciaal is dat de volledige covariantie van de gewichtsupdates $\Delta W$ nooit wordt gerealiseerd. In plaats daarvan wordt de covariantie impliciet gedefinieerd via de Kronecker-structuur van de geprojecteerde subruimte, wat efficiënt bemonsteren en schatten van onzekerheid mogelijk maakt.

Belangrijkste Bijdragen

1. Parameter-efficiënt Bayesiaans Raamwerk: Het artikel introduceert een methode die effectieve onzekerheidskwantificering bereikt in zeer laag-dimensionale parameter ruimtes ($r^2$ parameters per laag) zonder de efficiëntievoordelen van LoRA op te offeren.
2. Gegenereerde Projectiestrategieën: In tegenstelling tot eerdere werken die voornamelijk leunden op SVD, introduceert en evalueert dit werk een gegeneraliseerd raamwerk dat data-bewuste (Whitened SVD) en structuur-agnostische (DCT, Random) projecties omvat.
3. Empirische Validatie van Laag-rang Covarianties: De auteurs tonen aan dat gewichtscovarianties in deze geprojecteerde subruimten eigenschappen van laag-rang vertonen, wat betekent dat zelfs zeer laag-rang covariantiebenaderingen (bijv. rang $k=2$) vaak voldoende zijn om onzekerheid effectief te modelleren.
4. Schaalbaarheid: De aanpak is gevalideerd op zowel RoBERTa-large als LLaMA2-7B, wat aantoont dat de methode schaalt naar grotere modellen terwijl rekenkundige haalbaarheid behouden blijft.

Experimentele Resultaten

De experimenten werden uitgevoerd op GLUE-taken (RTE, MRPC, CoLA, SST-2) met RoBERTa-large en redeneertaken voor gezond verstand (OBQA, ARC-E, ARC-C) met LLaMA2-7B.

• Kalibratie en Onzekerheid: De voorgestelde methoden (B-LoRA-XS en L-LoRA-XS) presteren consistent beter dan standaard LoRA en LoRA-XS op de Verwachte Kalibratiefout (ECE) en Negatieve Log-Likelihood (NLL). Ze bereiken kalibratie die vergelijkbaar is met of beter is dan volledige Bayesiaanse LoRA-baselines (zoals LoRA-SWAG), terwijl ze 5 tot 15 keer minder parameters gebruiken.
• Prestaties van Projectie: Witgemaakte SVD (W-SVD) en standaard SVD projecties leverden consistent de beste prestaties. Data-agnostische methoden zoals Random Projecties en DCT presteerden aanzienlijk slechter, vooral bij lagere rangen, wat het belang benadrukt van het aligneren van de subruimte met de gewichtsstructuur.
• Rang van Covariantie: De modellen bleven robuust zelfs met zeer laag-rang covariantiebenaderingen. Bijvoorbeeld, B-LoRA-XS bereikte optimale kalibratie bij covariantierangen zo laag als $k=2$ of $k=5$, terwijl standaard Bayesiaanse LoRA-methoden aanzienlijk degradeerden naarmate de rang afnam.
• OOD-detectie: De Bayesiaanse varianten toonden een superieur vermogen om In-Distribution (ID) te onderscheiden van Out-of-Distribution (OOD) data in vergelijking met deterministische baselines, waarbij de voorgestelde subruimtemethoden sterke scheiding toonden in voorspellende entropie.
• LLaMA2-7B Resultaten: Op het grotere model bereikten de gecomprimeerde varianten (bijv. L-LoRA-XS met $r=64$) aanzienlijke verbeteringen in kalibratie met minder dan een derde van het parameterbudget dat nodig was voor de Laplace-LoRA-baseline, terwijl ze concurrerende nauwkeurigheid behielden.

Betekenis en Beweringen

Het artikel beweert dat effectieve onzekerheidskwantificering geen hoog-dimensionale parameter ruimtes vereist. Door gewichtsupdates te projecteren op een zorgvuldig gekozen laag-dimensionaal manifold, tonen de auteurs aan dat:

• Onzekerheid efficiënt gemodelleerd kan worden: De correlaties tussen gewichten kunnen effectief worden vastgelegd in laag-dimensionale subruimtes, wat het gebruik van laag-rang covariantiematrices mogelijk maakt die de geheugen- en rekenkosten drastisch verlagen.
• Stabiliteit wordt verbeterd: Werken in een gereduceerde parameter ruimte stabiliseert optimalisatie, wat leidt tot betere convergentie en kalibratie onder beperkte rekenbudgetten.
• Synergetische Afweging: De methode biedt een synergetische afweging waarbij voorspellende prestaties behouden of verbeterd worden, en kalibratie aanzienlijk wordt versterkt, terwijl slechts een fractie van de parameters wordt gebruikt die nodig zijn bij bestaande Bayesiaanse LoRA-methoden.

De auteurs concluderen dat hun raamwerk een conceptuele innovatie vertegenwoordigt in het toepassen van Bayesiaanse inferentie op gecomprimeerde subruimtes, en een praktische oplossing biedt voor onzekerheidsbewuste fijne afstelling van grote modellen in omgevingen met beperkte middelen.