🤖 machine learning

PVeRA: Probabilistic Vector-Based Random Matrix Adaptation

Dit artikel introduceert PVeRA, een probabilistische uitbreiding van de VeRA-adapter die de gedeelde low-rank-matrices aanpast om beter om te gaan met input-ambiguïteiten en superieure prestaties te behalen op de VTAB-1k-benchmark in vergelijking met bestaande parameter-efficiënte adaptatiemethoden.

Oorspronkelijke auteurs: Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, ongelooflijk slimme kennisbibliotheek voor (een "foundation model") die bijna elk boek ter wereld heeft gelezen. Deze bibliotheek is briljant, maar ook enorm, zwaar en duur om te verplaatsen. Als je haar een specifieke nieuwe vaardigheid wilt leren—zoals het herkennen van zeldzame bloemen of het diagnosticeren van een specifieke medische aandoening—moet je haar meestal "fine-tunen".

Het Probleem: Traditionele fine-tuning is als proberen de hele encyclopedie opnieuw te schrijven om hem aan te passen aan je nieuwe onderwerp. Het kost veel tijd, geld en rekenkracht. Bovendien, als je maar enkele voorbeelden van het nieuwe onderwerp hebt, kan de bibliotheek in de war raken en haar oude kennis vergeten (overfitting).

De Huidige Oplossing (Adapters): Om dit op te lossen, hebben wetenschappers "adapters" bedacht. Denk hierbij aan kleine, lichtgewicht post-it's die je aan de boekenplanken van de bibliotheek plakt. In plaats van de boeken te herschrijven, voeg je gewoon deze notities toe om de bibliotheek te leiden hoe ze je nieuwe taak moet aanpakken. Een populaire soort post-it heet VeRA. Het maakt gebruik van een paar "bevroren" (onveranderlijke) willekeurige patronen die over de hele bibliotheek worden gedeeld, en het leert slechts een paar kleine getallen (vectoren) om aan te passen hoe die patronen worden gebruikt. Het is efficiënt, maar een beetje stijf; het maakt voor elke invoer één enkele, vaste beslissing.

Het Nieuwe Idee: PVeRA
De auteurs van dit artikel stellen PVeRA (Probabilistic Vector-Based Random Matrix Adaptation) voor. Hier is de eenvoudige uitleg van wat ze hebben gedaan:

1. Van een Enkele Gissing naar een "Wolk van Mogelijkheden"

Stel je voor dat je probeert een dier te identificeren op een mistige foto.

Oude Manier (VeRA): Het model kijkt naar de mist en zegt: "Ik ben 100% zeker dat dit een olifant is." Het doet één stijve gissing op basis van een vaste regel.
Nieuwe Manier (PVeRA): Het model kijkt naar de mist en zegt: "Dit lijkt voornamelijk op een olifant, maar er is een kleine kans dat het een paard is, en de mist maakt me een beetje onzeker."

PVeRA verandert de "post-it's" zodat ze niet slechts één getal bevatten, maar een verdeling (een wolk van mogelijkheden). In plaats van één vaste aanpassing te kiezen, leert het model een reeks mogelijke aanpassingen. Tijdens het trainen steekt het willekeurig uit deze wolk, waardoor het effectief oefent met vele licht verschillende versies van zichzelf. Dit helpt het de "mist" (ambiguïteit) in de data veel beter te hanteren.

2. Waarom Dit Een "Veiligheidsnet" Is

Het artikel beweert dat deze probabilistische aanpak het model twee superkrachten geeft:

Betrouwbaarheidsintervallen (De "Hoe Zeker Bent U?"-Meter):
Omdat het model steekt uit een wolk van mogelijkheden, kun je het vragen om dezelfde afbeelding 10 keer te bekijken.
- Als het 10 keer "Olifant" zegt met hetzelfde vertrouwen, weet je dat het zeker is.
- Als het 6 keer "Olifant", 3 keer "Paard" en 1 keer "Zebra" zegt, weet je dat het onzeker is.
  Het artikel toont aan dat PVeRA deze "betrouwbaarheidsintervallen" op natuurlijke wijze kan genereren zonder extra, ingewikkelde wiskunde. Het is alsof het model een ingebouwde eerlijkheidsmeter heeft die je vertelt wanneer het gokt.
Betere Prestaties met Minder Data:
De auteurs hebben dit getest op 19 verschillende datasets (variërend van natuurlijke foto's tot medische beelden en gestructureerde data). Ze ontdekten dat PVeRA consequent beter presteerde dan de originele VeRA en andere populaire adapters. Het was vooral goed in het behouden van stabiliteit over verschillende soorten taken.

3. De "Magie" van Samenvoegen

Een van de coolste functies die worden genoemd, is dat je PVeRA, hoewel het tijdens het trainen een "wolk" van mogelijkheden gebruikt, toch kunt samenvoegen in het hoofdmodel voor gebruik in de echte wereld.

Analogie: Stel je voor dat je een speech oefent door 100 verschillende versies van je voordracht uit te proberen. Zodra je genoeg hebt geoefend, kies je de beste versie van je speech en onthoud je die.
Resultaat: Wanneer je de speech daadwerkelijk geeft (inference), hoef je niet 100 versies te proberen. Je levert gewoon die ene gepolijste versie. Dit betekent dat PVeRA net zo snel is als de oude methoden wanneer je het daadwerkelijk gebruikt, maar dat het tijdens het trainen slimmer heeft geleerd.

4. Het Opsporen van "Buitenstaanders"

Het artikel ontdekte ook dat PVeRA, omdat het een verdeling leert, beter is in het opsporen van dingen die het niet kent.

Analogie: Als je een model dat is getraind op katten en honden een foto van een broodrooster laat zien, kan een stijf model zelfverzekerd "Kat" zeggen (omdat het een beetje op een kat lijkt). Een PVeRA-model kan echter zeggen: "Ik ben hier echt onzeker over; mijn interne vertrouwen ligt overal."
De auteurs toonden aan dat de interne "onzekerheidssignalen" van het model veel sterker waren voor dingen die het nog niet had gezien (buiten de verdeling), waardoor het een betere tool is voor veiligheidskritieke taken waarbij je moet weten wanneer het model in de war is.

Samenvatting

Het artikel introduceert PVeRA, een slimmere, flexibeler versie van een bestaand hulpmiddel genaamd VeRA. Door het model te leren denken in termen van "probabiliteiten" en "reeksen van mogelijkheden" in plaats van enkele vaste antwoorden, doet het het volgende:

Presteert beter op een breed scala aan taken.
Weet wanneer het het niet weet (betere schatting van onzekerheid).
Blijft snel omdat de complexe wiskunde alleen wordt gebruikt tijdens het trainen, niet wanneer het model daadwerkelijk werkt.

Het is in wezen een upgrade van de "post-it's" van het model van stijve instructies naar flexibele, probabilistische gidsen die het model helpen om met vertrouwen door ambiguïteit te navigeren.

1. Probleemstelling

Grote foundation modellen (bijvoorbeeld Vision Transformers) hebben state-of-the-art prestaties bereikt, maar vereisen enorme rekenkracht en datasets voor fine-tuning. Traditionele volledige fine-tuning is vaak niet haalbaar vanwege de kosten en het risico op overfitting bij regimes met weinig data.

Parameter-efficiënte fine-tuning (PEFT): Methoden zoals LoRA en VeRA lossen dit op door de backbone te bevriezen en slechts een klein aantal parameters (adapters) te trainen.
Beperkingen van huidige methoden: Hoewel VeRA (Vector-based Random matrix Adaptation) zeer efficiënt is door het gebruik van bevroren, willekeurige low-rank matrices die over lagen worden gedeeld, blijft het een deterministische aanpak. Het produceert een enkele puntsschatting voor gewichtsaanpassingen, wat zijn vermogen beperkt om:
1. Inherent ambiguïteiten in invoerdata te modelleren.
2. Voorspellingonzekerheid te kwantificeren.
3. Betrouwbaarheidsintervallen voor outputs te bieden.

2. Methodologie: PVeRA

De auteurs stellen PVeRA voor, een probabilistische uitbreiding van VeRA die de low-rank aanpassingsmatrices behandelt als stochastische variabelen getrokken uit een geleerde verdeling in plaats van vaste waarden.

Kernmechanisme

Probabilistische formulering: In plaats van vaste schalingsvectoren te leren, leert PVeRA de parameters van een multivariate normale verdeling ( $\mu$ en $\sigma$ ) voor de latente aanpassingsruimte.
Architectuur:
- Het maakt gebruik van bevroren willekeurige matrices $A$ en $B$ (gedeeld over lagen), vergelijkbaar met VeRA.
- Het introduceert trainbare vectoren $d$ en $b$ om het gemiddelde ( $\mu$ ) en de standaardafwijking ( $\sigma$ ) van de verdeling te genereren.
- Reparameterisatietrick: Tijdens training wordt de latente variabele $z$ bemonsterd als $z = \mu + \epsilon \cdot \sigma$ , waarbij $\epsilon \sim \mathcal{N}(0, 1)$ . Dit zorgt ervoor dat gradiënten door het bemonsteringsproces kunnen stromen.
Verliesfunctie: De totale loss combineert de taakspecifieke classificatieloss met een Kullback-Leibler (KL-divergentie) term. De KL-term dwingt een standaardnormale prior ( $\mathcal{N}(0, I)$ ) af op de geleerde verdelingen om overfitting te voorkomen en ervoor te zorgen dat de latente ruimte geregulariseerd blijft.
$\mathcal{L}_{total} = \mathcal{L}_{classification} + \beta \sum \mathcal{L}_{KL}$

Inferentiestrategieën

PVeRA ondersteunt twee inferentiemodi:

Deterministisch: Gebruikt alleen het gemiddelde ( $\mu$ ) voor de aanpassing. De gewichten kunnen worden samengevoegd in de backbone, wat resulteert in zero inferentie-overhead (identiek aan VeRA/LoRA).
Probabilistisch (Monte Carlo): Bemonsterd meerdere keren tijdens inferentie uit de geleerde verdeling. Dit maakt het mogelijk om:
- Onzekerheidskwantificering: Hoge variantie in voorspellingen duidt op onzekerheid.
- Betrouwbaarheidsintervallen: Statistische betrouwbaarheidsintervallen voor voorspellingen genereren.
- Out-of-Distribution (OOD) detectie: OOD-steekproeven vertonen doorgaans verschillende distributiekenmerken in de latente ruimte in vergelijking met in-distribution steekproeven.

3. Belangrijkste bijdragen

Voorstel van PVeRA: Een nieuwe adapter die een verdeling over gewichtsaanpassingen leert, waardoor een inductieve bias wordt geïntroduceerd om ambiguïteiten in de feature-ruimte aan te pakken.
Prestatiesuperioriteit: Aangetoond dat PVeRA gemiddeld beter presteert dan de originele VeRA en andere state-of-the-art adapters (LoRA, DoRA, IA3, Bottleneck).
Onzekerheid & Calibratie:
- PVeRA behoudt uitstekende modelcalibratie (het voorspellen van nauwkeurige betrouwbaarheidsscores).
- Het maakt het genereren van betrouwbaarheidsintervallen en onzekerheidsschatting mogelijk zonder de backbone opnieuw te trainen.
Efficiëntie: Behoudt de extreme parameter-efficiëntie van VeRA (ordes van grootte minder parameters dan standaard adapters) en maakt gewichtssamenvoeging mogelijk om inferentielatentie te elimineren.
Open Source: Code beschikbaar gesteld voor het trainen en benchmarken van PVeRA en andere adapters.

4. Experimentele resultaten

De auteurs evalueerden PVeRA op de VTAB-1k benchmark (19 datasets verspreid over natuurlijke, gespecialiseerde en gestructureerde categorieën) met een bevroren DINOv2 (ViT-B/14) backbone.

Nauwkeurigheid: PVeRA behaalde de hoogste gemiddelde nauwkeurigheid (71,4%) over alle 19 datasets, beter dan VeRA (69,9%), LoRA (70,5%) en DoRA (71,0%). Het toonde bijzonder stabiele prestaties over diverse domeinen.
Parameter-efficiëntie: PVeRA behoudt een zeer laag aantal parameters (vergelijkbaar met VeRA), aanzienlijk lager dan Bottleneck, AdaptFormer en DoRA.
Calibratie: Met gebruik van de Adaptive Calibration Error (ACE) metric toonde PVeRA (samen met LoRA en VeRA) superieure calibratie in vergelijking met andere adapters, wat betekent dat zijn betrouwbaarheidsscores de werkelijke nauwkeurigheid beter weerspiegelen.
Onzekerheidsschatting:
- Experimenten toonden aan dat incorrect geclassificeerde steekproeven aanzienlijk hogere standaardafwijkingen hadden in hun softmax-scores in vergelijking met correct geclassificeerde steekproeven bij gebruik van probabilistische inferentie.
- Betrouwbaarheidsintervallen: Correct geclassificeerde steekproeven hadden veel nauwere betrouwbaarheidsintervallen (0,085) in vergelijking met incorrecte (0,225).
Out-of-Distribution (OOD) detectie: De som van de gemiddelden ( $\mu_q + \mu_v$ ) in de adapterlagen diende als een effectieve metric om in-distribution te onderscheiden van out-of-distribution data, een capaciteit die VeRA mist.
Ablatiestudies:
- Rank: Een rank van $r=256$ bood de beste balans tussen prestaties en parameters.
- Positie: Het toepassen van PVeRA op de Query (Q) en Value (V) takken leverde de beste resultaten op, consistent met de originele bevindingen van LoRA.

5. Betekenis en Impact

PVeRA vertegenwoordigt een belangrijke stap voorwaarts in Parameter-Efficiënte Fine-Tuning door de kloof tussen efficiëntie en probabilistische modellering te overbruggen.

Robuustheid: Door onzekerheid te modelleren, is PVeRA beter geschikt voor veiligheidskritische toepassingen (bijvoorbeeld medische beeldvorming) waar het weten wanneer een model onzeker is, net zo belangrijk is als de voorspelling zelf.
Veelzijdigheid: Het breidt de bruikbaarheid van VeRA uit voorbij eenvoudige classificatie, waardoor taken zoals OOD-detectie en schatting van betrouwbaarheidsintervallen mogelijk worden zonder de inferentiekosten van het model te verhogen (bij gebruik van deterministische samenvoeging).
Generaliseerbaarheid: Het paper toonde ook kort de effectiviteit van PVeRA aan voor Natural Language Processing-taken (GLUE benchmark), wat suggereert dat het probabilistische aanpassingsmechanisme model-agnostisch is en toepasbaar is voorbij computer vision.

Kortom, PVeRA biedt een "het beste van twee werelden"-oplossing: de rekenkundige efficiëntie en het lage aantal parameters van VeRA, gecombineerd met de robuustheid, onzekerheidskwantificering en verbeterde calibratie van probabilistisch deep learning.