Technische Samenvatting: Kwantificering van de Onzekerheid van Foundation Modellen met Singular Value Ensembles

1. Probleemstelling

Foundation modellen hebben een opmerkelijke prestatie geleverd in diverse taken door middel van grootschalige pretraining, maar ze produceren vaak overmoedige en ongekalibreerde voorspellingen. In kritieke domeinen zoals medische diagnose, autonoom rijden en besluitvormingsondersteuning in de landbouw, is het vermogen van een model om zijn eigen onwetendheid te herkennen (epistemische onzekerheid) even cruciaal als de voorspellende nauwkeurigheid. Overmoedige misdiagnoses of onjuiste risicobeoordelingen kunnen ernstige gevolgen hebben.

De standaardmethode voor het kwantificeren van epistemische onzekerheid omvat het trainen van een ensemble van meerdere onafhankelijk geïnitialiseerde modellen (Deep Ensembles). Hoewel effectief, lijdt deze methode aan een fundamentele beperking: de computationele en geheugenkosten schalen lineair met het aantal ensembleleden ($M$). Voor foundation modellen met miljarden parameters wordt zelfs een bescheiden ensemble (bijv. $M=4$) computationeel onhaalbaar, waardoor principiële onzekerheidsinschatting ontoegankelijk wordt voor praktijkgebruikers met beperkte middelen of voor hen die gebruikmaken van parameter-efficiënte fine-tuning (PEFT).

Bestaande impliciete ensemblingmethoden (bijv. MC-Dropout, BatchEnsemble, LoRA-Ensemble) proberen de overhead te verminderen, maar worstelen vaak met het evenaren van de kalibratieprestaties van expliciete ensembles of vereisen nog steeds het leren van aanzienlijke nieuwe parameters voor elk lid.

2. Methodologie: Singular Value Ensemble (SVE)

De auteurs stellen Singular Value Ensemble (SVE) voor, een parameter-efficiënte impliciete ensemblingmethode die gebaseerd is op het inzicht dat kennis in foundation modellen georganiseerd is langs lineaire subruimten gedefinieerd door de singuliere vectoren van gewichtsmatrices.

Kernaanname

De methode rust op de hypothese dat de singuliere vectoren ($U$ en $V$) van vooraf getrainde gewichtsmatrices overeenkomen met betekenisvolle, orthogonale "kennisrichtingen" in de representatieruimte. De singuliere waarden ($\Sigma$) coderen de relatieve belangrijkheid of sterkte van deze richtingen. Daarom kan een ensemble worden geconstrueerd door de gedeelde kennisbasis (singuliere vectoren) te behouden, terwijl de bijdrage van elke richting wordt gemoduleerd via lid-specifieke singuliere waarden.

Technische Implementatie

1. SVD Decompositie: Voor elke doelgewichtsmatrix $W \in \mathbb{R}^{m \times n}$ in een vooraf getraind model wordt de Singular Value Decomposition berekend: $W = U\Sigma V^\top$.
2. Parameter Bevriezen: De singuliere vectoren $U$ en $V$ worden bevroren, waardoor de vooraf getrainde kennisbasis behouden blijft.
3. Lid-Specifiek Leren: In plaats van nieuwe gewichtsmatrices te leren, traint de methode $M$ kopieën van de singuliere waarden, aangeduid als $\{\Sigma^{(m)}\}_{m=1}^M$, één voor elk ensemblelid. Daarnaast wordt een per-lid biasvector $b^{(m)}$ getraind.
4. Reconstructie: Tijdens inferentie wordt de gewichtsmatrix voor lid $m$ gereconstrueerd als $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. Initialisatie en Diversiteit: Om diversiteit tussen leden te waarborgen zonder de vooraf getrainde structuur te vernietigen, worden de singuliere waarden geïnitialiseerd met multiplicatieve perturbaties: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$, waarbij $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. Stochastische mini-batch sampling tijdens gezamenlijke training drijft de leden verder aan om naar verschillende combinaties van de gedeelde subruimten te convergeren.

Parameter Efficiëntie

Voor een transformer met verborgen dimensie $d$, voegt SVE slechts $6d$ singuliere waarden en $9d$ bias-entries toe per laag per lid (voor attention en MLP projecties). De totale parameter-overhead ten opzichte van het basismodel is ongeveer:
$$\text{Overhead} \approx \frac{5(M-1)}{4d}$$
Voor $d=768$ en $M=8$ resulteert dit in een overhead van $<1\%$. Voor grotere modellen zoals LLaMA-2-7B ($d=4096$) daalt de overhead naar $\approx 0,2\%$. Dit is aanzienlijk efficiënter dan LoRA-Ensemble (dat rank-$r$ matrices toevoegt) en ordes van grootte efficiënter dan Deep Ensembles.

3. Belangrijkste Bijdragen

• Introductie van SVE: Een nieuwe, parameter-efficiënte impliciete ensemblingmethode die diverse ensembleleden creëert door per-lid singuliere waarden te leren terwijl de vooraf getrainde singuliere vectoren worden gedeeld.
• Nieuwe Baseline voor Onzekerheid: Vestigt SVE als een sterke baseline voor onzekerheidskwantificering, waarbij het staat van de kunst kalibratie bereikt terwijl de voorspellende nauwkeurigheid behouden blijft.
• Uitgebreide Validatie: Gevalideerd over NLP- en Visie-taken met backbones variërend van 22M tot 7B parameters (BERT, LLaMA-2-7B, DINOv1/v2). De resultaten demonstreren generalisatie over modelgroottes en taaltypen.

4. Experimentele Resultaten

De auteurs evalueerden SVE op NLP-taken (ARC-Easy, SST-2) en Visie-taken (Flowers102, CIFAR-100, DTD, Oxford Pets, OOD detectie, en CIFAR-100-C corrupties).

• Kalibratie: SVE bereikt consistent superieure of concurrerende Expected Calibration Error (ECE) vergeleken met Deep Ensembles, LoRA-Ensemble en Bayesiaanse methoden (bijv. Bayes-LoRA, BLoB). Met name op ARC-Easy met LLaMA-2-7B bereikte SVE ($M=16$) een ECE van 3,8%, wat Deep Ensembles (9,9%) en LoRA-Ensemble (9,0%) aanzienlijk verslaat en de kalibratie van Bayesiaanse methoden benadert, terwijl het eenvoudiger te implementeren is.
• Nauwkeurigheid: SVE behoudt een voorspellende nauwkeurigheid die vergelijkbaar is met expliciete ensembles en andere impliciete methoden. Op CIFAR-100 behaalde het 85,6% nauwkeurigheid, waarmee het Deep Ensembles (85,4%) en enkelvoudige modellen verslaat.
• Robuustheid: Onder distributieverschuivingen (CIFAR-100-C) en Out-of-Distribution (OOD) detectie (CIFAR-100 $\to$ CIFAR-10), demonstreerde SVE een sterke robuustheid, waarbij het de prestaties van LoRA-Ensemble en Deep Ensembles evenaarde of overtrof in termen van AUROC en AUPRC, ondanks het gebruik van veel minder parameters.
• Afhankelijkheid van Backbone: De voordelen van SVE schalen met de kwaliteit van de vooraf getrainde representaties. Op modellen met een willekeurige initialisatie presteerde SVE ondermaats; echter, met sterke backbones (DINOv2), presteerde het beter dan alle baselines, wat de hypothese valideert dat betekenisvolle singuliere vectorbases cruciaal zijn voor het succes van de methode.
• Computationele Kosten: SVE vermindert de parameter- en geheugenoverhead met een factor 10 ten opzichte van LoRA-Ensemble en een factor 700 ten opzichte van Deep Ensembles. De inferentietijd is vergelijkbaar met LoRA-Ensemble en aanzienlijk sneller dan Bayesiaanse sampling-methoden.

5. Betekenis en Claims

Het artikel claimt dat SVE principiële onzekerheidsinschatting democratiseert voor omgevingen met beperkte middelen. Door gebruik te maken van de lineaire subruimtestructuur van foundation modellen, maakt SVE de creatie van diverse ensembleleden mogelijk met minimale parameter-overhead ($<1\%$).

De auteurs positioneren SVE als een gebalanceerde aanpak die:

1. Een nauwkeurigheid bereikt die vergelijkbaar is met LoRA-Ensemble.
2. Een kalibratie bereikt die vergelijkbaar is met complexe Bayesiaanse methoden.
3. Werkt met de computationele efficiëntie van parameter-efficiënte fine-tuning.

Het werk suggereert dat naarmate foundation modellen verbeteren, de "kennisbasis" gecodeerd in hun singuliere vectoren steeds waardevoller wordt. SVE benut dit door deze representaties te behouden terwijl diversiteit wordt geïntroduceerd via lichtgewicht aanpassingen, waardoor betrouwbare onzekerheidsinschatting toegankelijk wordt voor grootschalige modellen waar traditionele ensembling onhaalbaar is.

Erkende Beperkingen:
De auteurs merken op dat inferentie nog steeds één forward pass per lid vereist (vergelijkbaar met andere impliciete ensembles), waardoor FLOPs vergelijkbaar blijven met Deep Ensembles. Integratie met gekwantiseerde backbones is niet triviaal vanwege de noodzaak tot dekwantisatie vóór SVD. Bovendien, omdat SVE de vooraf getrainde basis behoudt, kan het biases of spuria true correlaties erven die aanwezig zijn in de backbone.