Technisch overzicht: Betrouwbaarheidsgewogen spectrale allocatie met volledige spectrale kernen voor parameter-efficiënte visuele fijnafstemming

Probleemstelling

Pretrained visuele modellen worden vaak aangepast aan downstream-taken met beperkte gelabelde data. Hoewel volledige fijnafstemming (full fine-tuning) een hoge prestatie biedt, is het computationeel duur en onpraktisch wanneer een enkele backbone meerdere taken moet ondersteunen, aangezien dit vereist dat er voor elke taak een aparte volledige backbone wordt opgeslagen. Parameter-efficiënte fijnafstemming (PEFT) pakt dit aan door de backbone te bevriezen en een compacte taakspecifieke staat te leren. Bestaande PEFT-methoden (bijv. adapters, LoRA, visuele prompts) vertrouwen echter op door de gebruiker gespecificeerde hyperparameters zoals rank-budgetten, adapterbreedtes, insertielocaties of laagspecifieke allocatieregels.

Een vast of uniform verdeeld adaptatiebudget houdt geen rekening met de heterogene distributie van taakrelevante informatie over een pretrained backbone. Verschillende tensoren vertonen variërende gradiëntspectra en transfergevoeligheden; een vaste rank kan capaciteit verspillen aan zwakke richtingen, terwijl informatieve richtingen ondervertegenwoordigd blijven. Bovendien behouden veel PEFT-methoden tijdens implementatie actieve, methode-specifieke inferentievertakkingen, wat de latentie en geheugenverkeer verhoogt. Het artikel stelt de behoefte aan een methode die:

1. Capaciteit toewijst op basis van taakbewijs in plaats van door de gebruiker gedefinieerde budgetten.
2. Laagspecifieke ranks en participerende tensoren automatisch bepaalt.
3. Methode-specifieke vertakkingen verwijdert via algebraïsche samenvoeging (merging) vóór implementatie.

Methodologie

De voorgestelde methode, Reliability-Weighted Spectral Allocation with Full Spectral Cores, werkt in drie verbonden stadia: kalibratie, spectrale allocatie en adaptatie met samenvoeging.

1. Kalibratie en schatting van spectrale bewijslast

De methode maakt gebruik van een kalibratiedataset om taakrelevante spectrale richtingen te schatten zonder de backbone bij te werken.

• Gradiëntpooling: Voor elke in aanmerking komende backbone-tensor $W_\ell$ (met uitzondering van task heads, embeddings en normalisatielagen) berekent de methode de ontvouwen gradiënt $G_{\ell,t}$ voor elke kalibratiebatch $t$.
• Deterministische partities: Kalibratiebatches worden gesplitst in twee deterministische partities ($I_0$ en $I_1$). Gemiddelde gradiënten worden berekend voor elke partitie ($G^{(0)}_\ell, G^{(1)}_\ell$) en de gepoolde gemiddelde gradiënt ($G_\ell$).
• Spectrale decompositie: Een compacte Singular Value Decomposition (SVD) wordt uitgevoerd op de gepoolde gradiënt: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$.
• Betrouwbaarheidsgewogen scoring: Voor elke spectrale modus $j$ berekent de methode een consistentiescore $q_{\ell,j}$ op basis van de overeenstemming tussen de twee partities.
  • Laat $a_{\ell,j}$ en $b_{\ell,j}$ de projecties van de partitiegradiënten op de singuliere vectoren zijn.
  • De gemeenschappelijke respons is $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$, en de discrepantie is $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$.
  • Het gewicht wordt gedefinieerd als $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$, waarbij $\hat{\nu}_\ell$ een variantiepenalty op tensorniveau is.
  • De uiteindelijke modus-bewijslast is $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$, die de singuliere energie combineert met partitieconsistentie.

2. Modelbrede allocatieregel

In plaats van een door de gebruiker gespecificeerd rank-budget, afleidt de methode een globale allocatie uit de bewijslastdistributie over alle tensoren.

• Effectieve ondersteuning: De methode berekent de Shannon effectieve ondersteuning ($D_1$) en de positieve-bewijs ondersteuningsgrootte ($D_0$) vanuit de genormaliseerde bewijslast-waarschijnlijkheden.
• Automatische rank-bepaling: Het totale aantal behouden spectrale modi $R$ wordt bepaald door het geometrisch gemiddelde van deze ondersteuningen: $R = \lceil \sqrt{D_0 D_1} \rceil$.
• Selectie: De top $R$ bewijslastwaarden over alle lagen en tensoren worden geselecteerd. Dit bepaalt simultaan:
  • Welke tensoren participeren.
  • De specifieke rank $r_\ell$ voor elke participerende tensor.
  • Er is geen door de gebruiker opgegeven rank-budget, drempelwaarde of lijst met lagen vereist.

3. Full Spectral Core Optimalisatie en Samenvoeging

• Parametrisatie: Binnen de geselecteerde linker ($U_{\ell, S_\ell}$) en rechter ($V_{\ell, S_\ell}$) spectrale subruimten optimaliseert de methode een volledige spectrale kern $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$. In tegenstelling tot diagonale schaling (die alleen gematchte paren bijwerkt), vangt de volledige kern cross-mode interacties op ($u_{\ell,i} v_{\ell,j}^\top$ voor alle $i, j$).
• Optimalisatie: De spectrale kernen en de task head worden geoptimaliseerd met behulp van de standaard downstream loss. De backbone en de geselecteerde bases blijven bevroren.
• Algebraïsche samenvoeging: Na de training worden de geleerde updates algebraïsch samengevoegd met de originele backbone-tensoren: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$. Dit verwijdert de actieve spectrale-kernvertakking, wat resulteert in een standaard inferentiemodel zonder latentieoverhead door de PEFT-mechanisme.

Belangrijkste Bijdragen

1. Betrouwbaarheidsgewogen spectrale score: Een nieuw scoringmechanisme dat gepoolde gradiëntenergie combineert met consistentie tussen twee deterministische kalibratiepartities, waardoor de invloed van instabiele modi wordt verminderd.
2. Gebruikersvrije modelbrede allocatie: Een formulering die het behouden aantal modi, de participerende tensoren en de laagspecifieke ranks gezamenlijk bepaalt zonder dat een door de gebruiker gespecificeerd rank-budget of handmatige laagselectie nodig is.
3. Volledige spectrale kernen: Een optimalisatiestrategie die volledige matrixkernen gebruikt binnen geselecteerde subruimten om cross-mode interacties te vangen, wat theoretisch superieur is aan diagonale schaling, en die algebraïsche samenvoeging mogelijk maakt.
4. Verenigde Evaluatie: De methode wordt uniform toegepast op zowel convolutionele als Transformer-backbones voor single-label classificatie, multilabel herkenning en semantische segmentatie.

Experimentele Resultaten

De methode werd geëvalueerd op DTD, Flowers-102, Oxford-IIIT Pet en Pascal VOC2007 met ResNet, ViT, Swin en MobileNet backbones.

• Prestaties vs. Lineaire Probing: De methode presteert consequent beter dan lineaire probing. Opvallende winsten zijn:
  • Flowers-102 (ViT-B/16): +4,85 procentpunt in Acc@1 ten opzichte van lineaire probing.
  • Flowers-102 (ResNet-18): +4,21 procentpunt.
  • DTD (ResNet-50): +0,69 procentpunt boven lineaire probing en +1,76 boven volledige fijnafstemming, terwijl slechts 150,9K parameters worden geoptimaliseerd (tegenover 23,6M voor volledige fijnafstemming).
• Vergelijking met Gespecialiseerde PEFT: De methode overtreft gespecialiseerde baselines (bijv. RepAdapter, SSF) of volledige fijnafstemming niet uniform in alle settings. Bijvoorbeeld, op DTD met ViT-B/16 behaalde RepAdapter een hogere nauwkeurigheid. De auteurs merken op dat de methode het meest voordelig is wanneer adaptatie van enkel de head een aanzienlijke kloof laat bestaan, maar volledige fijnafstemming te kostbaar is.
• Parameter-efficiëntie: De methode optimaliseert tussen 1.165 en 54.610 spectrale-kerncoördinaten, wat 0,004% tot 0,307% van de totale modelparameters vertegenwoordigt.
• Ablatieonderzoeken:
  • Volledig vs. Diagonaal: Volledige spectrale kernen presteerden 1,07 procentpunt beter (Acc@1) dan diagonale spectrale schaling op DTD met ResNet-18, wat de waarde van het vangen van cross-mode interacties bevestigt.
  • Betrouwbaarheidscomponenten: Het verwijderen van de partitie-consistentie weging verminderde de prestaties, wat de belangrijkheid van de betrouwbaarheidsscore valideert.

Betekenis en Claims

Het artikel beweert dat de voorgestelde methode een geprincieerd, geautomatiseerd alternatief biedt voor handmatige PEFT-configuratie. De primaire betekenis ligt in:

• Eliminatie van Hyperparameterzoektocht: Het elimineert de noodzaak voor gebruikers om rank-budgetten, lijsten met lagen of allocatieregels te specificeren, omdat deze direct uit de kalibratiedata worden afgeleid.
• Implementatie-efficiëntie: Door de updates algebraïsch samen te voegen, wordt de latentie en het geheugengebruik van actieve adaptervertakkingen geëlimineerd, een veelvoorkomend nadeel van andere PEFT-methoden.
• Generaliseerbaarheid: Het biedt één enkele allocatieregel die toepasbaar is op diverse architecturen (CNN's en Transformers) en taken (classificatie en segmentatie).

De auteurs erkennen bescheiden de beperkingen: de geselecteerde subruimten zijn afhankelijk van specifieke kalibratiebatches, de effectieve-ondersteuningsregel is een heuristiek in plaats van een statistisch optimaal criterium, en de methode vereist momenteel een apart samengevoegd checkpoint voor elke taak. Zij suggereren dat toekomstig werk zich moet richten op de stabiliteit van de allocatie en kalibratie-efficiënte benaderingen voor grotere modellen.