Sintesi Tecnica: Allocazione Spettrale Pesata per Affidabilità con Core Spettrali Completi per il Fine-Tuning Visivo Parameter-Efficient

Definizione del Problema

I modelli visivi pre-addestrati vengono frequentemente adattati a task di downstream con dati etichettati limitati. Sebbene il fine-tuning completo offra prestazioni elevate, esso è computazionalmente costoso e impraticabile quando un singolo backbone deve supportare molteplici task, poiché richiede la memorizzazione di un backbone completo separato per ogni task. Il Parameter-Efficient Fine-Tuning (PEFT) affronta questo problema congelando il backbone e apprendendo uno stato compatto specifico per il task. Tuttavia, i metodi PEFT esistenti (ad esempio, adapter, LoRA, visual prompt) si affidano tipicamente a iperparametri specificati dall'utente come budget di rank, larghezze degli adapter, posizioni di inserimento o regole di allocazione per livello.

Un budget di adattamento fisso o distribuito uniformemente non riesce a tenere conto della distribuzione eterogenea delle informazioni rilevanti per il task attraverso un backbone pre-addestrato. Diversi tensori esibiscono spettri di gradiente e sensibilità al trasferimento differenti; un rank fisso può sprecare capacità su direzioni deboli o sottorappresentare quelle informative. Inoltre, molti metodi PEFF mantengono rami di inferenza attivi e specifici del metodo durante il deployment, aumentando la latenza e il traffico di memoria. Il paper postula la necessità di un metodo che:

1. Alloci la capacità in base all'evidenza del task piuttosto che a budget definiti dall'utente.
2. Determini automaticamente i rank specifici per livello e i tensori partecipanti.
3. Rimuova i rami specifici del metodo tramite fusione algebrica prima del deployment.

Metodologia

Il metodo proposto, Reliability-Weighted Spectral Allocation with Full Spectral Cores, opera in tre fasi connesse: calibrazione, allocazione spettrale e adattamento con fusione.

1. Calibrazione e Stima dell'Evidenza Spettrale

Il metodo utilizza un dataset di calibrazione per stimare le direzioni spettrali rilevanti per il task senza aggiornare il backbone.

• Pooling dei Gradienti: Per ogni tensore del backbone idoneo $W_\ell$ (escludendo task head, embedding e strati di normalizzazione), il metodo calcola il gradiente srotolato $G_{\ell,t}$ per ogni batch di calibrazione $t$.
• Partizioni Deterministiche: I batch di calibrazione sono divisi in due partizioni deterministiche ($I_0$ e $I_1$). I gradienti medi sono calcolati per ciascuna partizione ($G^{(0)}_\ell, G^{(1)}_\ell$) e il gradiente medio aggregato ($G_\ell$).
• Decomposizione Spettrale: Una decomposizione ai valori singolari (SVD) compatta viene eseguita sul gradiente aggregato: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$.
• Scoring Pesato per l'Affidabilità: Per ogni modo spettrale $j$, il metodo calcola un punteggio di coerenza $q_{\ell,j}$ basato sull'accordo tra le due partizioni.
  • Sia $a_{\ell,j}$ e $b_{\ell,j}$ le proiezioni dei gradienti delle partizioni sui vettori singolari.
  • La risposta comune è $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$, e la discrepanza è $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$.
  • Il peso è definito come $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$, dove $\hat{\nu}_\ell$ è una penalità di varianza a livello di tensore.
  • L'evidenza del modo finale è $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$, combinando l'energia singolare con la coerenza tra le partizioni.

2. Regola di Allocazione a Livello di Modello

Invece di un budget di rank specificato dall'utente, il metodo deriva un'allocazione globale dalla distribuzione dell'evidenza attraverso tutti i tensori.

• Supporto Effettivo: Il metodo calcola il supporto efficace di Shannon ($D_1$) e la dimensione del supporto di evidenza positiva ($D_0$) dalle probabilità di evidenza normalizzate.
• Determinazione Automatica del Rank: Il numero totale di modi spettrali mantenuti $R$ è determinato dalla media geometrica di questi supporti: $R = \lceil \sqrt{D_0 D_1} \rceil$.
• Selezione: Vengono selezionati i top $R$ valori di evidenza attraverso tutti i livelli e i tensori. Ciò determina simultaneamente:
  • Quali tensori partecipano.
  • Il rank specifico $r_\ell$ per ogni tensore partecipante.
  • Non è richiesto alcun budget di rank, soglia o lista di livelli forniti dall'utente.

3. Ottimizzazione del Full Spectral Core e Fusione

• Parametrizzazione: All'interno dei sottospazi spettrali sinistro ($U_{\ell, S_\ell}$) e destro ($V_{\ell, S_\ell}$) selezionati, il metodo ottimizza un full spectral core $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$. A differenza della scalatura diagonale (che aggiorna solo coppie corrispondenti), il core completo cattura le interazioni cross-mode ($u_{\ell,i} v_{\ell,j}^\top$ per tutti gli $i, j$).
• Ottimizzazione: I core spettrali e il task head vengono ottimizzati utilizzando lo standard loss del downstream. Il backbone e le basi selezionate rimangono congelati.
• Fusione Algebrica: Post-addestramento, gli aggiornamenti appresi vengono fusi algebricamente nei tensori originali del backbone: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$. Questo rimuove il ramo attivo del core spettrale, risultando in un modello di inferenza standard senza overhead di latenza derivante dal meccanismo PEFT.

Contributi Chiave

1. Reliability-Weighted Spectral Score: Un nuovo meccanismo di scoring che combina l'energia del gradiente aggregato con la coerenza tra due partizioni di calibrazione deterministiche, riducendo l'influenza dei modi instabili.
2. Allocazione Model-Wide Senza Utente: Una formulazione che determina congiuntamente il numero di modi mantenuti, i tensori partecipanti e i rank specifici per livello senza richiedere un budget di rank o una selezione manuale dei livelli da parte dell'utente.
3. Full Spectral Cores: Una strategia di ottimizzazione che utilizza core matriciali completi all'interno dei sottospazi selezionati per catturare le interazioni cross-mode, teoricamente superiore alla scalatura diagonale, e che consente la fusione algebrica.
4. Valutazione Unificata: Il metodo è applicato uniformemente sia a backbone convoluzionali che Transformer in compiti di classificazione a etichetta singola, riconoscimento multi-label e segmentazione semantica.

Risultati Sperimentali

Il metodo è stato valutato su DTD, Flowers-102, Oxford-IIIT Pet e Pascal VOC2007 utilizzando backbone ResNet, ViT, Swin e MobileNet.

• Performance vs. Linear Probing: Il metodo supera costantemente il linear probing. Guadagni degni di nota includono:
  • Flowers-102 (ViT-B/16): +4.85 punti percentuali in Acc@1 rispetto al linear probing.
  • Flowers-102 (ResNet-18): +4.21 punti percentuali.
  • DTD (ResNet-50): +0.69 punti percentuali rispetto al linear probing e +1.76 rispetto al full fine-tuning, ottimizzando solo 150.9K parametri (rispetto ai 23.6M del full fine-tuning).
• Confronto con PEFT Specializzati: Il metodo non supera uniformemente i baseline specializzati (ad esempio, RepAdapter, SSF) o il full fine-tuning in tutte le configurazioni. Ad esempio, su DTD con ViT-B/16, RepAdapter ha ottenuto un'accuratezza superiore. Gli autori osservano che il metodo è più vantaggioso quando l'adattamento solo-head lascia un divario significativo ma il full fine-tuning è troppo costoso.
• Efficienza dei Parametri: Il metodo ottimizza tra 1.165 e 54.610 coordinate del core spettrale, rappresentando lo 0.004% - 0.307% dei parametri totali del modello.
• Studi di Ablazione:
  • Full vs. Diagonale: I full spectral cores hanno superato la scalatura spettrale diagonale di 1.07 punti percentuali (Acc@1) su DTD con ResNet-18, confermando il valore della cattura delle interazioni cross-mode.
  • Componenti di Affidabilità: La rimozione del weighting della coerenza tra partizioni ha ridotto le prestazioni, validando l'importanza dello score di affidabilità.

Significato e Claim

Il paper sostiene che il metodo proposto offra un'alternativa fondata e automatizzata alla configurazione manuale del PEFT. Il suo significato primario risiede nel:

• Eliminare la Ricerca di Iperparametri: Elimina la necessità per gli utenti di specificare budget di rank, liste di livelli o regole di allocazione, derivandoli direttamente dai dati di calibrazione.
• Efficienza di Deployment: Tramite la fusione algebrica degli aggiornamenti, elimina l'overhead di latenza di inferenza e di memoria associato ai rami di adapter attivi, un limite comune di altri metodi PEFT.
• Generalizzabilità: Fornisce una singola regola di allocazione applicabile a diverse architetture (CNN e Transformer) e task (classificazione e segmentazione).

Gli autori riconoscono modestamente alcuni limiti: i sottospazi selezionati dipendono da specifici batch di calibrazione, la regola del supporto efficace è un'euristica piuttosto che un criterio statisticamente ottimale, e il metodo richiede attualmente un checkpoint fuso separato per ogni task. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sulla stabilità dell'allocazione e su approssimazioni più efficienti per la calibrazione per modelli più grandi.