The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

Titolo

La Geometria della Robustezza: Ottimizzazione della Curvatura del Loss Landscape e Allineamento del Manifold delle Caratteristiche per il Finetuning Robusto dei Modelli Vision-Language

1. Il Problema: Il Trade-off a Tre Vie

I modelli Vision-Language (VLM) su larga scala, come CLIP, eccellono nel trasferimento zero-shot e nella robustezza naturale. Tuttavia, quando vengono adattati a compiti specifici tramite fine-tuning, emerge un critico trade-off a tre vie tra:

1. Accuratezza In-Distribution (ID): Prestazioni sul dataset di addestramento.
2. Generalizzazione Out-of-Distribution (OOD): Capacità di gestire shift di distribuzione naturali (es. ImageNet-V2, ImageNet-R).
3. Robustezza Adversaria: Resistenza ad attacchi basati su gradienti (es. PGD).

Le strategie esistenti risolvono al massimo due di queste dimensioni, sacrificando la terza:

• I metodi focalizzati sulla generalizzazione (es. WiSE-FT, TPGM) mantengono buone prestazioni ID/OOD ma sono vulnerabili agli attacchi adversarial.
• L'addestramento adversariale (es. TeCoA, FARE) migliora la robustezza agli attacchi ma degrada drasticamente l'accuratezza ID e OOD.

L'analisi geometrica del paper rivela che questo fallimento deriva da due cause fondamentali:

1. Minimi Acuti e Anisotropi: Il fine-tuning porta il modello a convergere in regioni dello spazio dei parametri con alta curvatura (sharp minima), rendendolo sensibile a piccole perturbazioni dei pesi.
2. Instabilità del Manifold delle Caratteristiche: Le rappresentazioni delle feature si deformano sotto shift di distribuzione o attacchi, rompendo l'allineamento tra input puliti, OOD e adversarial.

2. Metodologia: Il Framework GRACE

Gli autori propongono GRACE (Gram-aligned Robustness via Adaptive Curvature Estimation), un framework di fine-tuning unificato basato sulla teoria PAC-Bayesiana robusta. GRACE mira a controllare simultaneamente la curvatura nello spazio dei parametri e l'invarianza nello spazio delle feature.

Il framework si compone di tre elementi chiave:

A. Adattamento a Basso Rango (LoRA) per la Prossimità al Prior

Per evitare la deriva dai pesi pre-addestrati (che causa il degrado zero-shot), GRACE utilizza l'adattamento a basso rango (LoRA). Questo vincola i parametri aggiornati a rimanere in un sottospazio affine vicino ai pesi originali, agendo come regolarizzazione di prossimità (termine KL nella bound PAC-Bayes).

B. LAR-AWP: Perturbazione Adversariale dei Pesi a Basso Rango e Adattiva per Livello

Per affrontare la curvatura acuta (Sharpness), GRACE introduce una perturbazione avversaria dei pesi, ma con due innovazioni rispetto all'AWP standard:

• Spazio a Basso Rango: Le perturbazioni avvengono nello stesso sottospazio LoRA, riducendo il costo computazionale.
• Adattività per Livello (Rank-Adaptive): Poiché la curvatura del loss landscape è anisotropa (alcuni layer sono molto più "acuti" di altri), GRACE stima la curvatura locale (tramite una proxy del tracciato dell'Hessiana basato sui gradienti) e assegna dinamicamente un rank di perturbazione più alto ai layer più curvi. Questo permette di "appiattire" (flatten) selettivamente le regioni critiche senza penalizzare eccessivamente l'accuratezza.

C. Gram-Volume Alignment Loss

Per garantire la stabilità delle feature (invarianza), GRACE introduce una perdita basata sul volume Gram.

• Per ogni campione, si considerano tre vettori di feature: input pulito ($f_{ID}$), input adversariale ($f_{Adv}$) e feature ottenute con pesi perturbati da LAR-AWP ($f_{AWP}$).
• Si costruisce una matrice Gram $3 \times 3$ di questi vettori.
• La loss minimizza il volume del parallelepipedo definito da questi vettori ($\sqrt{|\det(G)|}$).
• Obiettivo: Mantenere le tre rappresentazioni vicine tra loro (basso volume) pur preservando la separazione tra classi diverse. Questo assicura che il manifold delle feature rimanga stabile sia sotto attacchi di input che sotto perturbazioni dei pesi.

3. Contributi Chiave

1. Analisi Teorica e Geometrica: Dimostrazione che il trade-off robustezza-accuratezza deriva da minimi acuti e distorsione del manifold. Viene derivata una bound PAC-Bayes che scompone il rischio robusto in tre termini: prossimità al prior, sharpness parametrica e discrepanza tra domini.
2. Framework GRACE: Un metodo unificato che risolve il trilemma ID-OOD-Adversarial combinando regolarizzazione della curvatura (LAR-AWP) e allineamento delle feature (Gram-Volume).
3. Validazione Sperimentale: Dimostrazione che GRACE supera lo stato dell'arte su CLIP (ViT-B/32 e ViT-B/16), migliorando contemporaneamente l'accuratezza ID, la robustezza OOD e quella adversariale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CLIP fine-tunato su ImageNet-1K, valutato su benchmark ID, OOD (ImageNet-V2, R, S) e Adversarial (ImageNet-A, A-Plus, PGD).

• Prestazioni Unificate: GRACE ottiene un miglioramento significativo rispetto al fine-tuning standard e ai metodi robusti esistenti.
  • Accuratezza ID: 74.21% (vs 74.86% del vanilla FT, mantenendo prestazioni quasi ottimali).
  • Accuratezza OOD Media: 57.01% (vs 55.98% del vanilla FT).
  • Accuratezza Adversariale Media: 22.44% (vs 0% del vanilla FT e significativamente superiore ai metodi adversariali puri come TeCoA che crollano su OOD).
  • Media Armonica: GRACE raggiunge il punteggio più alto (39.69%), bilanciando perfettamente le tre dimensioni.
• Analisi Geometrica:
  • GRACE converge a minimi più piatti (curvatura massima ridotta da 3.5 a 1.6 $\times 10^4$ rispetto al vanilla FT).
  • Le feature mantengono un alto allineamento coseno tra domini (ID $\to$ OOD: 0.89; ID $\to$ Adv: 0.85), a differenza dei metodi che falliscono su una delle due direzioni.
• Efficienza: Nonostante l'aggiunta di passaggi interni (inner loop) per la perturbazione dei pesi, GRACE è circa 1.4 volte più veloce dei metodi adversariali precedenti (come TeCoA) grazie all'uso di LoRA e rank adattivi, offrendo un miglior compromesso costo-prestazioni.

5. Significato e Impatto

Questo lavoro stabilisce un nuovo paradigma per l'adattamento robusto dei modelli fondazione (Foundation Models).

• Superamento del Trade-off: Dimostra che è possibile ottenere robustezza generalizzata (su ID, OOD e Adversarial) senza sacrificare l'accuratezza, sfatando il mito che questi obiettivi siano intrinsecamente conflittuali.
• Importanza della Geometria: Sottolinea che la gestione della geometria del loss landscape (curvatura anisotropa) e la stabilità del manifold delle feature sono fondamentali quanto la scelta dell'architettura.
• Scalabilità: L'uso di perturbazioni a basso rango e adattive rende il metodo scalabile per modelli di grandi dimensioni, offrendo una soluzione pratica per il deployment sicuro dei VLM in scenari reali dove sono presenti sia shift di distribuzione che attacchi malevoli.

In sintesi, GRACE trasforma il fine-tuning da un processo di ottimizzazione puramente basata sul task a un processo di ottimizzazione geometrica, garantendo che il modello rimanga stabile, generalizzabile e robusto in un'ampia gamma di condizioni operative.