Riepilogo Tecnico: Gli Autoencoder Sparsi abilitano un Fine-tuning Robusto e Interpretabile dei modelli CLIP

Enunciato del Problema

I modelli visione-linguaggio pre-addestrati su larga scala, come CLIP, mostrano prestazioni notevoli in modalità zero-shot e robustezza rispetto agli spostamenti di distribuzione. Tuttavia, il fine-tuning di questi modelli per migliorare le prestazioni in-distribution (ID) su compiti downstream spesso porta a un degrado della robustezza out-of-distribution (OOD). Questo fenomeno, noto come "deriva rappresentazionale" o "soppressione delle caratteristiche", si verifica perché il fine-tuning standard distorce lo spazio rappresentazionale pre-addestrato, sovrascrivendo caratteristiche semanticamente significative con rumore specifico del compito o direzioni arbitrarie.

I metodi esistenti di fine-tuning robusto tentano di mitigare questo compromesso ma incontrano limitazioni significative:

• WiSE-FT: Media i pesi tra il modello zero-shot e quello fine-tunato. Sebbene efficace, spesso ignora il codificatore di testo e si basa su una semplice interpolazione, offrendo un controllo limitato su quali caratteristiche vengono preservate.
• Approcci guidati dal testo (es. FLYP, StarFT): Questi metodi effettuano il fine-tuning sia dei codificatori visivi che di quelli testuali o iniettano caratteristiche sintetiche e prior esterni nei prompt testuali. Tali approcci introducono complessità computazionale e dipendono dall'ingegneria dei dati esterni, complicando la pipeline di fine-tuning.

La sfida centrale è raggiungere un fine-tuning robusto che migliori le prestazioni ID senza sacrificare la generalizzazione OOD, operando in modo computazionalmente efficiente esclusivamente sulla modalità visiva e fornendo interpretabilità su come il modello si adatta.

Metodologia: SAE-FT

Gli autori propongono SAE-FT (Sparse Autoencoder Fine-tuning), un quadro di regolarizzazione che vincola il processo di fine-tuning allo span delle caratteristiche interpretabili del modello pre-addestrato. Il metodo si basa sull'Ipotesi di Rappresentazione Lineare, che postula che i concetti di alto livello siano codificati come direzioni lineari nello spazio di attivazione.

Componenti Principali

1. Addestramento dell'Autoencoder Spars (SAE):

   • Un SAE Top-k viene addestrato in modo non supervisionato sulle rappresentazioni visive congelate ($r_0$) del modello CLIP zero-shot pre-addestrato.
   • L'SAE scompone rappresentazioni dense e polisemantiche in una base sparsa e sovracomplessa di caratteristiche semanticamente significative ($s$).
   • I pesi dell'SAE vengono congelati dopo l'addestramento e servono come un dizionario fisso di caratteristiche interpretabili.

2. Strategia di Regolarizzazione:
   Durante il fine-tuning del codificatore visivo ($f_{ft}$), il modello è vincolato per garantire che gli aggiornamenti alle rappresentazioni ($r_{ft}$) rimangano all'interno dello span semantico dell'SAE pre-addestrato. La funzione di perdita totale combina la perdita standard di cross-entropia ($L_{CE}$) con due termini di regolarizzazione specifici:

   • Penalità di Allineamento del Residuo ($L_{resid}$): Assicura che la variazione della rappresentazione ($\Delta r = r_{ft} - r_0$) possa essere ricostruita dal decoder dell'SAE. Questo forza gli aggiornamenti a essere esprimibili come combinazione lineare delle caratteristiche semantiche apprese, impedendo al modello di derivare verso direzioni geometriche arbitrarie ortogonali al dizionario.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • Penalità di Preservazione delle Caratteristiche ($L_{add}$): Penalizza esplicitamente l'attivazione di caratteristiche che erano inattive nel modello zero-shot. Questo previene l'"aggiunta" di nuovi concetti semantici, potenzialmente spurii.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     dove $m_k$ è un indicatore per le caratteristiche attive nel modello zero-shot.

3. Addestramento e Inferenza:

   • L'SAE non viene aggiornato durante il fine-tuning e non viene utilizzato durante l'inferenza. Serve solo come vincolo geometrico durante il ciclo di addestramento.
   • Il metodo opera esclusivamente sul codificatore visivo utilizzando una configurazione di cross-entropia con testa lineare, evitando la complessità dell'ingegneria dei dati lato testo.

Contributi Chiave

1. Quadro SAE-FT: Una strategia di fine-tuning innovativa che vincola gli aggiornamenti rappresentazionali allo span delle caratteristiche interpretabili di un backbone pre-addestrato. Garantisce che l'adattamento avvenga mediante la riponderazione di concetti semantici esistenti piuttosto che la loro sovrascrittura, prevenendo l'oblio catastrofico della conoscenza generale.
2. Prestazioni ed Efficienza: Esperimenti estensivi dimostrano che SAE-FT eguaglia o supera la robustezza dello stato dell'arte (SOTA) su ImageNet e sui benchmark di spostamento di distribuzione. Crucialmente, ciò viene raggiunto senza augmentazioni lato testo o prior iniettati, rendendolo computazionalmente efficiente e più facile da distribuire rispetto ai metodi guidati dal testo.
3. Insight Meccanicistico: Il quadro fornisce un'analisi granulare della preservazione delle caratteristiche. Dimostra esplicitamente che il fine-tuning robusto comporta la riponderazione di caratteristiche esistenti (ad esempio, amplificando "scala" e "pittura rossa" per un camion dei pompieri) piuttosto che l'apprendimento di rappresentazioni completamente nuove, offrendo una visione trasparente del processo di adattamento.

Risultati Sperimentali

Gli autori hanno valutato SAE-FT sul modello OpenAI ViT-B/16 su più benchmark:

• ImageNet e Spostamenti di Distribuzione: SAE-FT ha raggiunto un'accuratezza su ImageNet del 82,9% (in linea con lo SOTA) e la più alta accuratezza media (64,6%) attraverso i benchmark di spostamento di distribuzione (ImageNet-R, A, S, V2). Ha superato altri metodi basati solo sul codificatore visivo come CAR-FT e WiSE-FT.
• Trasferimento Downstream: Quando valutato su CIFAR-10, CIFAR-100, Caltech-101 e STL-10 senza ulteriore fine-tuning, SAE-FT ha raggiunto la più alta accuratezza media di trasferimento (87,8%), indicando che le sue rappresentazioni generalizzano efficacemente a compiti diversificati.
• Benchmark iWilds: Su dataset OOD del mondo reale (iWildCam e FMoW), SAE-FT ha raggiunto le prestazioni migliori o quasi migliori, in particolare per quanto riguarda l'accuratezza del gruppo peggiore e i punteggi macro F1 OOD, superando la regolarizzazione L2 e altri metodi di fine-tuning robusto.
• Confronto con le Baseline: Sebbene i metodi di regolarizzazione generici (L1, L2, PCA) abbiano migliorato la robustezza limitando la deriva geometrica, SAE-FT ha fornito un controllo superiore sui cambiamenti specifici delle caratteristiche. Ha raggiunto un'accuratezza media leggermente superiore rispetto a queste baseline, ma ha offerto il vantaggio distintivo di operare in una base di caratteristiche appresa e semanticamente significativa.

Significato e Affermazioni

Il documento afferma che SAE-FT rappresenta un passo significativo in avanti nel rendere il fine-tuning sia robusto che interpretabile.

• Interpretabilità: A differenza della regolarizzazione di norma standard che tratta tutte le direzioni allo stesso modo, SAE-FT permette ai ricercatori di analizzare direttamente quali caratteristiche semantiche vengono preservate, riponderate o soppresse. Gli autori mostrano che il modello corregge le classificazioni errate (ad esempio, distinguendo una nave pirata da una goletta) amplificando le caratteristiche rilevanti per il compito, mantenendo al contempo il vocabolario originale delle caratteristiche.
• Efficienza: Operando esclusivamente sulla modalità visiva ed evitando manipolazioni complesse lato testo o dati esterni di LLM, SAE-FT offre una pipeline snellita per il fine-tuning robusto.
• Meccanismo di Successo: Gli autori sostengono che il successo di SAE-FT derivi dalla sua capacità di costringere il modello a concentrarsi su un sottoinsieme più sparso e rilevante di caratteristiche preesistenti. Questo previene l'"invalidazione" delle caratteristiche del modello fondazionale che tipicamente si verifica durante il fine-tuning standard, preservando così la conoscenza generale del modello mentre affina le distinzioni specifiche del compito.

Il lavoro conclude che la regolarizzazione interpretabile può abilitare un fine-tuning efficiente senza cancellare i concetti appresi dei modelli pre-addestrati, offrendo un'alternativa praticabile a strategie complesse di fine-tuning robusto dipendenti dal testo.