Distilling Vision Transformers for Distortion-Robust Representation Learning

Riassunto Tecnico: Distillazione di Vision Transformers per l'Apprendimento di Rappresentazioni Robuste alle Distorsioni

1. Il Problema (Problem Statement)

L'apprendimento di rappresentazioni visive robuste rimane una sfida centrale nella computer vision, specialmente quando i dati sono affetti da rumore, occlusioni, sfocatura (blur) o altre distorsioni. In ambiti critici come l'imaging medico, il telerilevamento e i sistemi autonomi, i dati "puliti" sono spesso scarsi o inesistenti.

I modelli pre-addestrati (come i Vision Transformers - ViT) tendono a degradare significativamente quando operano su input corrotti, poiché le distorsioni interrompono sia i segnali visivi a basso livello che le informazioni strutturali di alto livello. Il problema affrontato dai ricercatori è: è possibile recuperare le rappresentazioni semantiche di un encoder "pulito" osservando esclusivamente le versioni distorte delle immagini?

2. Metodologia (Methodology)

Gli autori propongono un framework di conoscenza asimmetrica tramite distillazione (Asymmetric Knowledge Distillation). L'approccio non mira alla ricostruzione dei pixel (denoising classico), ma al recupero della semantica nello spazio latente.

• Configurazione Teacher-Student:
  • Teacher (Insegnante): Un modello ViT pre-addestrato (DINO-ViT) che rimane congelato e riceve esclusivamente immagini pulite ($x$).
  • Student (Studente): Un modello con la stessa architettura che viene addestrato e riceve solo le versioni distorte ($\tilde{x}$) delle immagini.
• Obiettivo di Distillazione Multi-livello (Multi-Target Objective):
  Per guidare lo studente a emulare il teacher, il framework allinea tre livelli gerarchici di rappresentazione:
  1. Allineamento Semantico Globale ($L_{cls}$): Utilizza l'errore quadratico medio (MSE) sui class tokens per garantire che la rappresentazione globale dell'immagine sia coerente.
  2. Allineamento Spaziale Locale ($L_{patch}$): Allinea i patch tokens tramite MSE per preservare la struttura spaziale e i dettagli locali, impedendo che la distorsione collassi l'immagine in una media globale.
  3. Allineamento della Struttura di Attenzione ($L_{attn}$): Utilizza la divergenza di Kullback-Leibler (KL) sulle mappe di attenzione (come il modello distribuisce il focus sui vari patch). Questo assicura che lo studente "guardi" le stesse regioni semantiche del teacher.

La funzione di perdita totale è una combinazione pesata di questi tre termini: $\mathcal{L} = \lambda_{cls}\mathcal{L}_{cls} + \lambda_{patch}\mathcal{L}_{patch} + \lambda_{attn}\mathcal{L}_{attn}$.

3. Contributi Chiave (Key Contributions)

• Framework di Distillazione Asimmetrica: Un metodo efficace per addestrare encoder robusti senza mai mostrare dati puliti allo studente durante l'addestramento.
• Supervisione Multi-livello: L'introduzione della combinazione di embedding globali, feature locali e mappe di attenzione come segnale di supervisione strutturato.
• Approccio Self-Supervised: Il metodo non richiede etichette umane durante la fase di pre-addestramento, rendendolo applicabile a dataset non annotati.

4. Risultati (Results)

Il metodo è stato testato su ImageNet-100 e diversi dataset di trasferimento (CIFAR, STL-10, RESISC45, CAMELYON17) sotto diverse distorsioni (masking di pixel, rumore Gaussiano, blur Gaussiano).

• Robustezza In-Domain: Il modello proposto supera costantemente sia il supervised baseline (fine-tuning standard) che il metodo Contrastive Inversion (CI), specialmente in presenza di rumore e sfocatura.
• Capacità di Trasferimento (Transfer Learning): Il modello dimostra un'eccezionale capacità di generalizzazione su domini diversi (es. immagini satellitari e istopatologia), superando nettamente gli altri metodi anche quando le distorsioni sono severe.
• Efficienza dei Label (Label-Efficiency): Anche con una frazione minima di etichette (es. 5-10%), il modello distillato raggiunge prestazioni vicine a quelle di un modello addestrato con il 100% delle etichette, dimostrando che le rappresentazioni apprese sono già altamente organizzate semanticamente.
• Analisi dell'Attenzione: Le mappe di attenzione mostrano che, nonostante la distorsione, lo studente riesce a focalizzarsi correttamente sugli oggetti di interesse, a differenza dei modelli supervisionati che perdono il focus spaziale.

5. Significato e Conclusioni (Significance)

Il lavoro dimostra che la conoscenza semantica contenuta in un modello pre-addestrato può essere "trasferita" a un modello che opera in condizioni degradate. Questo è fondamentale per applicazioni reali dove la qualità dell'immagine è compromessa.

In sintesi, il paper sposta il paradigma dal "riparare l'immagine" (pixel-level) al "recuperare il significato" (feature-level), offrendo una soluzione robusta, trasferibile e altamente efficiente in termini di dati etichettati per la computer vision moderna.