Self-Supervised Learning with a Multi-Task Latent Space Objective

Sintesi Tecnica: Apprendimento Auto-Supervisionato con un Obiettivo di Spazio Latente Multi-Task

Definizione del Problema
L'apprendimento auto-supervisionato (SSL) basato su reti siamesi, come BYOL, SimSiam e MoCo v3, apprende rappresentazioni visive allineando diverse viste aumentate della stessa immagine. Una componente critica nella moderna SSL è la strategia multi-crop, che incorpora piccoli ritagli locali insieme a viste globali per imporre la coerenza spaziale. Sebbene questa strategia aumenti significativamente le prestazioni nei metodi contrastivi e basati sul clustering (ad es., SimCLR, SwAV, DINO), induce una grave instabilità nelle architetture siamesi basate su predittori.

Gli autori identificano che questa instabilità deriva dall'uso di un singolo predittore condiviso per tutti i tipi di vista (globale e locale). Poiché i ritagli globali e locali differiscono drasticamente per scala e contenuto, un predittore unificato fatica ad allineare queste rappresentazioni eterogenee, portando al fallimento dell'ottimizzazione, a plateau prematuri delle prestazioni o alla degradazione dell'accuratezza rispetto alle baseline standard a due viste.

Metodologia
La soluzione proposta prevede due cambiamenti architettonici e metodologici primari:

1. Predittori Specifici per Vista (Multi-Predictor Multi-Crop):
   Invece di condividere un singolo head predittore per tutte le viste, gli autori assegnano un predittore dedicato a ogni tipo di vista (globale, locale e, successivamente, cutout) mantenendo condiviso l'encoder (backbone e projection head).

   • Meccanismo: Ogni predittore si specializza nell'allineamento delle rappresentazioni per il proprio specifico tipo di vista. Questo disaccoppiamento riduce l'interferenza tra gli obiettivi di allineamento dei ritagli globali e locali.
   • Beneficio: Questa modifica stabilizza l'addestramento senza alterare la funzione di perdita, non richiede nuovi iperparametri e aumenta solo marginalmente il numero di parametri apprendibili.

2. Formulazione Multi-Task con Viste Cutout:
   Costruendo sulla configurazione multi-crop stabilizzata, gli autori estendono il framework introducendo le viste cutout.

   • Cutout Asimmetrico: Una regione rettangolare casuale dell'immagine viene mascherata (occlusa) nella vista online, mentre la vista target rimane completa. Ciò crea una configurazione asimmetrica in cui il modello online deve predire la rappresentazione dell'immagine completa partendo da un input parzialmente mascherato, agendo efficacemente come un compito di inpainting leggero nello spazio latente.
   • Segnale Complementare: A differenza dei ritagli locali che rimuovono il contesto esterno, il cutout rimuove il contenuto interno. Ciò incoraggia il modello a inferire le informazioni mancanti dalle regioni circostanti, completando la invarianza di scala appresa tramite il cropping.
   • Framework Unificato: La formulazione finale tratta le viste globali, locali e cutout come compiti distinti nello spazio latente. La perdita totale di allineamento è una somma pesata degli errori di predizione per ogni tipo di vista rispetto alla rappresentazione target globale.

Contributi Chiave

1. Diagnosi dell'Instabilità: Il documento identifica il predittore condiviso come la causa primaria del fallimento del multi-crop nella SSL siamese asimmetrica e dimostra che l'assegnazione di predittori specifici per vista risolve questo problema.
2. Addestramento Multi-Crop Stabilizzato: L'approccio multi-predittore proposto consente ai metodi basati su predittori (BYOL, SimSiam, MoCo v3) di sfruttare appieno le aumentazioni multi-crop, producendo guadagni di prestazioni costanti.
3. Estensione dell'Aumentazione Spaziale: L'introduzione delle viste cutout asimmetriche fornisce un segnale di supervisione spaziale complementare. L'analisi degli autori suggerisce che le aumentazioni spaziali (cropping e cutout) sono la fonte più efficace di supervisione nella SSL, superando le aumentazioni non spaziali.
4. Framework Multi-Task Unificato: Il lavoro presenta una semplice formulazione multi-task indipendente dal backbone che integra viste globali, locali e mascherate in un unico ricettario compatibile sia con backbone CNN che Transformer.

Risultati Sperimentali
L'approccio è stato validato su ImageNet-1k utilizzando backbone ResNet-50 e Vision Transformer (ViT) attraverso BYOL, SimSiam e MoCo v3.

• Prestazioni ResNet-50:

  • BYOL: L'accuratezza della valutazione lineare è migliorata dal 70,7% (standard multi-crop con predittore condiviso) al 74,7% con la configurazione multi-predittore. La formulazione multi-task finale (inclusa la cutout) ha raggiunto il 75,6%.
  • SimSiam & MoCo v3: Entrambi i framework hanno visto guadagni simili di circa +4% nella valutazione lineare passando dallo standard multi-crop alla configurazione multi-predittore.
  • Efficienza: La variante multi-task di SimSiam ha raggiunto il 74,7% di accuratezza in soli 200 epoche, superando la baseline originale di SimSiam (71,3%) che richiedeva 800 epoche.

• Prestazioni ViT:

  • ViT-S: L'accuratezza lineare è migliorata dal 71,4% al 74,0%.
  • ViT-B: L'accuratezza lineare ha raggiunto il 77,7%, superando la baseline standard di BYOL di +3,7%.

• Compiti Downstream:

  • Rilevamento Oggetti/Segmentazione COCO: Il modello multi-task BYOL ha superato sia il pre-addestramento supervisionato che altri metodi SSL, raggiungendo l'AP più alto (41,8 per il rilevamento, 38,0 per la segmentazione) su un backbone ResNet-50.
  • Confronto: Il metodo ha costantemente superato o eguagliato i metodi contrastivi, di clustering e non contrastivi allo stato dell'arte, e ha superato gli approcci di Masked Image Modeling (MIM) nelle impostazioni di valutazione lineare.

Significatività e Rivendicazioni
Il documento sostiene che il disaccoppiamento dei predittori tra i tipi di vista è un requisito fondamentale per rendere efficaci le strategie multi-crop nella SSL siamese basata su predittori. Trattando ogni trasformazione spaziale come un compito di allineamento distinto, gli autori forniscono un framework stabile e generalizzabile che migliora la qualità delle rappresentazioni attraverso diverse architetture.

Il lavoro evidenzia che le aumentazioni spaziali sono la fonte dominante di segnali di apprendimento nella SSL. L'integrazione delle viste cutout dimostra che la supervisione basata sull'occlusione può essere incorporata efficacemente nei framework siamesi senza complesse modifiche architettoniche o obiettivi di ricostruzione. Gli autori suggeriscono che questi principi — specificamente il disaccoppiamento dei predittori e l'uso di viste spaziali diverse — potrebbero estendersi ad altre modalità strutturate come video o nuvole di punti. Notano inoltre che il condizionamento dei predittori su informazioni specifiche della vista (ad es., coordinate della cutout) rappresenta una potenziale direzione futura verso le Joint-Embedding Predictive Architectures.