Sintesi Tecnica: CORE-MTL

Definizione del Problema

L'apprendimento multi-task (MTL) mira a migliorare l'efficienza campionaria e la robustezza addestrando un encoder condiviso su più task correlati. Tuttavia, l'MTL soffre frequentemente di trasferimento negativo (negative transfer), in cui l'ottimizzazione per un task degrada le prestazioni di altri, ed esibisce una scarsa generalizzazione sotto spostamenti di distribuzione (Out-of-Distribution o OOD).

Gli approcci esistenti operano principalmente a livello di ottimizzazione, tentando di riconciliare i conflitti tra i task attraverso:

1. Bilanciamento dei Gradienti: Ripesatura o proiezione dei gradienti (es. GradNorm, PCGrad, STCH).
2. Modifica dell'Architettura: Instradamento dei task verso specifiche porzioni delle caratteristiche del backbone (es. MTAN).

Gli autori sostengono che questi metodi trattano l'apprendimento delle caratteristiche come una "scatola nera", ignorando la struttura interna della rappresentazione condivisa. Quando la rappresentazione condivisa intreccia fattori semantici invarianti (rilevanti per il task) con fattori residui spurii (variazioni di disturbo come sfondo o illuminazione), la manipolazione dei soli gradienti non può risolvere i conflenti risultanti. Questo intreccio porta a una dipendenza da "scorciatoie guidate dai disturbi" (nuisance-driven shortcuts), causando una generalizzazione OOD fragile.

Metodologia: CORE-MTL

Gli autori propongono CORE-MTL (Causal Orthogonal Representations for Multi-Task Learning), un framework centrato sulla rappresentazione che sposta l'attenzione dalla chirurgia dei gradienti alla fattorizzazione semantico-residua motivata dalla causalità.

1. Decomposizione Strutturale

CORE-MTL decompone l'output dell'encoder condiviso $\Phi_\theta(x)$ in due flussi distinti:

• Flusso Semantico ($\hat{Z}_s$): Cattura la struttura invariante e rilevante per il task (es. geometria, identità dell'oggetto).
• Flusso Residuo ($\hat{Z}_r$): Assorbe la variazione di disturbo irrilevante per il task (es. texture, illuminazione, sfondo).

Vincolo Cruciale: I predittori del task ($f_{\phi_t}$) sono limitati a dipendere esclusivamente dal flusso semantico $\hat{Z}_s$. Questa isolazione strutturale impedisce al modello di sfruttare i segnali di disturbo come scorciatoie durante l'apprendimento.

2. Obiettivi di Addestramento

Per imporre questa decomposizione e garantire che i flussi catturino i ruoli previsti, CORE-MTL impiega una funzione obiettivo unificata composta da quattro componenti:

• Supervisione del Task ($L_{task}$): Loss standard per ogni task basata su $\hat{Z}_s$.
• Indipendenza Strutturale ($L_{CKA}$): Utilizza il Centered Kernel Alignment (CKA) per minimizzare la dipendenza statistica tra $\hat{Z}_s$ e $\hat{Z}_r$, incoraggiandoli a catturare informazioni mutuamente esclusive.
• Augmentation delle Caratteristiche Controfattuali ($L_{CFA}$): Sintetizza istanze controfattuali ricombinando il flusso semantico di un'immagine con un vettore residuo casuale proveniente da un'altra immagine ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$). Il modello è addestrato per mantenere predizioni del task coerenti su queste immagini sintetizzate, imponendo l'invarianza di $\hat{Z}_s rispetto ai cambiamenti di disturbo.
• Grounding tramite Ricostruzione ($L_{rec}$): Un decoder ausiliario ricostruisce l'input da $(\hat{Z}_s, \hat{Z}_r)$. Questo fornisce un segnale di "grounding" (ancoraggio) per prevenire una fattorizzazione arbitraria. Gli autori implementano due varianti:
  • Hard Grounding: Utilizza priori fisici espliciti (es. rendering inverso con modelli di albedo e illuminazione) per scene strutturate.
  • Soft Grounding: Utilizza un generico decoder convoluzionale per task in cui i priori fisici non sono disponibili, facendo affidamento su colli di bottiglia architettonici e vincoli statistici.

3. Garanzie Teoriche

Il paper fornisce un'analisi teorica sotto un Modello Causale Strutturale (SCM) Lineare-Gaussiano:

• Limite Inferiore OOD: Dimostra che per qualsiasi metodo centrato sull'ottimizzazione che opera su rappresentazioni intrecciate, esiste un limite di errore OOD inevitabile proporzionale al grado di intreccio ($\sin^2 \psi$).
• Limite Disentangled: Al contrario, l'architettura disentangled di CORE-MTL garantisce un limite di generalizzazione OOD più stretto che scala linearmente con il "coefficiente di perdita" (sensibilità del flusso semantico rispetto ai fattori residui).
• Ortogonalità dei Gradienti: Il framework induce teoricamente l'ortogonalità dei gradienti tra le loss del task e quelle residue come sottoprodotto strutturale del disentanglement, risolvendo i conflitti a livello di rappresentazione piuttosto che tramite correzione post-hoc.

Contributi Chiave

1. Prospettiva Causale sull'MTL: Gli autori formalizzano i limiti dei metodi centrati sull'ottimizzazione sotto un SCM latente, dimostrando che la manipolazione dei gradienti su rappresentazioni intrecciate non può eliminare gli errori OOD.
2. Framework CORE-MTL: Un nuovo framework centrato sulla rappresentazione che impone la fattorizzazione semantico-residua tramite grounding fisico o generico, risolvendo il trasferimento negativo alla radice.
3. Superiorità Empirica: Esperimenti estesi mostrano miglioramenti costanti rispetto a dieci baseline rappresentative (inclusi GradNorm, PCGrad, STCH, MTAN) sia su benchmark in-distribution (NYUv2, Cityscapes) che out-of-distribution (GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes).
4. Scalabilità: Il metodo mantiene costi di addestramento quasi costanti all'aumentare del numero di task, evitando la scalabilità proibitiva associata ai metodi di chirurgia dei gradienti come PCGrad.

Risultati Sperimentali

• In-Distribution (ID): Su NYUv2 e Cityscapes, CORE-MTL ottiene il miglior compromesso complessivo, raggiungendo prestazioni elevate in segmentazione, stima della profondità e predizione delle normali di superficie.
• Out-of-Distribution (OOD):
  • Sim-to-Real (GTA5→Cityscapes): CORE-MTL ottiene le migliori metriche nel dominio target e i gap di prestazione più piccoli rispetto alle prestazioni della sorgente.
  • Robustezza alle Corruzioni (Cityscapes-C): Supera le baseline sotto varie corruzioni (contrasto, sfocatura, nebbia, rumore), particolarmente in scenari di severa riduzione della visibilità.
  • Stress Test sulle Scorciatoie (Colored-Cityscapes): In un benchmark dove i colori delle classi sono permutati tra sorgente e target, CORE-MTL rimane robusto, dimostrando di non fare affidamento su correlazioni di aspetto spurie.
• Scalabilità (CelebA): All'aumentare del numero di task (fino a 40 attributi), CORE-MTL mantiene un'alta accuratezza mentre i metodi di chirurgia dei gradienti (PCGrad) soffrono di tempi di addestramento esplosivi.

Significato e Rivendicazioni

Il paper sostiene che l'intreccio nelle rappresentazioni condivise, piuttosto che lo schema di bilanciamento dei gradienti stesso, sia una fonte primaria di interferenza tra i task e di fallimento OOD. Spostando il paradigma dalla "chirurgia post-hoc dei gradienti" al "disentanglement intrinseco della rappresentazione", CORE-MTL:

• Risolve i conflitti tra i task in modo strutturale, permettendo ai task di sinergizzare naturalmente senza una rigida correzione dei gradienti.
• Fornisce un limite teorico più stretto per la generalizzazione OOD.
• Offre una soluzione scalabile per l'apprendimento multi-task che rimane efficace all'aumentare del numero di task.

Gli autori posizionano questo lavoro come un passo verso il design di rappresentazioni consapevoli della struttura per l'apprendimento multi-task robusto, andando oltre la pura coordinazione centrata sull'ottimizzazione. Riconoscono i limiti, notando che le loro garanzie teoriche si basano su assunzioni lineari-gaussiane stilizzate e che l'attuale implementazione è destinata principalmente ai compiti di comprensione della scena densa.