Sintesi Tecnica: Intreccio Abduzione–Deduzione: Generalizzazione di Dominio tramite Trapianti di Rappresentazione

Enunciato del Problema

La Generalizzazione di Dominio (DG) affronta il fallimento dei modelli di previsione addestrati su una distribuzione sorgente nel generalizzare a una distribuzione target non vista. Gli approcci causali standard spesso si basano su forti assunzioni strutturali, come l'esistenza di un sottoinsieme di caratteristiche invarianti o l'assenza di confondenti non osservati, per identificare predittori invarianti. Tuttavia, i benchmark empirici (ad es. DomainBed) suggeriscono che i metodi esistenti spesso non riescono a superare la Minimizzazione del Rischio Empirico (ERM) standard, in parte a causa di una discrepanza tra le strutture assunte e le necessità reali di generalizzazione.

La sfida centrale identificata in questo lavoro è l'intreccio abduzione–deduzione. Qualsiasi regola di previsione $P(Y|X)$ può essere fattorizzata in un passo di abduzione (inferire variabili non osservate $\tilde{U}$, come confondenti, da $X$ osservato) e un passo di deduzione (prevedere $Y$ dato $X$ e $\tilde{U}$). Sebbene la previsione congiunta sia identificabile dai dati, le singole mappe di abduzione e deduzione non lo sono; sono intrecciate perché il loro prodotto deve equivalere alla regola di previsione osservata. I metodi DG tradizionali spesso tentano di eliminare questo intreccio imponendo l'invarianza su entrambe le mappe o trovando un sottoinsieme di caratteristiche in cui entrambe sono invarianti. Questo documento sostiene che tale rigida invarianza è spesso non necessaria e che lo stesso intreccio può essere sfruttato.

Metodologia

1. Quadro Teorico: Fattorizzazione Abduzione–Deduzione

Gli autori propongono un'assunzione strutturale in cui la mappa di deduzione (il meccanismo causale che genera l'etichetta $Y$ da $X$ e $\tilde{U}$ non osservato) è invariante tra i domini, mentre la mappa di abduzione (la distribuzione di $\tilde{U}$ dato $X$) varia.

• Fattorizzazione: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• Parametrizzazione: Gli autori assumono una rappresentazione pre-addestrata congelata $\phi(X)$ (ad es. da un modello fondazionale). Parametrizzano la mappa di abduzione come una lettura softmax-lineare e la mappa di deduzione come una lettura sigmoid-lineare di $\phi(X)$.
  • Abduzione: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • Deduzione: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    Qui, $A_s$ sono parametri specifici del dominio, e $D$ è un parametro condiviso e invariante.

2. Trapianti di Rappresentazione

Per navigare la non identificabilità delle mappe intrecciate, gli autori introducono i Trapianti di Rappresentazione.

• Base del Trapianto ($L$): È definito un operatore lineare $L$ tale che inverga a sinistra i parametri di abduzione ($A_s^\top L = I$) e giaccia nello spazio nullo del parametro di deduzione ($D^\top L = 0$).
• Operatore di Trapianto ($T_{s \to s'}$): Questo operatore scambia la componente di abduzione di una rappresentazione dal dominio $s$ al dominio $s'$ preservando la componente di deduzione.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• Implicazione: Ciò consente la costruzione di una famiglia di distribuzioni target plausibili. Trapiantando rappresentazioni sorgente in uno spazio target, è possibile generare distribuzioni target candidate coerenti con i dati sorgente e l'assunzione di deduzione invariante.

3. Ottimizzazione Robusta Causale (CRO)

Gli autori formulano la DG come un gioco apprendente–avversario chiamato Ottimizzazione Robusta Causale (CRO):

• Avversario: Dato un apprendente corrente $h$, l'avversario cerca la distribuzione target plausibile "peggiore" (parametrizzata dalla base di trapianto e dai parametri di abduzione) che massimizza il rischio di $h$. Ciò comporta l'ottimizzazione dei parametri di trapianto soggetti a vincoli di adattamento sui dati sorgente e a una penalità di chiusura (distanza di Hausdorff) che garantisce che le rappresentazioni trapiantate rimangano all'interno del supporto dei dati sorgente.
• Apprendente: L'apprendente aggiorna $h$ per minimizzare il rischio massimo sull'insieme delle distribuzioni target avversarie generate finora.
• Convergenza: Il gioco termina quando il rischio nel caso peggiore converge. Sotto assunzioni ideali (dati infiniti, ottimi globali), la soluzione è minimax-ottimale sull'insieme delle distribuzioni target strutturalmente plausibili.

Contributi Chiave

1. Riformulazione dell'Intreccio: Invece di trattare la non identificabilità di abduzione e deduzione come un problema da risolvere rimuovendo l'intreccio, il documento propone di parametrizzare l'intreccio. Ciò consente una ricerca strutturata su distribuzioni target plausibili senza richiedere l'invarianza rigida della mappa di abduzione.
2. Trapianto di Rappresentazione: L'introduzione di un operatore lineare a rango basso su rappresentazioni congelate che manipola il contenuto di abduzione mantenendo il contenuto di deduzione. Ciò fornisce un meccanismo concreto per la trasportabilità parziale.
3. Rappresentazioni Invarianti come Conseguenza: Il documento dimostra che le rappresentazioni invarianti (un obiettivo comune nella DG) emergono come conseguenza strutturale della parametrizzazione abduzione–deduzione e dell'esistenza di una base di trapianto, piuttosto che come obiettivo di apprendimento primario.
4. Algoritmo CRO: Un algoritmo pratico che implementa l'ottimizzazione min-max sull'insieme di distribuzioni parametrizzate dal trapianto, fornendo una garanzia minimax-ottimale sotto specifiche assunzioni strutturali.

Risultati Sperimentali

Il metodo è stato valutato su benchmark sintetici e reali utilizzando il protocollo DomainBed (esclusione di un ambiente alla volta, validazione sul dominio di addestramento).

• Colored MNIST (Sintetico): Nella cella diagnostica in cui la correlazione colore-etichetta è anti-allineata con la sorgente ($\rho = -0.9$), le linee di base standard (ERM, IRM, GroupDRO, ecc.) collassano a un'accuratezza di circa il 10% (peggiore del caso casuale). CRO raggiunge il 76% di accuratezza, identificando con successo la caratteristica di forma invariante separando la caratteristica di colore spuria nel sottospazio di abduzione e la forma nel sottospazio di deduzione.
• PACS (Reale): Su questo benchmark di riconoscimento di oggetti, dove l'assunzione di invarianza della deduzione è solo approssimativa (a causa di cambiamenti di stile), CRO performa in modo competitivo (media 84,6%), allineandosi al cluster di baseline ampio ma non superando i migliori performer (SagNet, CORAL). Gli autori attribuiscono ciò alla violazione parziale dell'assunzione di invarianza della deduzione.
• OfficeHome (Reale): CRO guida la performance media (69,3%) e si posiziona al primo posto in tre delle quattro celle di esclusione di un dominio alla volta. Gli autori suggeriscono che la struttura a 65 classi permette al segnale di abduzione di essere abbastanza ricco per la ricerca avversaria senza sovrapparametrizzazione.
• Validazione Strutturale: È stato costruito un dataset sintetico "domande morali" per verificare le premesse strutturali. Le diagnosi hanno confermato che la fattorizzazione abduzione–deduzione si chiude empiricamente, le mappe di abduzione sono distinte tra i domini, l'invarianza della deduzione vale e esiste una base di trapianto valida.

Significato e Affermazioni

Il documento afferma che il trapianto di rappresentazione offre una piccola parametrizzazione strutturata della non identificabilità abduzione–deduzione intrinseca nell'inferenza causale. Accogliendo l'intreccio invece di eliminarlo, l'algoritmo CRO proposto raggiunge il rischio target nel caso peggiore minimax-ottimale su un insieme di distribuzioni target causalmente plausibili.

Il significato risiede in:

1. Rigor Teorico: Fornire una garanzia formale di ottimalità minimax sotto specifiche assunzioni strutturali (deduzione invariante, chiusura sotto trapianto) dove i metodi precedenti spesso mancano di tali garanzie o si basano su assunzioni non verificabili.
2. Efficacia Pratica: Dimostrare che questo approccio può recuperare caratteristiche invarianti in scenari di "apprendimento tramite scorciatoie" (Colored MNIST) dove altri metodi DG causali falliscono, rimanendo competitivo in contesti reali complessi.
3. Nuova Prospettiva: Spostare il focus dalla ricerca diretta di caratteristiche invarianti alla parametrizzazione dello spazio dei meccanismi causali validi (coppie abduzione/deduzione) compatibili con i dati osservati.

Gli autori rimangono modesti riguardo alle limitazioni, notando che l'assunzione di chiusura (che le rappresentazioni trapiantate abbiano pre-immagini nel dominio target) è strutturale e non empiricamente verificabile senza dati target. Riconoscono inoltre che la garanzia minimax dipende da condizioni idealizzate (dati infiniti, ottimizzazione globale) e che le performance decadono in modo graduale ma lineare quando tali condizioni vengono rilassate.