Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

1. Il Problema: Adattamento di Dominio con Confondimento Non Osservato

Il lavoro affronta la sfida critica dell'adattamento di dominio (domain adaptation) quando i dati provengono da osservazioni in ambienti diversi (sorgente e target) caratterizzati da spostamenti di distribuzione (distribution shifts).
A differenza dei problemi classici di adattamento di dominio che assumono solo uno spostamento delle covariate (covariate shift), questo paper si concentra su scenari in cui lo spostamento è guidato da fattori di confondimento non osservati (unobserved confounding).

• Il Nucleo del Problema: In presenza di confondimento non osservato, lo spostamento della distribuzione dell'ambiente altera non solo la distribuzione delle covariate $P(X)$, ma anche il concetto sottostante, ovvero la distribuzione condizionata $P(Y|X)$. Questo fenomeno è noto come concept shift.
• Conseguenza: Un modello che massimizza l'accuratezza nel dominio sorgente (minimizzando il rischio sorgente) può fallire catastroficamente nel dominio target perché il "miglior" modello lineare cambia a seconda dell'ambiente. I metodi tradizionali di regressione ai minimi quadrati falliscono perché sono distorti (biased) dall'endogeneità.

2. Modello Teorico: Structural Causal Model (SCM)

Gli autori propongono un Modello Causale Strutturale (SCM) lineare per formalizzare il problema. Il modello introduce due variabili latenti:

1. $E$ (Confonditore Endogeno): Una variabile non osservata che influenza sia le covariate $X$ che la risposta $Y$. La sua distribuzione cambia tra sorgente e target, causando lo spostamento.
2. $Z$ (Variabile Esogena Invariante): Una variabile latente non soggetta a spostamenti ambientali. Agisce in modo simile a una variabile strumentale, ma è non osservata.

Le equazioni del modello sono:
$$Y = \langle \beta^*, X \rangle + \langle \gamma, E \rangle + U$$
$$X = \Theta Z + \Delta E + W$$
Dove $\Theta Z$ rappresenta la componente esogena e stabile, mentre $\Delta E$ rappresenta la componente confusa e variabile.

3. Metodologia: Apprendimento di Sottospazi Invarianti

L'idea centrale è che, sebbene $Z$ non sia osservato, esiste un sottospazio lineare invariante (generato da $\Theta$) in cui la relazione tra covariate e risposta rimane stabile attraverso gli ambienti.

Obiettivo di Ottimizzazione

Il metodo proposto cerca di apprendere una rappresentazione a bassa dimensionalità (un sottospazio $V$) e un modello di regressione ($\alpha$) che bilancino predicibilità (rischio sorgente) e stabilità (invarianza).

L'obiettivo è minimizzare una funzione di costo regolarizzata definita su una varietà di Stiefel ($St(d, \ell)$), che garantisce che le colonne di $V$ siano ortonormali:

$$\min_{V, \alpha} \underbrace{R_S(V\alpha)}_{\text{Rischio Sorgente}} + \underbrace{\frac{\upsilon}{2}\|\alpha\|^2}_{\text{Regolarizzazione Ridge}} + \underbrace{\frac{\eta}{2} \|V^\top (\Sigma_T - \Sigma_S) V\|_F^2}_{\text{Penalità di Stabilità}}$$

Dove:

• $R_S$ è il rischio quadratico medio sul dominio sorgente.
• $\Sigma_T - \Sigma_S$ è la differenza tra le matrici di covarianza target e sorgente.
• Il termine di stabilità penalizza la variazione della distribuzione delle covariate proiettate nel sottospazio $V$. Se $V$ cattura il sottospazio invariante, questo termine tende a zero.
• $\eta$ e $\upsilon$ sono parametri di regolarizzazione.

Algoritmo di Ottimizzazione

Poiché l'obiettivo è non convesso rispetto a $V$, gli autori utilizzano un metodo di discesa del gradiente proiettato sulla varietà di Riemann (Riemannian gradient descent).

• Viene calcolato il gradiente riemanniano della funzione obiettivo.
• Viene utilizzata una mappa di retrazione (polar factorization) per aggiornare i parametri mantenendoli sulla varietà di Stiefel.
• L'algoritmo converge a punti stazionari locali che, teoricamente, si allineano con il sottospazio invariante.

4. Risultati Teorici Chiave

Il paper fornisce garanzie teoriche rigorose sull'ottimizzazione non convessa e sulle prestazioni di adattamento:

1. Allineamento del Sottospazio (Teorema 1):
   Se il parametro di regolarizzazione di stabilità $\eta$ è sufficientemente grande, quasi tutti i minimi locali dell'ottimizzazione su varietà si allineano con il sottospazio invariante esogeno. In altre parole, l'algoritmo "evita" automaticamente le direzioni influenzate dal confondimento endogeno $\Delta$.
   L'errore di allineamento è limitato da $O(1/(\upsilon \eta^2)^{1/6})$.

2. Legame di Stabilità del Rischio (Teorema 2):
   Il paper dimostra che il gap tra il rischio target e il rischio sorgente per il modello appreso è limitato. Il gap è vicino all'ottimo teorico (oracle), quantificato da un termine che dipende dalla differenza tra i rischi del modello ottimo nel target e nella sorgente.
   $$R_T(\beta) - R_S(\beta) \leq \text{Oracle Term} + O\left(\frac{1}{\upsilon^{4/3}\eta^{2/3}}\right)$$
   Questo conferma che il metodo può raggiungere un gap quasi ideale tra i rischi, superando i limiti della minimizzazione del rischio sorgente pura.

3. Analisi del Campione Finito (Teorema 3):
   Vengono forniti limiti per l'errore di stima quando si utilizzano dati empirici invece delle distribuzioni vere, garantendo che la soluzione empirica si avvicini a quella della popolazione con alta probabilità.

5. Validazione Empirica

Gli autori validano il metodo su dataset reali, dimostrando il trade-off tra stabilità e predicibilità:

• Esempio Economico (Tabellini): Predizione della produzione economica basata su istituzioni, alfabetizzazione, ecc., passando da aree rurali (sorgente) a urbane (target). Il metodo identifica che le "Istituzioni" sono una caratteristica stabile (invariante) rispetto all'urbanizzazione, migliorando la previsione nel target.
• Dataset ML (Fuochi Forestali, Sharing Bike, Qualità del Vino):
  • Vengono testati scenari con spostamenti stagionali o di tipo (es. vino rosso vs bianco).
  • I risultati mostrano che esiste un intervallo ottimale di $\eta$ in cui il rischio target è inferiore a quello ottenuto con la semplice regressione sorgente.
  • Si osserva un comportamento "a U": aumentando $\eta$, il rischio sorgente aumenta (perdita di adattabilità locale) ma il gap di stabilità diminuisce, portando a una migliore generalizzazione nel target per valori intermedi di $\eta$.

6. Significato e Contributi

Questo lavoro è significativo per diversi motivi:

1. Unificazione di Causalità e ML: Colma il divario tra l'inferenza causale (che cerca relazioni stabili) e l'adattamento di dominio (che cerca di generalizzare a nuove distribuzioni), mostrando che sotto un modello SCM, la stabilità causale e la stabilità distribuzionale coincidono.
2. Gestione del Confondimento Latente: Propone una soluzione pratica per problemi dove i fattori di confondimento non sono osservabili, utilizzando l'invarianza come segnale per identificare le relazioni causali robuste.
3. Ottimizzazione Non Convessa Gestibile: Dimostra che, nonostante la natura non convessa del problema su varietà, l'ottimizzazione di primo ordine trova soluzioni di alta qualità (allineate al sottospazio invariante) senza bisogno di condizioni di convessità globali.
4. Guida Pratica: Fornisce linee guida per la selezione degli iperparametri ($\eta, \upsilon, \ell$) basate sui dati, rendendo il metodo applicabile anche in assenza di conoscenza causale a priori.

In sintesi, il paper offre un framework robusto per costruire modelli predittivi che resistono agli spostamenti di concetto causati da confondimento non osservato, trasformando il problema di adattamento di dominio in un problema di apprendimento di rappresentazioni invarianti su varietà geometriche.