Factorizable joint shift revisited

1. Enunciato del Problema

Il documento affronta la sfida dello spostamento della distribuzione (o dataset shift) nell'apprendimento automatico, in cui un modello addestrato su una distribuzione sorgente $P$ (dati di addestramento) fallisce quando viene implementato su una distribuzione target $Q$ (dati di test). Nello specifico, il documento si concentra su scenari in cui:

• Le osservazioni delle caratteristiche ($X$) sono disponibili per il dataset target.
• Le osservazioni delle etichette ($Y$) mancano per il dataset target (adattamento di dominio non supervisionato).
• Lo spazio delle etichette $\Omega_Y$ è generale, comprendendo non solo variabili categoriali (classificazione) ma anche variabili continue (regressione) e spazi misti.

La letteratura esistente si è concentrata in gran parte su ipotesi di spostamento specifiche come lo Spostamento delle Covariate (cambiamento in $P(X)$, $P(Y|X)$ costante) o lo Spostamento delle Etichette (cambiamento in $P(Y)$, $P(X|Y)$ costante). Tuttavia, queste sono spesso insufficienti per compiti del mondo reale. Lo Spostamento Congiunto Fattorizzabile (FJS) è stato proposto come un'ipotesi più generale che copre entrambi, ma le analisi precedenti erano limitate a etichette categoriali. Questo documento mira a generalizzare l'FJS a spazi di etichette arbitrari e a fornire framework di stima robusti.

2. Metodologia e Framework

2.1. Framework Teorico

L'autore stabilisce un rigoroso framework probabilistico utilizzando la teoria della misura:

• Sorgente ($P$) e Target ($Q$): Definite su uno spazio prodotto $\Omega = \Omega_X \times \Omega_Y$.
• Continuità Assoluta: La distribuzione target $Q$ è assunta essere assolutamente continua rispetto alla sorgente $P$ ($Q \ll P$), permettendo la definizione di una derivata di Radon-Nikodym (densità) $f = \frac{dQ}{dP}$.
• Definizione di FJS: $P$ e $Q$ sono correlate da FJS se la densità $f$ si fattorizza in un prodotto di una funzione delle caratteristiche e una funzione delle etichette:
  $$\frac{dQ}{dP} = h(X)g(Y)$$
  dove $h$ e $g$ sono funzioni misurabili. Ciò implica che lo spostamento congiunto è una combinazione di uno spostamento delle covariate e uno spostamento delle etichette.

2.2. Caratterizzazione dell'FJS

Il documento dimostra che l'FJS è equivalente a una sequenza di spostamenti consecutivi (ad esempio, uno spostamento delle etichette seguito da uno spostamento delle covariate).

• Teorema 3.5: Stabilisce la relazione tra le funzioni di fattorizzazione ($h, g$) e le densità marginali della distribuzione target. Dimostra che, sotto FJS, le densità condizionali target sono versioni "scalate" delle densità condizionali sorgente.
• Generalizzazione: Il documento estende i risultati precedenti (limitati a $Y$ categoriali) a spazi di etichette generali, mostrando che l'FJS implica che il rapporto tra le densità condizionali target e sorgente dipenda solo dalla variabile di condizionamento.

2.3. Algoritmi di Stima

Il documento affronta due problemi specifici sotto l'ipotesi FJS:

• Problema (A): Sia le marginali target $Q_X$ che $Q_Y$ sono note.
• Problema (B): Solo la marginale delle caratteristiche target $Q_X$ è nota (l'impostazione non supervisionata standard).

L'Algoritmo EM Generalizzato (Sezione 3.3):
Per risolvere il Problema (B), l'autore propone una generalizzazione dell'algoritmo di Massima Verosimiglianza Aspettazione-Massimizzazione (EM) (originariamente di Saerens et al., 2002, per le prior delle classi).

• Obiettivo: Stimare la densità delle etichette target sconosciuta $g(Y)$ (o la distribuzione delle etichette target) data la densità delle caratteristiche target nota $h(X)$.
• Iterazione:
  1. Inizializzare una densità delle etichette $g_0(Y)$.
  2. Passo E: Calcolare la densità delle caratteristiche implicata $h_n(X) = E_P[g_n(Y) | X]$.
  3. Passo M: Aggiornare la densità delle etichette $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$.
• Convergenza: Il Teorema 3.8 dimostra che questa iterazione minimizza la divergenza di Kullback-Leibler (KL) tra la densità delle caratteristiche target predefinita e la densità delle caratteristiche implicata. L'algoritmo converge a una soluzione in cui la distribuzione delle etichette target è stimata in modo tale che la distribuzione congiunta risultante soddisfi il vincolo FJS.

Soluzione Iterativa per il Problema (A):
Per il caso in cui entrambe le marginali sono note, viene proposta un'iterazione alternata per trovare le funzioni di fattorizzazione $h$ e $g$ che soddisfano simultaneamente i vincoli marginali.

2.4. Relazione con lo Spostamento delle Etichette Generalizzato (GLS)

Il documento analizza la relazione tra FJS e lo Spostamento delle Etichette Generalizzato (GLS), un concetto utilizzato nell'apprendimento delle rappresentazioni in cui le caratteristiche sono mappate in uno spazio in cui si verifica solo uno spostamento delle etichette.

• Proposizione 4.1: Se una mappatura di rappresentazione $R$ è sufficiente per le caratteristiche (cioè $P(Y|X) = P(Y|R)$), allora il GLS nello spazio mappato implica l'FJS nello spazio originale.
• Implicazione: Ciò suggerisce che potrebbe non essere necessario apprendere esplicitamente una mappatura di rappresentazione per raggiungere il GLS; invece, si può applicare direttamente l'algoritmo EM basato su FJS alle caratteristiche originali.

3. Contributi Chiave

1. Generalizzazione a Etichette Continue/Miste: Il contributo principale è l'estensione della teoria dello Spostamento Congiunto Fattorizzabile dalle etichette categoriali a spazi di etichette generali (inclusa la regressione). Ciò consente l'applicazione dei concetti FJS a problemi di regressione e tipi di dati misti.
2. Algoritmo EM Generalizzato: Il documento presenta una derivazione rigorosa di un algoritmo EM per la stima della distribuzione delle etichette in spazi generali. Dimostra che questo algoritmo minimizza la divergenza KL tra la distribuzione delle caratteristiche target e la distribuzione implicata dal modello, fornendo una garanzia teorica per il suo utilizzo nell'adattamento di dominio non supervisionato.
3. Decomposizione dell'FJS: Dimostra formalmente che l'FJS può essere visto come una sequenza di spostamenti consecutivi delle etichette e delle covariate, chiarificando la relazione strutturale tra questi tipi di spostamento.
4. Connessione al GLS: Stabilisce un collegamento formale che mostra come il GLS con una rappresentazione sufficiente implichi l'FJS, suggerendo che la modellazione diretta dell'FJS possa essere un'alternativa all'apprendimento complesso delle rappresentazioni.
5. Gestione dell'"Adattamento Esatto": Il documento discute le condizioni in cui una distribuzione delle caratteristiche target può essere perfettamente adattata ("adattamento esatto") da uno spostamento delle etichette o da un FJS vincolato. Osserva che, sebbene l'adattamento esatto non sia sempre garantito (ad esempio, nei modelli di miscela normale), l'algoritmo EM fornisce la migliore approssimazione possibile in termini di divergenza KL.

4. Risultati Chiave

• Teorema 3.5: Fornisce le condizioni necessarie e sufficienti affinché una distribuzione congiunta soddisfi l'FJS in termini di densità marginali e valori attesi condizionali.
• Teorema 3.8: Dimostra le proprietà di convergenza dell'algoritmo EM generalizzato, mostrando che la sequenza delle densità delle caratteristiche implicite si avvicina monotonicamente alla densità delle caratteristiche target in termini di divergenza KL.
• Corollario 3.17: Mostra che nel caso di caratteristiche categoriali finite ed etichette generali, se le probabilità posteriori sono linearmente indipendenti, l'algoritmo EM raggiunge un adattamento esatto della distribuzione delle caratteristiche target.
• Esempio 3.16: Un esperimento numerico dimostra la capacità dell'algoritmo di stimare una distribuzione continua delle etichette target (Gaussiana) data una distribuzione discreta delle caratteristiche target, mostrando che, sebbene la densità finale delle etichette dipenda dall'inizializzazione, la distribuzione delle caratteristiche viene adattata con alta precisione.

5. Significato

• Colmare il Divario tra Classificazione e Regressione: Superando le etichette categoriali, questo lavoro unifica il trattamento dello spostamento della distribuzione sia per compiti di classificazione che di regressione, un passo significativo in avanti poiché la maggior parte della letteratura esistente sull'adattamento di dominio si concentra pesantemente sulla classificazione.
• Adattamento di Dominio Pratico: L'algoritmo EM proposto offre un metodo pratico e computazionalmente fattibile per adattare i modelli quando le etichette target non sono disponibili, a condizione che valga l'ipotesi FJS. Ciò è cruciale per applicazioni del mondo reale come la diagnosi medica (dove le etichette dei dati di test sono ritardate) o la modellazione del rischio finanziario.
• Chiarezza Teorica: Il documento chiarisce la struttura matematica dell'FJS, risolvendo le ambiguità sulla sua relazione con gli spostamenti delle covariate e delle etichette e fornendo una solida base teorica per la ricerca futura sullo spostamento della distribuzione.
• Alternativa all'Apprendimento delle Rappresentazioni: Collegando GLS e FJS, il documento suggerisce che in alcuni casi l'apprendimento complesso delle rappresentazioni possa essere bypassato a favore della stima diretta della densità sotto FJS, semplificando potenzialmente la pipeline di adattamento.

In sintesi, "Factorizable joint shift revisited" fornisce un framework teorico e algoritmico completo per gestire gli spostamenti della distribuzione in contesti generali, offrendo un'alternativa robusta alle ipotesi standard di spostamento delle covariate o delle etichette ed estendendo queste capacità ai problemi di regressione.