Factorizable joint shift revisited

1. Formulação do Problema

O artigo aborda o desafio da mudança de distribuição (ou deslocamento de conjunto de dados) em aprendizado de máquina, onde um modelo treinado em uma distribuição fonte $P$ (dados de treinamento) falha ao ser implantado em uma distribuição alvo $Q$ (dados de teste). Especificamente, o artigo foca em cenários onde:

• Observações de características ($X$) estão disponíveis para o conjunto de dados alvo.
• Observações de rótulos ($Y$) estão ausentes para o conjunto de dados alvo (adaptação de domínio não supervisionada).
• O espaço de rótulos $\Omega_Y$ é geral, abrangendo não apenas variáveis categóricas (classificação), mas também variáveis contínuas (regressão) e espaços mistos.

A literatura existente concentrou-se amplamente em suposições específicas de deslocamento, como Deslocamento de Covariáveis (mudança em $P(X)$, $P(Y|X)$ constante) ou Deslocamento de Rótulos (mudança em $P(Y)$, $P(X|Y)$ constante). No entanto, essas são frequentemente insuficientes para tarefas do mundo real. O Deslocamento Conjunto Fatorizável (FJS) foi proposto como uma suposição mais geral que cobre ambos, mas análises anteriores foram restritas a rótulos categóricos. Este artigo visa generalizar o FJS para espaços de rótulos arbitrários e fornecer estruturas de estimação robustas.

2. Metodologia e Estrutura

2.1. Estrutura Teórica

O autor estabelece uma estrutura probabilística rigorosa usando teoria da medida:

• Fonte ($P$) e Alvo ($Q$): Definidas em um espaço produto $\Omega = \Omega_X \times \Omega_Y$.
• Continuidade Absoluta: A distribuição alvo $Q$ é assumida como absolutamente contínua em relação à fonte $P$ ($Q \ll P$), permitindo a definição de uma derivada de Radon-Nikodym (densidade) $f = \frac{dQ}{dP}$.
• Definição de FJS: $P$ e $Q$ estão relacionadas por FJS se a densidade $f$ fatorizar-se em um produto de uma função de características e uma função de rótulos:
  $$\frac{dQ}{dP} = h(X)g(Y)$$
  onde $h$ e $g$ são funções mensuráveis. Isso implica que o deslocamento conjunto é uma combinação de um deslocamento de covariáveis e um deslocamento de rótulos.

2.2. Caracterização do FJS

O artigo prova que o FJS é equivalente a uma sequência de deslocamentos consecutivos (por exemplo, um deslocamento de rótulos seguido por um deslocamento de covariáveis).

• Teorema 3.5: Estabelece a relação entre as funções de fatorização ($h, g$) e as densidades marginais da distribuição alvo. Mostra que, sob FJS, as densidades condicionais alvo são versões "escaladas" das densidades condicionais fonte.
• Generalização: O artigo estende resultados anteriores (limitados a $Y$ categórico) para espaços de rótulos gerais, mostrando que o FJS implica que a razão entre as densidades condicionais alvo e fonte depende apenas da variável de condicionamento.

2.3. Algoritmos de Estimação

O artigo aborda dois problemas específicos sob a suposição de FJS:

• Problema (A): Tanto as marginais alvo $Q_X$ quanto $Q_Y$ são conhecidas.
• Problema (B): Apenas a marginal de características alvo $Q_X$ é conhecida (o cenário não supervisionado padrão).

O Algoritmo EM Generalizado (Seção 3.3):
Para resolver o Problema (B), o autor propõe uma generalização do algoritmo Expectation-Maximization (EM) (originalmente por Saerens et al., 2002, para priores de classe).

• Objetivo: Estimar a densidade de rótulos alvo desconhecida $g(Y)$ (ou a distribuição de rótulos alvo) dada a densidade de características alvo conhecida $h(X)$.
• Iteração:
  1. Inicializar uma densidade de rótulos $g_0(Y)$.
  2. Passo E: Calcular a densidade de características implicada $h_n(X) = E_P[g_n(Y) | X]$.
  3. Passo M: Atualizar a densidade de rótulos $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$.
• Convergência: O Teorema 3.8 prova que esta iteração minimiza a divergência de Kullback-Leibler (KL) entre a densidade de características alvo predefinida e a densidade de características implicada. O algoritmo converge para uma solução onde a distribuição de rótulos alvo é estimada de modo que a distribuição conjunta resultante satisfaça a restrição de FJS.

Solução Iterativa para o Problema (A):
Para o caso em que ambas as marginais são conhecidas, uma iteração alternada é proposta para encontrar as funções de fatorização $h$ e $g$ que satisfaçam simultaneamente as restrições marginais.

2.4. Relação com Deslocamento de Rótulos Generalizado (GLS)

O artigo analisa a relação entre FJS e Deslocamento de Rótulos Generalizado (GLS), um conceito usado em aprendizado de representação onde as características são mapeadas para um espaço onde ocorre apenas deslocamento de rótulos.

• Proposição 4.1: Se um mapeamento de representação $R$ é suficiente para as características (ou seja, $P(Y|X) = P(Y|R)$), então o GLS no espaço mapeado implica FJS no espaço original.
• Implicação: Isso sugere que pode não ser necessário aprender explicitamente um mapeamento de representação para alcançar o GLS; em vez disso, pode-se aplicar diretamente o algoritmo EM baseado em FJS às características originais.

3. Contribuições Principais

1. Generalização para Rótulos Contínuos/Mistos: A contribuição principal é estender a teoria do Deslocamento Conjunto Fatorizável de rótulos categóricos para espaços de rótulos gerais (incluindo regressão). Isso permite a aplicação de conceitos de FJS a problemas de regressão e tipos de dados mistos.
2. Algoritmo EM Generalizado: O artigo apresenta uma derivação rigorosa de um algoritmo EM para estimação de distribuição de rótulos em espaços gerais. Prova que este algoritmo minimiza a divergência KL entre a distribuição de características alvo e a distribuição implicada pelo modelo, fornecendo uma garantia teórica para seu uso em adaptação de domínio não supervisionada.
3. Decomposição do FJS: Demonstra formalmente que o FJS pode ser visto como uma sequência de deslocamentos de rótulos e covariáveis consecutivos, esclarecendo a relação estrutural entre esses tipos de deslocamento.
4. Conexão com GLS: Estabelece um link formal mostrando que o GLS com uma representação suficiente implica FJS, sugerindo que a modelagem direta de FJS pode ser uma alternativa ao aprendizado de representação complexo.
5. Tratamento do "Ajuste Exato": O artigo discute as condições sob as quais uma distribuição de características alvo pode ser perfeitamente ajustada ("ajuste exato") por um deslocamento de rótulos ou FJS restrito. Observa que, embora o ajuste exato nem sempre seja garantido (por exemplo, em modelos de mistura normal), o algoritmo EM fornece a melhor aproximação possível em termos de divergência KL.

4. Resultados Principais

• Teorema 3.5: Fornece as condições necessárias e suficientes para que uma distribuição conjunta satisfaça o FJS em termos de densidades marginais e expectativas condicionais.
• Teorema 3.8: Prova as propriedades de convergência do algoritmo EM generalizado, mostrando que a sequência de densidades de características implicadas se aproxima monotonicamente da densidade de características alvo em termos de divergência KL.
• Corolário 3.17: Mostra que, no caso de características categóricas finitas e rótulos gerais, se as probabilidades posteriores forem linearmente independentes, o algoritmo EM alcança um ajuste exato da distribuição de características alvo.
• Exemplo 3.16: Um experimento numérico demonstra a capacidade do algoritmo de estimar uma distribuição de rótulos alvo contínua (Gaussiana) dada uma distribuição de características alvo discreta, mostrando que, embora a densidade final de rótulos dependa da inicialização, a distribuição de características é ajustada com alta precisão.

5. Significado

• Ponte entre Classificação e Regressão: Ao ir além dos rótulos categóricos, este trabalho unifica o tratamento do deslocamento de distribuição para tarefas de classificação e regressão, o que é um passo significativo, já que a maior parte da literatura existente de adaptação de domínio foca pesadamente na classificação.
• Adaptação de Domínio Prática: O algoritmo EM proposto oferece um método prático e computacionalmente viável para adaptar modelos quando os rótulos alvo estão indisponíveis, desde que a suposição de FJS se mantenha. Isso é crucial para aplicações do mundo real, como diagnóstico médico (onde os rótulos dos dados de teste são atrasados) ou modelagem de risco financeiro.
• Clareza Teórica: O artigo esclarece a estrutura matemática do FJS, resolvendo ambiguidades sobre sua relação com deslocamentos de covariáveis e de rótulos, e fornecendo uma base teórica sólida para pesquisas futuras em deslocamento de distribuição.
• Alternativa ao Aprendizado de Representação: Ao vincular GLS e FJS, o artigo sugere que, em alguns casos, o aprendizado de representação complexo pode ser contornado em favor da estimação direta de densidade sob FJS, potencialmente simplificando o pipeline de adaptação.

Em resumo, "Factorizable joint shift revisited" fornece uma estrutura teórica e algorítmica abrangente para lidar com deslocamentos de distribuição em configurações gerais, oferecendo uma alternativa robusta às suposições padrão de deslocamento de covariáveis ou de rótulos e estendendo essas capacidades para problemas de regressão.