Factorizable joint shift revisited

1. Planteamiento del Problema

El artículo aborda el desafío del desplazamiento de distribución (o desplazamiento de conjunto de datos) en el aprendizaje automático, donde un modelo entrenado sobre una distribución fuente $P$ (datos de entrenamiento) falla al desplegarse sobre una distribución objetivo $Q$ (datos de prueba). Específicamente, el artículo se centra en escenarios donde:

• Las observaciones de características ($X$) están disponibles para el conjunto de datos objetivo.
• Las observaciones de etiquetas ($Y$) faltan en el conjunto de datos objetivo (adaptación de dominio no supervisada).
• El espacio de etiquetas $\Omega_Y$ es general, abarcando no solo variables categóricas (clasificación) sino también variables continuas (regresión) y espacios mixtos.

La literatura existente se ha centrado en gran medida en supuestos de desplazamiento específicos como el Desplazamiento de Covariables (cambio en $P(X)$, $P(Y|X)$ constante) o el Desplazamiento de Etiquetas (cambio en $P(Y)$, $P(X|Y)$ constante). Sin embargo, estos suelen ser insuficientes para tareas del mundo real. Se propuso el Desplazamiento Conjunto Factorizable (FJS) como un supuesto más general que cubre ambos, pero los análisis anteriores se restringían a etiquetas categóricas. Este artículo tiene como objetivo generalizar el FJS a espacios de etiquetas arbitrarios y proporcionar marcos de estimación robustos.

2. Metodología y Marco de Trabajo

2.1. Marco Teórico

El autor establece un marco probabilístico riguroso utilizando la teoría de la medida:

• Fuente ($P$) y Objetivo ($Q$): Definidas sobre un espacio producto $\Omega = \Omega_X \times \Omega_Y$.
• Continuidad Absoluta: Se asume que la distribución objetivo $Q$ es absolutamente continua con respecto a la fuente $P$ ($Q \ll P$), lo que permite definir una derivada de Radon-Nikodym (densidad) $f = \frac{dQ}{dP}$.
• Definición de FJS: $P$ y $Q$ están relacionadas por FJS si la densidad $f$ se factoriza en un producto de una función de características y una función de etiquetas:
  $$\frac{dQ}{dP} = h(X)g(Y)$$
  donde $h$ y $g$ son funciones medibles. Esto implica que el desplazamiento conjunto es una combinación de un desplazamiento de covariables y un desplazamiento de etiquetas.

2.2. Caracterización del FJS

El artículo demuestra que el FJS es equivalente a una secuencia de desplazamientos consecutivos (por ejemplo, un desplazamiento de etiquetas seguido de un desplazamiento de covariables).

• Teorema 3.5: Establece la relación entre las funciones de factorización ($h, g$) y las densidades marginales de la distribución objetivo. Muestra que, bajo FJS, las densidades condicionales objetivo son versiones "escaladas" de las densidades condicionales fuente.
• Generalización: El artículo extiende resultados anteriores (limitados a $Y$ categórica) a espacios de etiquetas generales, mostrando que el FJS implica que la relación entre las densidades condicionales objetivo y fuente depende únicamente de la variable de condicionamiento.

2.3. Algoritmos de Estimación

El artículo aborda dos problemas específicos bajo el supuesto de FJS:

• Problema (A): Tanto las marginales objetivo $Q_X$ como $Q_Y$ son conocidas.
• Problema (B): Solo la marginal de características objetivo $Q_X$ es conocida (el escenario no supervisado estándar).

El Algoritmo EM Generalizado (Sección 3.3):
Para resolver el Problema (B), el autor propone una generalización del algoritmo de Expectación-Maximización (EM) (originalmente de Saerens et al., 2002, para priores de clase).

• Objetivo: Estimar la densidad de etiquetas objetivo desconocida $g(Y)$ (o la distribución de etiquetas objetivo) dada la densidad de características objetivo conocida $h(X)$.
• Iteración:
  1. Inicializar una densidad de etiquetas $g_0(Y)$.
  2. Paso E: Calcular la densidad de características implícita $h_n(X) = E_P[g_n(Y) | X]$.
  3. Paso M: Actualizar la densidad de etiquetas $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$.
• Convergencia: El Teorema 3.8 demuestra que esta iteración minimiza la divergencia de Kullback-Leibler (KL) entre la densidad de características objetivo predefinida y la densidad de características implícita. El algoritmo converge a una solución donde la distribución de etiquetas objetivo se estima de tal manera que la distribución conjunta resultante satisface la restricción de FJS.

Solución Iterativa para el Problema (A):
Para el caso donde ambas marginales son conocidas, se propone una iteración alterna para encontrar las funciones de factorización $h$ y $g$ que satisfacen simultáneamente las restricciones marginales.

2.4. Relación con el Desplazamiento de Etiquetas Generalizado (GLS)

El artículo analiza la relación entre el FJS y el Desplazamiento de Etiquetas Generalizado (GLS), un concepto utilizado en el aprendizaje de representaciones donde las características se mapean a un espacio donde solo ocurre un desplazamiento de etiquetas.

• Proposición 4.1: Si un mapeo de representación $R$ es suficiente para las características (es decir, $P(Y|X) = P(Y|R)$), entonces el GLS en el espacio mapeado implica FJS en el espacio original.
• Implicación: Esto sugiere que podría no ser necesario aprender explícitamente un mapeo de representación para lograr GLS; en su lugar, se puede aplicar directamente el algoritmo EM basado en FJS a las características originales.

3. Contribuciones Clave

1. Generalización a Etiquetas Continuas/Mixtas: La contribución principal es extender la teoría del Desplazamiento Conjunto Factorizable desde etiquetas categóricas a espacios de etiquetas generales (incluyendo regresión). Esto permite la aplicación de conceptos de FJS a problemas de regresión y tipos de datos mixtos.
2. Algoritmo EM Generalizado: El artículo presenta una derivación rigurosa de un algoritmo EM para la estimación de distribución de etiquetas en espacios generales. Demuestra que este algoritmo minimiza la divergencia KL entre la distribución de características objetivo y la distribución implícita del modelo, proporcionando una garantía teórica para su uso en adaptación de dominio no supervisada.
3. Descomposición del FJS: Demuestra formalmente que el FJS puede verse como una secuencia de desplazamientos de etiquetas y covariables consecutivos, aclarando la relación estructural entre estos tipos de desplazamiento.
4. Conexión con GLS: Establece un vínculo formal que muestra que el GLS con una representación suficiente implica FJS, sugiriendo que el modelado directo de FJS puede ser una alternativa al aprendizaje de representaciones complejo.
5. Manejo del "Ajuste Exacto": El artículo discute las condiciones bajo las cuales una distribución de características objetivo puede ser emparejada perfectamente ("ajuste exacto") por un desplazamiento de etiquetas o un FJS restringido. Señala que, aunque el ajuste exacto no siempre está garantizado (por ejemplo, en modelos de mezcla normal), el algoritmo EM proporciona la mejor aproximación posible en términos de divergencia KL.

4. Resultados Clave

• Teorema 3.5: Proporciona las condiciones necesarias y suficientes para que una distribución conjunta satisfaga el FJS en términos de densidades marginales y expectativas condicionales.
• Teorema 3.8: Demuestra las propiedades de convergencia del algoritmo EM generalizado, mostrando que la secuencia de densidades de características implícitas se aproxima monótonamente a la densidad de características objetivo en términos de divergencia KL.
• Corolario 3.17: Muestra que, en el caso de características categóricas finitas y etiquetas generales, si las probabilidades posteriores son linealmente independientes, el algoritmo EM logra un ajuste exacto de la distribución de características objetivo.
• Ejemplo 3.16: Un experimento numérico demuestra la capacidad del algoritmo para estimar una distribución de etiquetas objetivo continua (Gaussiana) dada una distribución de características objetivo discreta, mostrando que, aunque la densidad de etiquetas final depende de la inicialización, la distribución de características se empareja con alta precisión.

5. Significado

• Puente entre Clasificación y Regresión: Al ir más allá de las etiquetas categóricas, este trabajo unifica el tratamiento del desplazamiento de distribución tanto para tareas de clasificación como de regresión, lo cual es un paso significativo hacia adelante, ya que la mayoría de la literatura existente sobre adaptación de dominio se centra fuertemente en la clasificación.
• Adaptación de Dominio Práctica: El algoritmo EM propuesto ofrece un método práctico y computacionalmente viable para adaptar modelos cuando las etiquetas objetivo no están disponibles, siempre que se cumpla el supuesto de FJS. Esto es crucial para aplicaciones del mundo real como el diagnóstico médico (donde las etiquetas de los datos de prueba están retrasadas) o la modelización de riesgos financieros.
• Claridad Teórica: El artículo aclara la estructura matemática del FJS, resolviendo ambigüedades sobre su relación con los desplazamientos de covariables y etiquetas, y proporcionando una base teórica sólida para futuras investigaciones sobre el desplazamiento de distribución.
• Alternativa al Aprendizaje de Representaciones: Al vincular GLS y FJS, el artículo sugiere que en algunos casos se podría omitir el aprendizaje de representaciones complejo en favor de la estimación directa de densidades bajo FJS, simplificando potencialmente el pipeline de adaptación.

En resumen, "Factorizable joint shift revisited" proporciona un marco teórico y algorítmico integral para manejar desplazamientos de distribución en configuraciones generales, ofreciendo una alternativa robusta a los supuestos estándar de desplazamiento de covariables o etiquetas y extendiendo estas capacidades a problemas de regresión.