Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation

Resumen Técnico: Hacia una Selección de Modelos Precisa en la Adaptación de Dominio No Supervisada Profunda

Declaración del Problema
La Adaptación de Dominio No Supervisada Profunda (Deep UDA) tiene como objetivo transferir el conocimiento de un dominio fuente etiquetado a un dominio objetivo no etiquetado. Sin embargo, un cuello de botella crítico obstaculiza el progreso en este campo: la falta de un método de selección de modelos preciso y estandarizado. En el aprendizaje automático estándar, los hiperparámetros se ajustan utilizando un conjunto de validación con etiquetas. En Deep UDA, las etiquetas del objetivo no están disponibles. Las alternativas existentes sufren fallos significativos:

• Riesgo de la Fuente (Source Risk): Altamente sesgado cuando la brecha de dominio es grande, ya que el rendimiento de la fuente no refleja de manera fiable el rendimiento del objetivo.
• Riesgo del Objetivo (Target Risk): Requiere datos etiquetados del objetivo, lo cual contradice el entorno no supervisado.
• Validación Cruzada con Ponderación por Importancia (IWCV): Teóricamente insesgado, pero sufre de una varianza no acotada, lo que genera inestabilidad. A menudo depende de estimaciones de la relación de densidad inexactas (por ejemplo, el ajuste de distribuciones normales multidimensionales) y asume que el soporte de la fuente cubre el soporte del objetivo, lo cual se viola frecuya mente en espacios de entrada de alta dimensión.
• Hiperparámetros Fijos: Carece de justificación y no logra adaptarse a los requisitos específicos de la tarea.

Consecuentemente, comparar los modelos de vanguardia de Deep UDA es difícil porque a menudo se seleccionan utilizando esquemas de validación inconsistentes o defectuosos.

Metodología: Validación Profunda Embebida (DEV)
Los autores proponen la Validación Profunda Embebida (DEV), un método de selección de modelos que incorpora las representaciones de características adaptadas en el procedimiento de validación para estimar el riesgo del objetivo sin datos etiquetados del mismo. La metodología consta de tres componentes principales:

1. Embebimiento a Nivel de Características (Feature-Level Embedding):
   En lugar de validar sobre las covariables de entrada bruta (donde la brecha de dominio es grande), DEV opera en el espacio de características aprendido. Los modelos de Deep UDA aprenden características invariantes al dominio, reduciendo efectivamente la divergencia de la distribución en el espacio de características ($d_{\alpha+1}(q_f \| p_f) < d_{\alpha+1}(q \| p)$).

   • El método estima la relación de densidad $w_f(x) = q_f(x)/p_f(x)$ en el espacio de características utilizando un modelo discriminativo (una regresión logística de dos capas) entrenado para distinguir entre características de la fuente y del objetivo.
   • Este enfoque relaja el supuesto de soporte ($supp(p) \supset supp(q)$) porque las características adaptadas son más compactas e invariantes al dominio, lo que hace que el supuesto se cumpla de manera más fiable que en el espacio de entrada bruto.

2. Estimación Insesgada con Varianza Acotada:
   DEV construye un estimador insesgado del riesgo del objetivo utilizando la pérdida ponderada sobre los datos de la fuente: $\frac{1}{n_s} \sum w_f(x_s^i) \ell(g(x_s^i), y_s^i)$.

   • Teóricamente, la varianza de este estimador está acotada por la divergencia de Rényi entre las distribuciones de las características. Dado que la adaptación de características reduce esta divergencia, DEV logra un límite de varianza más ajustado en comparación con la IWCV a nivel de entrada.

3. Reducción de Varianza mediante Variables de Control:
   Para reducir aún más la varianza de la estimación del riesgo, DEV emplea la técnica de variable de control (control variate).

   • El estimador de la relación de densidad $w_f(x)$ se utiliza como una variable de control porque su esperanza es conocida como 1 ($E[w_f(x)] = 1$).
   • Se construye un nuevo estimador: $R_{DEV} = \text{WeightedLoss} + \eta(w_f(x) - 1)$, donde $\eta$ es un coeficiente óptimo estimado a partir de los datos para minimizar la varianza. Esto aprovecha la correlación entre la pérdida y la relación de densidad para estabilizar la estimación.

Contribuciones Clave

• Marco de Validación Novedoso: DEV es el primer método que valida los modelos de Deep UDA al nivel de características en lugar de al nivel de covariables, proporcionando información teórica sobre por qué esto produce un mejor rendimiento.
• Garantías Teóricas: El artículo demuestra que DEV proporciona una estimación insesgada del riesgo del objetivo con una varianza acotada por la divergencia de Rényi de las características adaptadas.
• Reducción de Varianza: Integra variables de control para reducir explícitamente la varianza del estimador de riesgo, abordando la inestabilidad inherente a los métodos previos ponderados por importancia.
• Generalizabilidad: El método es aplicable no solo a modelos de adaptación de características, sino también a modelos generativos y escenarios de adaptación de dominio parcial, siempre que el supuesto de soporte se cumpla en el espacio adaptado.

Resultados Experimentales
Los autores evaluaron DEV en varios referentes (VisDA, Office-31, Digits) y contra varios modelos de Deep UDA (MCD, CDAN, GTA, PADA).

• Conjunto de Datos de Juguete (Toy Dataset): DEV demostró una varianza significativamente menor en comparación con IWCV mientras mantenía la insesgadez, siguiendo de cerca el verdadero Riesgo del Objetivo (Target Risk).
• VisDA (Sintético-a-Real): DEV seleccionó modelos que alcanzaron un rendimiento casi idéntico al límite superior del "Riesgo del Objetivo" (que utiliza datos etiquetados del objetivo), superando significativamente al Riesgo de la Fuente (Source Risk), a la IWCV y a los resultados reportados en el artículo original. La IWCV funcionó deficientemente debido a los pesos inestables derivados de las características pre-entrenadas.
• Office-31 y Digits: DEV superó consistentemente al Riesgo de la Fuente y a la IWCV, particularmente en tareas con grandes brechas de dominio (por ejemplo, SVHN $\to$ MNIST), donde el Riesgo de la Fuente falló completamente.
• Adaptación de Dominio Parcial (PADA): DEV manejó con éxito las tareas de Adaptación de Dominio Parcial sin modificaciones, estimando con precisión las relaciones de densidad para las clases compartidas frente a las específicas de la fuente.
• Estudio de Ablación: Eliminar la variable de control de DEV sigue superando a la IWCV, confirmando el beneficio del embebimiento de características. Añadir la variable de control proporcionó una mejora adicional de aproximadamente un 2%, confirmando el valor de la reducción de la varianza.

Significancia y Reivindicaciones
El artículo afirma que DEV resuelve el "dilema" de la selección de modelos en Deep UDA ofreciendo un método que es:

1. Insesgado: No requiere datos etiquetados del objetivo.
2. Estable: Posee una varianza acotada y reducida en comparación con los métodos insesgados existentes.
3. Efectivo: Empíricamente, los modelos seleccionados por DEV se aproximan al rendimiento de los modelos seleccionados por el ideal (pero inaccesible) Riesgo del Objetivo.

Los autores posicionan a DEV como un estándar no intrusivo y preciso que permite la comparación justa de los algoritmos de Deep UDA, acelerando potencialmente los avances futuros en el campo al eliminar la ambigüedad de las prácticas de validación inconsistentes.