Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

Resumen Técnico: Modulación de Características Agnóstica al Dominio para Generalización de Dominio Semi-Supervisada

Enunciado del Problema
La Generalización de Dominio Semi-Supervisada (SSDG) tiene como objetivo mejorar la generalización del modelo a dominios objetivo no vistos aprovechando una pequeña fracción de datos etiquetados junto con abundantes datos no etiquetados. Si bien los métodos SSDG existentes a menudo dependen del etiquetado pseudo (PL) para los datos no etiquetados, frecuentemente asumen el acceso a etiquetas de dominio durante el entrenamiento, un privilegio no siempre disponible en escenarios del mundo real. Además, los desplazamientos de dominio introducen "ruido de dominio", lo que conduce a etiquetas pseudo inconsistentes que degradan el rendimiento del modelo. Los métodos derivados de las líneas base de aprendizaje semi-supervisado a menudo sufren de baja precisión en las etiquetas pseudo, limitando la utilización efectiva de los datos no etiquetados. Existe un dilema fundamental: reducir el umbral de confianza para utilizar más datos no etiquetados aumenta el ruido, mientras que mantener un umbral alto descarta datos valiosos. Este artículo aborda el escenario de SSDG agnóstico a las etiquetas de dominio, donde las etiquetas de dominio para los datos no etiquetados no están disponibles durante el entrenamiento.

Metodología
El enfoque propuesto introduce un marco novedoso que comprende cuatro componentes clave: Representaciones Promedio Similares (SAR), un Modulador de Características, Etiquetado Pseudo utilizando características moduladas y una función de Escalamiento de Pérdida con estimación de incertidumbre.

1. Representaciones Promedio Similares (SAR):
   Para mitigar el impacto de la información específica del dominio, los autores definen prototipos de clase ($P_c$) basados únicamente en las etiquetas de clase, haciéndolos agnósticos al dominio. A diferencia de los métodos que promedian características a través de dominios utilizando etiquetas de dominio, este enfoque calcula las SAR ($R_c$) ponderando los prototipos de clase en función de su similitud coseno. Esto crea una representación que enfatiza las señales específicas de la clase mientras suprime las variaciones relacionadas con el dominio (por ejemplo, fondo, textura). Las SAR sirven como un objetivo robusto para la modulación de características.

2. Modulación de Características:
   Se introduce una matriz moduladora de características aprendible ($M$) para mezclar las características específicas de la instancia ($z$) con las SAR ($R$). La característica modulada $Z_m$ se calcula como:
   $$Z_m = M \odot Z + (1 - M) \odot R$$
   La matriz $M$ se inicializa basándose en la varianza de las características dentro de cada clase (las características con alta varianza, probablemente específicas del dominio, se ponderan hacia abajo) y se actualiza durante el entrenamiento mediante una función de pérdida diagonal. Este proceso desplaza las características hacia sus SAR, alentando al extractor de características a formar representaciones agrupadas estrechamente e invariantes al dominio, y forzando al clasificador a distinguir entre clases estrechamente relacionadas al centrarse en características únicas específicas de la clase en lugar de las compartidas o específicas del dominio.

3. Etiquetado Pseudo con Características Moduladas:
   Para generar etiquetas pseudo más precisas, las características de las muestras no etiquetadas se modulan hacia la SAR de cada clase antes de pasarlas por el clasificador. La clase que produce la puntuación de confianza más alta en estas características moduladas se asigna como la etiqueta pseudo. Esta estrategia reduce la interferencia del dominio durante el proceso de etiquetado, resultando en etiquetas pseudo de mayor calidad.

4. Estimación de Incertidumbre y Escalamiento de Pérdida:
   Para abordar la compensación entre la utilización de datos y el ruido de etiquetas, los autores emplean el dropout de Monte Carlo (MC) para estimar la incertidumbre de las etiquetas pseudo. Introducen una función de escalamiento de pérdida ($l_{scale}$) dinámica que ajusta la contribución de cada etiqueta pseudo en función de su confianza ($p_{max}$) y su incertidumbre ($\sigma$). Esto permite que el modelo incorpore etiquetas pseudo de menor confianza de una manera controlada, aumentando la "tasa de retención" (la proporción de datos no etiquetados utilizados) sin introducir significativamente ruido.

Contribuciones Clave

• Modulador de Características: Una estrategia que mejora las características discriminativas de la clase y suprime la información específica del dominio sin depender de etiquetas de dominio, lo que conduce a etiquetas pseudo más precisas.
• Función de Escalamiento de Pérdida: Un mecanismo que ajusta dinámicamente la influencia de las etiquetas pseudo en función de la confianza y la incertidumbre, optimizando la utilización de datos no etiquetados mientras mitiga el ruido de etiquetas.
• Escenario Agnóstico a las Etiquetas de Dominio: El método aborda el problema SSDG en un escenario más desafiante donde las etiquetas de dominio no están disponibles, demostrando efectividad en cuatro benchmarks principales.

Resultados Experimentales
El método fue evaluado en cuatro benchmarks estándar de Generalización de Dominio: PACS, OfficeHome, VLCS y DigitsDG, bajo configuraciones de 5 etiquetas y 10 etiquetas.

• Rendimiento: El método propuesto (FM) logró mejoras consistentes sobre la fuerte línea base FixMatch, con aumentos promedio de precisión del 3.3% (configuración de 10 etiquetas) y del 4.3% (configuración de 5 etiquetas) en los conjuntos de datos.
• Ganancias Específicas: Se observaron mejoras notables en OfficeHome (57.2% y 61.0% para 5 y 10 etiquetas), VLCS (75.5% y 75.3%) y DigitsDG (73.0% para 10 etiquetas).
• Análisis de Componentes: Los estudios de ablación confirmaron que el modulador de características mejora la precisión de las etiquetas pseudo, mientras que la función de escalamiento de pérdida aumenta significativamente la tasa de retención. La combinación de ambos componentes produjo el mejor equilibrio entre precisión y utilización de datos.
• Comparación: El método superó a otros métodos SSDG del estado del arte (por ejemplo, StyleMatch, FBCSA, DGWM), muchos de los cuales dependen de etiquetas de dominio y no funcionan bien en el escenario agnóstico a las etiquetas de dominio.

Significado
El artículo afirma resolver el dilema fundamental en SSDG entre lograr etiquetas pseudo precisas y maximizar la utilización de datos no etiquetados. Al desplazar las características hacia las Representaciones Promedio Similares, el modelo aprende a distinguir clases agrupadas estrechamente y a formar representaciones invariantes al dominio sin supervisión explícita de dominio. El escalamiento de pérdida dinámico permite además el uso efectivo de etiquetas pseudo de menor confianza, que típicamente se descartan. Los autores afirman que estas innovaciones permiten que el modelo se generalice efectivamente a dominios no vistos incluso en ausencia de etiquetas de dominio, un escenario que refleja mejor las restricciones del mundo real.