Resumen Técnico: DOME - Aprendizaje de Variables de Dominio Transferibles desde Supervisión Dispar para la Adaptación en Tiempo de Prueba

1. Planteamiento del Problema

La Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés) tiene como objetivo alinear un modelo preentrenado con cambios en el dominio de prueba utilizando únicamente datos de flujo (streaming) no etiquetados. Los métodos de TTA existentes se basan predominantemente en un paradigma de "búsqueda implícita", donde intentan inferir una única distribución estadística global para representar todo el dominio objetivo. Los autores argumentan que este enfoque es fundamentalmente defectuoso para escenarios del mundo real debido a:

• Multidimensionalidad: Los cambios de dominio en el mundo real son multidimensionales y específicos de cada muestra (por ejemplo, una imagen puede pertenecer simultáneamente a un dominio "artístico" y a uno de "animales").
• Pérdida de Información: Forzar todos los datos del objetivo en una única representación unificada elimina las claves de dominio específicas de cada muestra.
• Inestabilidad: El conflicto entre las realidades multidimensionales de las muestras y el objetivo de aprender una única distribución global conduce a una optimización inestable y a mínimos locales.
• Fragilidad: Los métodos actuales a menudo requieren heurísticas complejas o algoritmos de adaptación intrincados para mitigar estos problemas, pero siguen siendo frágiles ante cambios diversos.

El artículo plantea una pregunta central: ¿Podemos modelar explícitamente el dominio de cada muestra en lugar de depender de la búsqueda implícita?

2. Metodología: DOME y el Marco de Trabajo Sparse-to-Dense (S2D)

Los autores proponen DOME (DOMain Encoder), un codificador de dominio de cero disparos (zero-shot) que genera explícitamente representaciones de dominio para muestras descendentes. DOME se entrena mediante un marco de aprendizaje Sparse-to-Dense (S2D), que consta de dos componentes sinérgicos:

A. Desentrelazamiento de Dominio con Etiquetas Dispares (SDD)

Dado que no se dispone de anotaciones de dominio densas, el SDD aprende a aislar los factores específicos del dominio de la semántica de la categoría utilizando supervisión dispar.

• Banco Dispar de Momento (Momentum Sparse Bank): Un banco de dominios almacena características relacionadas con el dominio de forma dispar, actualizadas mediante una estrategia de momento ($m=0.9$). Esto refuerza la información de dominio compartida mientras suprime el ruido específico de la instancia.
• Mecanismo de Desentrelazamiento:
  1. Se eliminan las codificaciones posicionales de los tokens intermedios de un codificador de visión CLIP para suprimir las claves relacionadas con la categoría.
  2. Un Decodificador de Diccionario (Dictionary Decoder) ligero mapea la representación de la imagen en un espacio de alta dimensión y sobrecompleto.
  3. Regularización de Disparidad (Sparsity Regularization): Una pérdida $\ell_1$ incentiva al modelo a activar solo un subconjunto disperso de características interpretables (atributos de dominio canónicos).
  4. JumpReLU: Un umbral aprendible suprime las activaciones débiles residuales, produciendo una señal de dominio limpia y dispersa ($z_{dom}$).

B. Aprendizaje de Representaciones de Dominio Densas (DDRL)

Este componente extrapola las anotaciones dispersas hacia un espacio de dominio continuo y denso para permitir la generalización de cero disparos.

• Preentrenamiento de Visión-Lenguaje: DOME se inicializa a partir de codificadores de imagen y texto de CLIP congelados. Durante el entrenamiento, un texto de dominio parcialmente enmascarado guía la extracción de variables de dominio, reduciendo la ambigüedad en el espacio multidimensional.
• Reparametrización: El modelo predice la media ($\hat{\mu}$) y la desviación estándar ($\hat{\sigma}$) por canal para representar las estadísticas del dominio.
• Objetivos de Entrenamiento: Las características densas ($\hat{z}$) se entrenan para alinearse con las señales dispersas limpias ($z_{dom}$) mediante:
  • Pérdida MSE: Regresa las proyecciones densas hacia los prototipos dispersos.
  • Pérdida Auxiliar: Alinea las proyecciones con las estadísticas de dominio crudas.
  • Pérdida InfoNCE: Fomenta la cohesión intra-dominio y la separación inter-dominio.

C. Integración de la Adaptación en Tiempo de Prueba (TTA)

En la inferencia, DOME opera como un módulo congelado:

1. Inyección de Dominio: DOME procesa la imagen de prueba (y su aumento débil) para generar estadísticas de dominio.
2. Modulación del Adaptador: Un adaptador MLP ligero convierte estas estadísticas en parámetros afines ($g, b$).
3. Modulación de Características: Estos parámetros modulan las características de un backbone ViT congelado mediante $x = x \cdot (1 + g) + b$ después de la Normalización de Capa (LayerNorm).
4. Optimización: Solo el adaptador y las capas de normalización se actualizan utilizando un objetivo estándar de minimización de entropía (entropía condicional y marginal) sobre una única pasada de propagación hacia adelante y hacia atrás (forward-backward). No se requiere auto-entrenamiento complejo ni etiquetado pseudo.

3. Contribuciones Clave

1. Inyección de Dominio Explícita: DOME es el primer extractor de características de dominio de propósito general en la literatura de TTA, transformando el paradigma de la búsqueda de dominio implícita a la inyección de dominio explícita.
2. Marco de Aprendizaje Sparse-to-Dense: Una estrategia de entrenamiento novedosa que utiliza un banco disperso actualizado por momento para la supervisión desentrelazada y el preentrenamiento de visión-lenguaje para extrapolar representaciones de dominio densas y continuas para la generalización de cero disparos.
3. Simplicidad y Rendimiento: Los autores demuestran que una adaptación robusta proviene de una representación de dominio explícita y estructurada, en lugar de algoritmos complejos. Incluso una estrategia de minimización de entropía ingenua combinada con DOME logra resultados de vanguardia (SOTA).

4. Resultados Experimentales

El método fue evaluado en ImageNet-C, ImageNet-R e ImageNet-Sketch utilizando varios backbones (ViT-B, ViT-L, DINOv2).

• ImageNet-C: DOME + Minimización de Entropía logró un 66.7% de precisión promedio, superando a baselines complejos como DeYO (66.4%) y FOA (66.3%). Mostró una fortaleza particular en Motion Blur, Zoom Blur y Elastic Transform.
• ImageNet-R: Logró un 68.7% de precisión top-1, igualando al método complejo con mejor rendimiento (DeYO) y manejando eficazmente los cambios de estilo.
• ImageNet-Sketch: Estableció un nuevo estado del arte con un 53.9%, superando significativamente a DeYO (50.3%), demostrando robustez cuando las claves de textura están ausentes.
• Generalización: En configuraciones de TTA offline a través de dominios artísticos no vistos, DOME superó consistentemente a un baseline que utiliza estadísticas de CLIP crudas (DomStat), mejorando la precisión de 52.81% a 68.34% en ViT-B/16.
• Eficiencia: DOME logra un rendimiento SOTA con 4 veces menos parámetros entrenables que los métodos de adaptación de modelo completo (por ejemplo, CoTTA), manteniendo la latencia en tiempo real.

5. Significado y Reivindicaciones

El artículo afirma que el motor principal de una TTA robusta no es la complejidad del algoritmo de adaptación (por ejemplo, auto-entrenamiento, alineación de prototipos), sino la calidad de la representación del dominio.

• Cambio de Paradigma: Al modelar explícitamente las variables de dominio, el proceso de inferencia se vuelve dependiente de los datos y personalizable para el dominio multidimensional de cada muestra, en lugar de optimizarse para una distribución global potencialmente inexacta.
• Desentrelazamiento: El marco S2D desentrelaza con éxito las claves de dominio de la información semántica, permitiendo que el modelo se concentre en la información semántica durante la adaptación mientras es guiado por claves de dominio explícitas.
• Capacidad de Cero Disparos (Zero-Shot): El aprovechamiento del preentrenamiento de visión-lenguaje permite que DOME se generalice a dominios no vistos sin requerir etiquetas de dominio específicas durante la fase de TTA descendente.

Los autores concluyen que la representación de dominio explícita y estructurada es la clave para resolver la fragilidad de los métodos de TTA actuales, permitiendo que estrategias simples alcancen un rendimiento de vanguardia a través de diversos y continuos cambios de dominio.