Resumen Técnico: Ajuste de Prompts de Dominio Adversario y Generación para la Generalización de Dominio Único

1. Definición del Problema

El artículo aborda la Generalización de Dominio Único (SDG, por sus siglas en inglés), un paradigma de aprendizaje desafiante donde un modelo debe ser entrenado en un único dominio etiquetado ($\mathcal{D}_S$) y desempeñarse de manera robusta en múltiples dominios objetivo no vistos ($\mathcal{D}_T$). A diferencia de la Generalización de Dominio (DG) estándar, que utiliza múltiples dominios de origen, o la Adaptación de Dominio (DA), que accede a datos del objetivo, la SDG opera bajo restricciones estrictas donde los dominios objetivo no están disponibles durante el entrenamiento y suelen presentar cambios significativos en la distribución (por ejemplo, cambios en el estilo, el fondo o el punto de vista).

Los enfoques de SDG existentes suelen depender del aumento de datos o de la normalización adaptativa. Sin embargo, estos métodos tienen dificultades para construir dominios suficientemente diversos que cubran brechas de estilo arbitrarias, particularmente cuando las características del dominio son demasiado abstractas para ser descritas manualmente. Aunque los modelos fundacionales de Texto-a-Imagen (T2I) ofrecen capacidades generativas potentes, el diseño manual de prompts textuales para cada posible estilo de dominio es poco práctico y no logra capturar matices estilísticos abstractos.

2. Metodología: Ajuste de Prompts Adversario Progresivo (PAPT)

Los autores proponen el Ajuste de Prompts Adversario Progresivo (PAPT), un marco que aprovecha los Modelos de Difusión Latente (LDM) preentrenados para generar automáticamente datos de entrenamiento fuera de la distribución (OOD) diversos. En lugar de depender de descripciones textuales estáticas, el método aprende dos conjuntos de prompts abstractos y aprendibles:

2.1. Componentes Principales

1. Ajuste de Prompt de Categoría (CPT):

   • Objetivo: Capturar información de categoría invariante al dominio.
   • Mecanismo: Para cada clase $k$, se inserta un vector de prompt aprendible $\mathbf{E}^c_k$ en una plantilla de texto fija (por ejemplo, "una foto de un [clase]"). Este prompt se optimiza utilizando los datos del dominio de origen para asegurar que las imágenes generadas retengan las características semánticas correctas de la clase, independientemente del estilo del dominio.

2. Ajuste de Prompt de Dominio Adversario (AD):

   • Objetivo: Modelar estilos específicos de dominio, incluyendo aquellos demasiado abstractos para el lenguaje.
   • Mecanismo: Se mantiene un conjunto de vectores de prompt de dominio aprendibles $\mathbf{E}^d_i$ en un Banco de Memoria Específico de Dominio ($\mathcal{P}$).
   • Objetivo Adversario: Para generar un nuevo prompt de dominio $\mathbf{E}^d_o$, el modelo minimiza la similitud entre la representación latente de la imagen generada y todos los prompts existentes en $\mathcal{P}$. Esto se logra mediante una pérdida contrastiva ($\mathcal{L}_{domain}$) que aleja el nuevo estilo de los estilos aprendidos previamente.
   • Objetivo de Consistencia: Simultáneamente, una pérdida de consistencia de categoría ($\mathcal{L}_{class}$) asegura que la imagen generada permanezca alineada semánticamente con el prompt de la categoría.
   • Optimización: La pérdida total es $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$. Para que la retropropagación sea factible, los autores emplean una aproximación de un solo paso del proceso de eliminación de ruido (denoising).

3. Esquema de Entrenamiento Progresivo (PTS):

   • Objetivo: Garantizar una diversidad continua en los dominios generados.
   • Mecanismo: El banco de memoria $\mathcal{P}$ se actualiza iterativamente. Después de un número determinado de iteraciones, el nuevo prompt de dominio aprendido $\mathbf{E}^d_o$ se añade a $\mathcal{P}$. Esto obliga al entrenamiento subsecuente a generar estilos que sean distintos del conjunto de estilos aprendidos en expansión, ampliando efectivamente la distribución de los datos de entrenamiento generados.

2.2. Flujo de Trabajo

1. Inicialización: Sembrar manualmente $\mathcal{P}$ con unos pocos embeddings de dominio textuales.
2. Entrenamiento:
   • Optimizar los prompts de categoría $\mathbf{E}^c_k$ sobre los datos de origen.
   • Aprender iterativamente nuevos prompts de dominio $\mathbf{E}^d_o$ mediante el ajuste adversario contra $\mathcal{P}$.
   • Actualizar $\mathcal{P}$ añadiendo nuevos prompts exitosos.
3. Generación: Utilizar los prompts aprendidos para generar un conjunto diverso de imágenes ($\mathcal{D}_G$) usando el modelo T2I.
4. Modelo Final: Entrenar el clasificador de downstream sobre la unión del dominio de origen original y las imágenes de dominio generadas.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

• Primera Aplicación de T2I para SDG: Es el primer trabajo que aprovecha los modelos fundacionales de texto-a-imagen específicamente para la generalización de dominio único, yendo más allá de la ingeniería de prompts manual hacia prompts abstractos aprendibles.
• Aprendizaje de Prompts Abstractos: El método reemplaza los dominios textuales rígidos con vectores aprendibles que pueden representar estilos abstractos difíciles de describir con palabras (por ejemplo, estilos artísticos específicos o cambios de fondo).
  el marco PAPT propuesto equilibra el compromiso entre generar estilos de dominio diversos y preservar la semántica categórica mediante un mecanismo de aprendizaje adversario y una estrategia de actualización de banco de memoria progresiva.
• Rendimiento de Vanguardia (State-of-the-Art): El método logra un rendimiento superior en comparación con los enfoques de SDG existentes en múltiples benchmarks.

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks estándar de DG: PACS, VLCS, Office-Home, DomainNet y TerraIncognita.

• Generalización de Dominio Único (SDG):

  • En PACS, PAPT logró una precisión promedio del 72.72%, superando al anterior mejor (Prompt-Driven) por un 1.60%.
  • En VLCS, alcanzó un 73.37%, una mejora significativa del 9.55% sobre la línea base, demostrando robustez ante cambios de fondo y de punto de vista donde las etiquetas de dominio no poseen significado semántico.
  • En Office-Home, alcanzó el 62.03%, superando al estado del arte por un 3.73%.
  • El método mostró ganancias particularmente fuertes cuando el dominio de origen era un estilo "difícil" (por ejemplo, Sketch o Clipart), con mejoras de hasta un 21.62% en configuraciones específicas.

• Generalización de Dominio Multi-Fuente:

  • Al extenderse a entornos multi-fuente, PAPT superó al estado del arte SMOS por un 1.34% en promedio en todos los datasets.
  • Notablemente, en el desafiante dataset DomainNet (grandes discrepancias de estilo), PAPT superó a SMOS por un 4.88%.

• Estudios de Ablación:

  • Ajuste de Dominio Adversario (AD): Proporcionó ganancias de 3.88% en PACS y 3.42% en VLCS, demostando que los prompts aprendibles superan a las descripciones de texto manuales para estilos abstractos.
  • Esquema de Entrenamiento Progresivo (PTS): Mejoró aún más el rendimiento en un 2.50% (PACS) y un 0.83% (VLCS), confirmando que la expansión iterativa de la diversidad de estilos reduce la discrepancia de distribución.
  • Sensibilidad de Parámetros: El método mostró estabilidad respecto a la inicialización del banco de memoria y el hiperparámetro $\lambda$ (establecido en 10).

5. Significado y Reclamaciones

El artículo posiciona su trabajo como una solución a las limitaciones de las técnicas actuales de aumento de datos, que a menudo no logran cubrir la vasta brecha de distribución entre el dominio de origen y el de destino. Al utilizar el poder generativo de los modelos T2I a través de prompts abstractos aprendibles, los autores afirman que logran:

1. Superar la incapacidad del texto manual para describir características de dominio abstractas.
2. Generar automáticamente un rango suficientemente diverso de imágenes de entrenamiento sin requerir acceso a datos de destino o múltiples dominios de origen.
3. Lograr un rendimiento de generalización demostrable al minimizar explícitamente la discrepancia de distribución entre lo generado y el objetivo mediante el aprendizaje adversario.

Los autores concluyen que su marco mitiga eficazmente los problemas de cambio de dominio, particularmente en escenarios que involucran cambios complejos de fondo y punto de vista, ofreciendo una alternativa robusta a los métodos de SDG existentes.