Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

Resumen Técnico: Desentrelazamiento de Prompts mediante Guía de Lenguaje y Alineación de Representaciones para la Generalización de Dominios (PADG)

Definición del Problema
La Generalización de Dominios (DG) tiene como objetivo entrenar modelos que funcionen de manera robusta en dominios objetivo no vistos utilizando únicamente datos de dominios de origen. Un desafío principal en la DG es el "desplazamiento de dominio" (domain shift), donde los datos de entrenamiento y prueba siguen distribuciones diferentes, violando el supuesto estándar de independencia e identidad de distribución (i.i.d.). Si bien los Modelos Fundacionales Visuales (VFM) recientes como CLIP muestran potencial, los métodos actuales de ajuste de prompts suelen centrarse en la adaptación específica de la tarea en lugar de desentrelazar las características invariantes de dominio de las específicas de dominio. En consecuencia, estos métodos tienen dificultades para generar representaciones que generalicen eficazmente a través de diversos dominios no vistos. Además, la guía puramente basada en texto a menudo no logra capturar variaciones complejas específicas del dominio (por ejemplo, cambios de perspectiva o de fondo) que son difíciles de describir lingüísticamente, lo que conduce a un desentrelazamiento incompleto.

Metodología
Los autores proponen PADG (Prompt Disentanglement via Language Guidance and Representation Alignment), un marco unificado que aprovecha la flexibilidad de los VFM y los Modelos de Lenguaje de Gran Escala (LLM) para lograr una generalización de dominio robusta. El marco opera a través de dos etapas de entrenamiento y una estrategia de inferencia:

1. Desentrelazamiento de Prompts Cross-Modales (CMD): Esta etapa aborda la separación de características a través de las modalidades.

   • Desentrelazamiento de Texto Asistido por GPT (GAT): Los autores utilizan un LLM (GPT-3) para generar descripciones detalladas para cada clase dentro de dominios específicos. Mediante el análisis semántico latente, el LLM sintetiza estas en descripciones invariantes de dominio (por ejemplo, forma estructural) y descripciones específicas de dominio (por ejemplo, color o fondo). Estas descripciones se utilizan para guiar el aprendizaje de prompts textuales desentrelazados mediante pérdidas de destilación y aprendizaje contrastivo.
   • Desentrelazamiento de Imágenes Guiado por Texto (IMT): Los embeddings textuales desentrelazados sirven como guías semánticas para el codificador visual. El codificador visual se ajusta mediante prompts aprendibles para producir características visuales invariantes de dominio y específicas de dominio correspondientes. Este proceso es regularizado minimizando la distancia entre las características visuales aprendidas y los embeddings originales de CLIP, mientras se impone la confusión de dominio para las características invariantes.

2. Alineación de Representación del Peor Caso Explícito (WERA): Para compensar las limitaciones de la guía basada solo en texto para capturar variaciones visuales, este módulo mejora la invarianza visual mediante la robustez distributiva.

   • El método modela una distribución del peor caso dentro de una bola de Wasserstein centrada en el dominio de origen.
   • En lugar de distorsionar la semántica de la imagen, emplea una estrategia de estilización que ajusta la media y la varianza (estadísticas) de las características visuales intermedias utilizando prompts aprendibles.
   • Un proceso de optimización iterativo busca las muestras estilizadas del peor caso que maximizan el riesgo empírico. El modelo entonces alinea las representaciones de las muestras originales y estilizadas, asegurando que las características visuales aprendidas permanezcan estables bajo desplazamientos distributivos acotados.

3. Aprendizaje de Prototipos Específicos de Dominio (DSPL): Durante la inferencia, los autores argumentan que confiar únicamente en características invariantes de dominio es subóptimo. Introducen una estrategia de ensamble que combina predicciones invariantes de dominio con predicciones específicas de dominio.

   • Se construyen prototipos para cada clase dentro de cada dominio de origen utilizando el codificador visual específico de dominio.
   • Para una muestra de prueba, el modelo calcula la similitud entre la consulta y estos prototipos para generar una predicción específica de dominio.
   • El resultado final es una combinación ponderada de la predicción invariante de dominio y la predicción basada en prototipos específica de dominio, aprovechando el conocimiento de dominios vistos similares para ayudar en la clasificación de dominios no vistos.

Contribuciones Clave

• Marco PADG: Un nuevo marco de ajuste de prompts que aprovecha plenamente la modalidad de texto para lograr el desentrelazamiento cross-modal, separando los componentes invariantes y específicos tanto en el espacio textual como en el visual.
• Módulo WERA: Un nuevo módulo que estiliza adversariamente las características visuales dentro de una bola de Wasserstein y fuerza la alineación entre las distribuciones original y perturbada. Los autores proporcionan un análisis teórico que garantiza los límites de generalización bajo esta optimización.
• Estrategia DSPL: Un mecanismo de ensamble basado en prototipos que integra estadísticas específicas de dominio con predicciones invariantes de dominio para mejorar la fiabilidad de la inferencia.
• Evaluación Exhaustiva: Experimentos extensos que demuestran la eficacia del método en múltiples benchmarks.

Resultados Experimentales
Los autores evaluaron PADG en cinco benchmarks principales de DG: PACS, VLCS, OfficeHome, DomainNet y TerraIncognita.

• DG de Múltiples Fuentes: PADG alcanzó un rendimiento de estado del arte (SOTA) en todos los conjuntos de datos, con una precisión promedio del 78.73%, superando a métodos SOTA previos como SIMPLE+ (78.10%) y SMOS (68.30%). Notablemente, en el desafiante conjunto de datos TerraIncognita, PADG mejoró respecto al baseline ERM en un 6.71% y superó a CLIP-LoRA en un 3.31%.
• DG de Fuente Única: En la configuración de generalización de un solo dominio más difícil (entrenamiento en una fuente, prueba en múltiples objetivos), PADG superó significativamente a los métodos existentes, incluyendo enfoques basados en UDIM y CLIP, con mejoras de hasta un 16.79% en OfficeHome.
• Estudios de Ablación: Los autores confirmaron la significancia estadística de cada componente (GAT, IMT, WERA, DSPL). Los resultados indicaron que el desentrelazamiento de texto proporciona pistas semánticas ricas, mientras que WERA reduce eficazmente la divergencia origen-objetivo, y DSPL refina aún más la inferencia mediante el uso de conocimiento específico de dominio.

Significancia y Reivindicaciones
El artículo afirma que PADG reformula con éxito el ajuste de prompts como un problema de desentrelazamiento, abordando eficazmente las limitaciones de los métodos existentes que confunden las características específicas de la tarea con las invariantes de dominio. Al combinar la riqueza semántica de los LLM con la robustez distributiva del aprendizaje basado en Wasserstein, el método logra un rendimiento robusto incluso bajo cambios de estilo significativos y datos de origen limitados. Los autores sostienen que su enfoque proporciona un marco de ajuste fino ligero pero efectivo que valida la hipótesis de que el desentrelazamiento explícito de los factores invariantes y específicos es crucial para la generalización. El análisis teórico respalda además la afirmación de que la optimización propuesta garantiza la robustez contra los desplazamientos distributivos dentro de un radio definido.