Resumen Técnico: CoDoL – Aprendizaje de Prompts de Dominio Condicional para la Generalización Fuera de la Distribución

1. Planteamiento del Problema

Los modelos de aprendizaje profundo suelen depender del supuesto de que los datos son independientes e idénticamente distribuidos (IID), lo cual a menudo falla en aplicaciones del mundo real donde las distribuciones de los datos de prueba difieren de las de entrenamiento (Generalización Fuera de la Distribución o OOD por sus siglas en inglés). Aunque los Modelos de Visión-Lenguaje (VLMs), particularmente el Preentrenamiento de Contraste Lenguaje-Imagen (CLIP), han demostrado sólidas capacidades de cero disparos (zero-shot), los métodos de prompting basados en CLIP existentes enfrentan dos limitaciones críticas en entornos OOD:

1. Descripciones de Texto Inexactas: Los prompts fijos o diseñados manualmente pueden no describir con precisión el contenido visual, lo que provoca una degradación en la precisión y la robustez.
2. Alineación Limitada de los Embeddings de Visión-Lenguaje: La alineación entre los embeddings de imagen y texto es un factor clave para el rendimiento de la generalización. Los métodos estándar de ajuste de prompts (por ejemplo, CoOp) a menudo fallen en alinear suficientemente estas modalidades bajo cambios de distribución.

Los métodos actuales luchan por aprovechar la información de dominio fácilmente disponible (por ejemplo, ubicación, tiempo, condiciones experimentales) para mejorar esta alineación, la cual es crucial para transferir el conocimiento de múltiples dominios de entrenamiento a dominios de prueba no vistos.

2. Metodología: CoDoL

Los autores proponen el Aprendizaje de Prompts de Dominio Condicional (CoDoL), un método eficiente en parámetros que utiliza información de dominio para mejorar la alineación de los codificadores de imagen y texto de CLIP. El marco consta de tres componentes principales:

A. Construcción de Prompts de Dominio Condicional

A diferencia del ajuste de prompts estándar que solo aprende vectores de contexto específicos de la clase, CoDoL construye un prompt que incluye tanto información de clase como de dominio. El template del prompt se define como:
$$t = \text{[Tokens de Clase]} + \text{[Tokens de Dominio]} + \text{[Nombre de Clase]} + \text{[Nombre de Dominio]}$$

• Tokens de Clase: Vectores aprendibles compartidos o específicos para las clases.
• Tokens de Dominio: Vectores aprendibles diseñados para capturar características invariantes al dominio, permitiendo que el modelo generalice a dominios de prueba no vistos.
• Ejemplo: Para un "perro" en el dominio "Dibujos Animados", el prompt se convierte en: "[V]_1...[V]_Mc, [V]_1...[V]_Mk, perro, dibujo animado".

B. Red Meta de Dominio (DMN)

Para capturar información específica de la instancia junto con la información específica del dominio, los autores introducen una red neuronal ligera llamada Red Meta de Dominio (DMN).

• Función: La DMN toma el vector de características de la imagen ($z_v$) del codificador de imagen congelado y genera un offset condicionado a la entrada.
• Mecanismo: Este offset se añade elemento a elemento a los vectores de contexto aprendibles específicos del dominio.
  $$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$$
• Resultado: Los tokens resultantes portan tanto el conocimiento estático del dominio como los detalles dinámicos de la instancia específica, creando un prompt $t_{y,j}(x)$ que está condicionado tanto a la clase $y$ como a la instancia de imagen específica $x$.

C. Entrenamiento e Inferencia

• Entrenamiento: El modelo minimiza una pérdida de entropía cruzada sobre la distribución conjunta posterior de la clase y el dominio. La etiqueta de dominio se utiliza durante el entrenamiento para supervisar el prompt de dominio específico, pero se trata como una variable latente durante la inferencia.
• Inferencia: En el momento de la prueba, no se requieren etiquetas de dominio. El modelo realiza la marginalización sobre los $K$ dominios de entrenamiento para predecir la etiqueta de la clase:
  $$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$$

3. Contribuciones Clave

1. Marco de Prompting Novedoso: La propuesta de CoDoL, que integra la información de dominio fácilmente disponible en la estructura del prompt para mejorar la alineación de los embeddings de visión-lenguaje para la generalización OOD.
2. Condicionamiento de Instancia Ligero: La introducción de la Red Meta de Dominio (DMN), una arquitectura ligera que genera tokens condicionados a la entrada, permitiendo que el modelo capture tanto la información específica de la instancia como la del dominio sin actualizaciones de parámetros pesadas.
3. Validación Empírica: Experimentos extensos que demuestran que CoDoL mejora la alineación de los espacios de embeddings de CLIP, sirviendo como un factor contribuyente a las ganancias observadas en OOD.

4. Resultados Experimentales

Los autores evaluaron CoDoL en cuatro bancos de pruebas estándar: PACS, VLCS, OfficeHome y DigitDG, utilizando tanto backbones ResNet50 como ViT-B/16.

• Múltiples Dominios de Entrenamiento: CoDoL alcanzó un rendimiento de vanguardia (state-of-the-art) en todos los bancos de pruebas. Por ejemplo, en PACS con un backbone ViT-B/16, CoDoL logró una precisión promedio del 98.77%, superando al SOTA anterior (StyLIP) y a los baselines de cero disparos.
• Dominio Único de Entrenamiento: En el escenario más desafiante donde solo se utiliza un dominio para el entrenamiento, CoDoL superó consistentemente a otras técnicas de prompting (por ejemplo, CoOp, CoCoOp) por aproximadamente un 3-4%, estableciendo nuevos resultados SOTA para escenarios de entrenamiento de un solo dominio.
• Estudios de Ablación:
  • Efectividad de la DMN: Eliminar la DMN resultó en una caída de rendimiento de aproximadamente un 3%, confirmando el valor del condicionamiento específico de la instancia.
  • Longitud del Contexto: Se encontró que la longitud óptima del contexto para los tokens de dominio ($M_k$) es mayor que para los tokens de clase ($M_c$) en entornos de múltiples dominios, lo que sugiere que los contextos de dominio más largos son beneficiosos para aprender el conocimiento del dominio.
  • Métricas de Alineación: El análisis cuantitativo mostró que CoDoL logró una brecha de modalidad ($\delta_{mod}$) menor y un mayor recall de recuperación cruzada de modalidades (R@1) en comparación con los baselines, confirmando una mejor alineación visión-lenguaje.
• Eficiencia de Datos: El método se mantuvo efectivo incluso con tan solo el 20% de las muestras de entrenamiento que contenían información de dominio.

5. Significación y Reivindicaciones

El artículo afirma que CoDoL aborda los desafíos centrales de las descripciones de texto inexactas y la alineación limitada de los embeddings en los métodos de prompting basados en CLIP. Al modelar explícitamente la información de dominio y los offsets específicos de la instancia, el método mejora la robustez de los VLMs en los cambios de distribución del mundo real.

Los autores posicionan la mejora en la alineación de los embeddings de visión-lenguaje como un factor primario subyacente a las ganancias observadas en la generalización OOD. Enfatizan que este enfoque es eficiente en parámetros, requiriendo solo el entrenamiento de los tokens de prompt y de una DMN ligera, manteniendo los codificadores preentrenados congelados. El trabajo sugiere que aprovechar la información de dominio es una estrategia viable y efectiva para mejorar la fiabilidad de los sistemas de IA en aplicaciones de alto riesgo donde las distribuciones de datos no son estacionarias.