FlowComposer: Composable Flows for Compositional Zero-Shot Learning

1. El Problema: Aprendizaje Cero-Shot Composicional (CZSL)

El Aprendizaje Cero-Shot Composicional (CZSL) tiene como objetivo reconocer combinaciones de atributo-objeto que no se han visto durante el entrenamiento, recombiniendo conceptos primitivos aprendidos de pares observados (ej. aprender de "manzana roja" y "plátano verde" para reconocer "manzana verde").

Aunque los métodos recientes basados en Modelos de Lenguaje y Visión (VLMs) como CLIP han avanzado utilizando Ajuste Fino Eficiente en Parámetros (PEFT), el artículo identifica dos limitaciones fundamentales en los enfoques actuales:

1. Construcción Implícita de Composición: Los métodos actuales suelen concatenar tokens a nivel de texto o ajustar prompts de manera implícita. Esto no realiza una operación explícita en el espacio de incrustaciones (embedding space), lo que hace que las representaciones de pares no vistos no se alineen bien con las imágenes reales, limitando la generalización.
2. Entrelazamiento de Características Remanente: Los "desenredadores" visuales (visual disentanglers) utilizados para separar atributos y objetos no logran una separación perfecta. Esto provoca que la información se filtre entre las ramas (ej. información del objeto en la rama del atributo), contaminando las características y debilitando la alineación específica de cada rama.

Estos problemas conducen a un sobreajuste a las combinaciones vistas y a un desequilibrio donde la precisión en datos no vistos cae drásticamente a medida que avanza el entrenamiento.

2. Metodología: FlowComposer

Los autores proponen FlowComposer, un marco agnóstico al modelo que utiliza Flow Matching (FM) para abordar explícitamente la composición y el desenredado en el espacio de incrustaciones. La arquitectura se basa en tres componentes principales:

A. Flujos Primitivos (Primitive Flows)

En lugar de concatenar tokens, el modelo aprende dos flujos rectificados independientes:

• Un flujo de atributo ($v_{\theta_a}$) que transporta características visuales hacia las incrustaciones de texto de atributos.
• Un flujo de objeto ($v_{\theta_o}$) que hace lo mismo para objetos.
  Estos flujos aprenden un campo de velocidad condicional en el tiempo que mueve la representación visual desde el origen hacia el texto objetivo correspondiente.

B. El Composer (Compositor)

Para superar la concatenación a nivel de token, se introduce un módulo Composer aprendible.

• Función: Combina los campos de velocidad de los flujos primitivos ($\hat{v}_a$ y $\hat{v}_o$) para generar un flujo de composición explícito.
• Mecanismo: El Composer predice coeficientes de combinación $(\hat{a}, \hat{b})$ que ponderan cómo deben sumarse las direcciones de los flujos primitivos para aproximar la velocidad de la composición final. Esto permite una regla de composición dinámica y aprendida en el espacio de incrustaciones, en lugar de una fusión estática.

C. Aumento Guiado por Fugas (Leakage-Guided Augmentation)

En lugar de tratar el entrelazamiento de características (la "fuga" de información entre ramas) como un error a eliminar, el método lo explota como una señal de supervisión adicional.

• Enfoque: Se utilizan las características visuales filtradas de una rama (ej. características del objeto que se filtraron en la rama de atributos) para entrenar el flujo de la otra rama hacia su objetivo de texto.
• Beneficio: Esto convierte el entrelazamiento imperfecto en una fuente de supervisión cruzada constructiva, enriqueciendo el aprendizaje de los campos de velocidad y mejorando la robustez.

3. Contribuciones Clave

1. Primera aplicación sistemática de Flow Matching en CZSL: Introducen un marco que utiliza la composición y descomposición natural de los campos de velocidad para modelar la relación entre atributos, objetos y sus composiciones.
2. Composición Explícita en el Espacio de Incrustaciones: Reemplazan la concatenación de tokens por una operación de composición de vectores de velocidad aprendida, permitiendo una generalización superior a pares no vistos.
3. Aprovechamiento del Entrelazamiento: La estrategia de "Aumento Guiado por Fugas" transforma un defecto de los desenredadores visuales (la contaminación de características) en una ventaja, utilizando señales cruzadas para mejorar la supervisión.
4. Marco Agnóstico y Plug-and-Play: FlowComposer se integra fácilmente en pipelines existentes de CZSL (como CSP o Troika) con modificaciones mínimas, operando puramente en el espacio de representaciones.

4. Resultados Experimentales

El método se evaluó en tres conjuntos de datos públicos de referencia: MIT-States, UT-Zappos y C-GQA, bajo configuraciones de mundo cerrado y mundo abierto.

• Rendimiento Superior: Al integrar FlowComposer en las líneas base (CSP y Troika), se lograron mejoras consistentes en todas las métricas clave:
  • HM (Media Armónica): Mejoras significativas en el equilibrio entre precisión en datos vistos y no vistos.
  • AUC (Área bajo la curva): En configuración de mundo cerrado, FlowComposer sobre Troika logró el estado del arte (SOTA) en los tres conjuntos de datos, superando incluso a métodos que utilizan conocimiento adicional de Grandes Modelos de Lenguaje (LLMs).
  • Equilibrio: Se observó una trayectoria de entrenamiento más estable, evitando la caída de precisión en datos no vistos que sufren los métodos basados en PEFT.
• Análisis de Componentes: Las pruebas de ablación confirmaron que tanto los flujos primitivos, el Composer como el aumento guiado por fugas son complementarios y necesarios para el máximo rendimiento.
• Eficiencia: El método introduce una sobrecarga computacional mínima (latencia aumentada de ~1-2 ms por imagen) gracias al esquema de transporte de un solo paso.

5. Significado e Impacto

El trabajo de FlowComposer representa un cambio de paradigma en el CZSL al pasar de la manipulación de tokens de texto a la manipulación explícita de flujos vectoriales en el espacio de incrustaciones.

• Generalización: Demuestra que modelar la dinámica de transporte de características (mediante flujos) es más efectivo para generalizar a combinaciones no vistas que simplemente ajustar prompts de texto.
• Robustez: Al aceptar y utilizar el entrelazamiento inherente en lugar de luchar contra él, el modelo es más robusto y menos propenso al sobreajuste.
• Versatilidad: Al ser agnóstico al modelo base, FlowComposer ofrece una solución general que puede mejorar cualquier pipeline de CZSL basado en VLMs, estableciendo un nuevo estándar para la investigación futura en aprendizaje composicional.

En resumen, FlowComposer logra un equilibrio superior entre la precisión en datos vistos y no vistos mediante una formulación matemática elegante que alinea la naturaleza composicional de la visión humana con los mecanismos de transporte de distribuciones de los flujos generativos.