When Negation Is a Geometry Problem in Vision-Language Models

1. El Problema

Los modelos de incrustación conjunta visión-idioma (VLM), como CLIP, tienen dificultades significativas para comprender la negación en consultas de texto. Por ejemplo, al buscar "una camisa azul sin logotipos", el modelo a menudo recupera imágenes que contienen logotipos, ignorando la palabra "sin" o "no".

• Causas identificadas:

  1. Enfoque "Bolsa de Palabras": CLIP tiende a contextualizar el prompt como un todo, priorizando la presencia de palabras clave de contenido sobre la estructura sintáctica y relacional (como la negación).
  2. Datos de entrenamiento sesgados: Las frases con negación están subrepresentadas en los datos de preentrenamiento. Además, el aprendizaje contrastivo rara vez presenta pares positivos/negativos idénticos en contenido pero opuestos en estructura (ej. "un perro en la hierba" vs. "un perro no en la hierba").
  3. Limitaciones de la Geometría del Espacio: La geometría de un único vector de incrustación es insuficiente para manejar simultáneamente la coincidencia básica, el enlace de atributos y la negación.

• Limitaciones de las Evaluaciones Actuales: Los métodos existentes para abordar este problema se basan en enfoques centrados en datos (generación de datos sintéticos y ajuste fino). Sin embargo, las métricas de recuperación estándar (como Recall@K) son engañosas porque:

  • Introducen falsos negativos: En conjuntos de datos como COCO, múltiples imágenes pueden satisfacer una descripción negada, pero solo una se etiqueta como "ground truth". Las demás se consideran incorrectas injustamente.
  • No distinguen entre la recuperación semántica correcta y la comprensión real de la negación.
  • Algunos modelos ajustados (como ConCLIP) sufren un colapso, recuperando imágenes totalmente irrelevantes.

2. Metodología

Los autores proponen un cambio de paradigma que combina una nueva métrica de evaluación y una intervención geométrica en el modelo sin necesidad de reentrenamiento.

A. Evaluación con MLLM como Juez (MLLM-as-a-judge)

Para superar las limitaciones de las métricas tradicionales, proponen un protocolo de evaluación supervisado por un Modelo de Lenguaje Multimodal (MLLM):

1. Consulta: Se toma una consulta con negación (ej. "un perro que no está corriendo").
2. Recuperación: Se recuperan imágenes del modelo VLM.
3. Juicio Secuencial: Un MLLM (usando Qwen-3-VL) evalúa cada imagen recuperada mediante dos preguntas:
   • $q_r$ (Semántica): ¿La imagen es contextual y semánticamente correcta? (Respuesta esperada: Sí).
   • $q_n$ (Negación): ¿El objeto negado está ausente en la imagen? (Respuesta esperada: No).
4. Criterio: Una recuperación se considera exitosa solo si el MLLM responde correctamente a ambas preguntas. Esto permite evaluar bases de datos de cualquier tamaño y simular escenarios reales sin depender de anotaciones manuales estrictas.

B. Ingeniería de Representaciones y Dirección de Negación

En lugar de generar millones de datos sintéticos para el ajuste fino, los autores investigan si la información de negación ya existe en el espacio latente de CLIP.

1. Detección de la Dirección: Utilizan un clasificador binario lineal (inspirado en TCAV) entrenado con 4,000 pares de oraciones (afirmativas vs. negadas) extraídas de COCO.
   • Hallazgo: El clasificador logra >99% de precisión en las capas intermedias del codificador de texto de CLIP, demostrando que existe una dirección vectorial linealmente separable que codifica la negación.
2. Estiramiento (Steering) en Tiempo de Inferencia:
   • Se extrae el vector de dirección $W_{dir}$ del clasificador.
   • Se modifica la representación latente $h_l$ de la consulta durante la inferencia mediante la ecuación:
     $$h_l = (1 - \alpha)h_l + \alpha W_{dir}||h_l||$$
   • Donde $\alpha$ es un hiperparámetro (optimizado en 0.13) que controla la intensidad del estiramiento hacia la dirección de negación, preservando la norma del vector para evitar distribuciones fuera de rango.
   • Ventaja: No requiere ajuste fino (fine-tuning) ni modificación de los pesos del modelo.

3. Contribuciones Clave

1. Crítica a las Métricas Estándar: Identifican dos limitaciones fundamentales en la evaluación de recuperación con negación (falsos negativos en datasets sintéticos y colapso de modelos ajustados) y proponen un marco de evaluación basado en MLLM como juez.
2. Descubrimiento Geométrico: Demuestran empíricamente que una dirección de negación ya existe en el espacio de incrustación de CLIP (específicamente en capas intermedias) y es linealmente separable.
3. Solución sin Reentrenamiento: Proponen una técnica de estiramiento de representaciones (representation steering) que permite a CLIP comprender la negación manipulando geométricamente los vectores en tiempo de inferencia, utilizando solo 4,000 muestras de texto (0.03% de los datos usados en enfoques anteriores) y sin tocar los pesos del modelo.

4. Resultados

Los experimentos se realizaron en varios benchmarks (NegBench, SimpleNeg y N-COCO) comparando CLIP base, ConCLIP, NegCLIP, CLIP-CC12M y la propuesta de "Steering".

• En NegBench (Datos Sintéticos COCO):

  • Las métricas tradicionales (Recall@K) mostraban mejoras suaves para los modelos ajustados.
  • Sin embargo, bajo la evaluación MLLM-as-a-judge, los modelos ajustados (ConCLIP, CLIP-CC12M) apenas superaron al CLIP base o mostraron fallos graves.
  • NegCLIP fue el único que destacó significativamente, pero la propuesta de Steering logró el mejor rendimiento global (Top-1 de 54.3% vs 53.1% de CLIP-CC12M) sin reentrenamiento.

• En SimpleNeg (Controlado):

  • La técnica de Steering superó a todos los baselines, demostrando que la dirección de negación es manipulable y efectiva para recuperar imágenes que cumplen la restricción negativa.

• En N-COCO (Generalización a Objetos No Comunes):

  • Se probaron consultas con composiciones inusuales (ej. "un libro no hecho de papel").
  • Los modelos ajustados (NegCLIP, CLIP-CC12M) sufrieron una caída drástica en el rendimiento (R@1 bajó de 0.60 a 0.50), indicando sobreajuste a patrones específicos de los datos sintéticos.
  • CLIP Base mantuvo una buena generalización (0.60).
  • Steering logró el mejor resultado (R@1 de 0.80), demostrando que manipular la geometría latente mejora la comprensión de la negación sin sacrificar la capacidad de generalización del modelo original.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cuestiona la necesidad de reentrenamiento masivo: Sugiere que la capacidad de entender la negación ya está presente en los modelos VLM modernos, pero no se expresa consistentemente durante la recuperación.
• Propone una alternativa eficiente: La ingeniería de representaciones (steering) es una solución ligera, rápida y económica que evita los costos computacionales y los riesgos de sobreajuste asociados al ajuste fino con grandes volúmenes de datos sintéticos.
• Mejora la evaluación: Introduce un protocolo de evaluación más riguroso y realista (MLLM-as-a-judge) que separa la relevancia semántica de la lógica de negación, evitando las trampas de los falsos negativos en benchmarks tradicionales.
• Robustez: Demuestra que las intervenciones a nivel de representación preservan mejor la generalización en distribuciones de datos no vistas (out-of-distribution) en comparación con los métodos basados en datos.

En conclusión, el artículo reencuadra el problema de la negación no como una falta de datos, sino como un problema de geometría del espacio latente que puede resolverse mediante intervenciones precisas en tiempo de inferencia.