HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

Resumen Técnico: HANCLIP – Una familia de modelos de lenguaje-visión de negación angular hiperbólica

Planteamiento del Problema
Los Modelos de Lenguaje-Visión (VLMs), a pesar de su sólido rendimiento en tareas estándar de recuperación y clasificación, exhiben una fragilidad significativa al procesar la negación. Los modelos actuales suelen depender de coocurrencias superficiales entre palabras y objetos en lugar de un razonamiento lógico profundo, lo que los lleva a asignar puntuaciones de similitud elevadas tanto a descripciones afirmativas como a las negadas (por ejemplo, fallando al distinguir entre "un gato junto a un manzano" y "un gato junto a una silla, no un manzano"). Las soluciones existentes que intentan abordar esto mediante conjuntos de datos especializados y objetivos de contraste suelen requerir un reentrenamiento a gran escala, lo que conlleva el riesgo de olvido catastrófico del conocimiento previamente adquirido y degrada el rendimiento en los benchmarks estándar. Además, muchos enfoques tienen dificultades para modelar la naturaleza compositiva de la negación visual, la cual requiere razonar sobre las relaciones entre objetos y sus alternativas en lugar de una simple inversión léxica.

Metodología
Los autores presentan HANCLIP (Hyperbolic + Angular + Negation), un marco diseñado para reestructurar el espacio de incrustación (embedding) para codificar explícitamente "lo que una imagen no es" junto con "lo que es". El enfoque es agnóstico al modelo y puede aplicarse a backbones preentrenados como CLIP, LongCLIP, SmartCLIP y HiMo-CLIP utilizando un conjunto compacto de 20,000 cuadrupletos imagen-texto $(I, P, P', N)$, donde $I$ es la imagen, $P$ es la descripción positiva, $P'$ es la descripción negada-positiva y $N$ es la descripción negativa verdadera.

La metodología se basa en dos componentes principales:

1. Objetivo de Contraste Hiperbólico (HCO):
   Utilizando el modelo de la bola de Poincaré de la geometría hiperbólica, el HCO aprovecha la propiedad de que las distancias crecen exponencialmente con el radio para modelar relaciones semánticas jerárquicas y asimétricas. A diferencia del aprendizaje de contraste euclidiano estándar, que trata todos los pares no coincidentes como negativos implícitos, el HCO incorpora explícitamente las descripciones negativas verdaderas ($N$) en el denominador de la pérdida.

   • Mecanismo: Impone una jerarquía donde la imagen $I$ y sus descripciones afirmativa y negada-positiva ($P, P'$) se incrustan más cerca del centro del espacio hiperbólico, mientras que las negativas semánticamente incompatibles ($N$) son empujadas hacia el límite.
   • Términos de Pérdida: El objetivo consta de tres términos: alinear $P'$ con $I$; asegurar que $I$ esté más cerca de $P'$ que de cualquier $N$; y alinear $P'$ con $P$ mientras se separan de $N$.

2. Pérdida de Negación de Triplete Angular (ATNL):
   Este componente opera sobre direcciones relativas en lugar de distancias absolutas para imponer consistencia geométrica entre el triplete $(P, P', N)$.

   • Alineación Positiva ($L_{pos}$): Utilizando la descripción negativa $N$ como ancla, este término minimiza el ángulo entre los vectores $\vec{NP}$ y $\vec{NP'}$. Esto asegura que la descripción negada-positiva $P'$ se encuentre en una dirección semántica similar a la descripción positiva real $P$ cuando se observa desde el ancla negativa.
   • Separación Negativa ($L_{neg}$): Utilizando la descripción negada-positiva $P'$ como ancla, este término maximiza el ángulo entre los vectores $\vec{P'P}$ y $\vec{P'N}$, alejando la descripción positiva real de la negativa en el espacio de características.
   • Pérdida Total: El objetivo final de entrenamiento es una suma ponderada: $L_{final} = L_{hc} + \alpha L_{at}$.

3. Mitigación del Olvido mediante LoRA:
   Para evitar la degradación de las capacidades preentrenadas, el marco emplea Adaptación de Bajo Rango (LoRA). Los pesos del backbone preentrenado se congelan y la adaptación específica de la tarea se canaliza a través de ramas pequeñas de bajo rango. Este diseño modular permite al modelo acumular habilidades de negación sin sobrescribir el subespacio utilizado para la recuperación y clasificación general.

Contribuciones Clave

• Modelado de Negación Hiperbólica: El artículo propone la primera aplicación de la geometría hiperbólica específicamente para resolver la comprensión de la negación en los VLMs, aprovechando métricas no euclidianas para separar mejor los cúmulos semánticos afirmativos y negativos.
• Pérdida de Triplete de Negación Angular: Una novedosa función de pérdida bifocal que simultáneamente atrae las descripciones positivas y las negadas-positivas mientras empuja las negativas, basándose en la alineación angular en lugar de solo en la distancia.
• Eficiencia de Datos y Rendimiento: El marco logra mejoras significativas utilizando solo 20,000 muestras de entrenamiento (un pequeño subconjunto de CC-Neg), evitando la necesidad de un reentrenamiento masivo.
• Agnosticismo de Modelo: El método se aplica con éxito a cuatro arquitecturas distintas de VLM (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) sin necesidad de un reentrenamiento a gran escala.

Resultados Experimentales
Se realizaron experimentos extensos en el benchmark NegBench (que cubre la Recuperación de Negación y Preguntas de Opción Múltiple de Zero-shot) y en conjuntos de datos estándar de recuperación/clasificación (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V).

• Rendimiento de la Negación: HANCLIP ofrece ganancias consistentes en NegBench.
  • Recuperación de Negación: El marco mejora el puntaje rSum general en aproximadamente un 5%–10% en todos los backbones probados. Por ejemplo, SmartCLIP-L mejoró su rSum de 427.49 a 438.51.
  • Preguntas de Opción Múltiple (MCQ): Hay un aumento promedio de casi el 35% en las tareas de MCQ. El marco muestra una fortaleza particular en preguntas "Híbridas" (ej. "A pero no B"), donde mejora el rendimiento significativamente más que en las preguntas puramente "Negadas", lo que sugiere mejores capacidades de razonamiento relativo.
• Preservación de Capacidades Generales:
  • Clasificación: El rendimiento en ImageNet, CIFAR-10 y CIFAR-100 permanece prácticamente sin cambios (variaciones dentro de $\pm 0.3\%$), con algunas variantes mostrando ligeras mejoras, lo que indica que el remodelado geométrico no daña el reconocimiento base.
  • Recuperación: Las tareas estándar de recuperación de texto corto y texto largo generalmente mantienen o mejoran su rendimiento. Notablemente, la recuperación de Imagen-a-Texto (I2T) mejora consistentemente, mientras que la de Texto-a-Imagen (T2I) muestra resultados mixtos pero generalmente estables.
• Estudios de Ablación: Se identifica que el Objetivo de Contraste Hiperbólico (HCO) es el principal motor para la mejora en el manejo de la negación, mientras que la Pérdida de Negación de Triplete Angular (ATNL) proporciona un refinamiento adicional, particularmente para las tareas de MCQ.
• Impacto de LoRA: Adaptar únicamente el codificador de texto produce las mayores ganancias en negación, mientras que la adaptación conjunta visual-texto ("V+T") ofrece el mejor equilibrio entre el rendimiento de la negación y la estabilidad de la recuperación de texto largo.

Significancia
El artículo afirma que HANCLIP demuestra que un objetivo geométrico cuidadosamente diseñado puede extender sustancialmente las capacidades de razonamiento de los VLMs existentes sin requerir un reentrenamiento a gran escala ni causar un olvido catastrófico. Al inyectar estructura lógica directamente en la geometría del espacio de incrustación, el marco ofrece una forma fundamentada de mejorar la sensibilidad a la negación preservando la estructura global de las representaciones preentrenadas. Los resultados sugieren que las geometrías no euclidianas y las restricciones angulares son herramientas efectivas para abordar la "fragilidad" de los VLMs al manejar operaciones lógicas complejas como la negación.