Relational Visual Similarity

1. El Problema: La Limitación de la Similitud de Atributos

El artículo identifica una brecha crítica en la visión por computadora actual: los modelos de similitud de imágenes de última generación (como LPIPS, CLIP, DINO) se centran casi exclusivamente en la similitud de atributos perceptivos (color, forma, textura, clase semántica).

• La carencia: Estos modelos fallan al capturar la similitud relacional, un concepto fundamental en la cognición humana. La similitud relacional no depende de cómo se ve un objeto, sino de la lógica subyacente, las funciones o las transformaciones entre sus elementos.
• Ejemplo ilustrativo: Un modelo tradicional diría que una foto de un "fuego de leña" no es similar a una "plátano madurando". Sin embargo, un humano percibe una similitud relacional profunda: ambos representan una "transformación de un sujeto a través del tiempo".
• Consecuencia: Los sistemas actuales no pueden razonar por analogía ni entender estructuras abstractas compartidas entre imágenes visualmente dispares.

2. Metodología

Los autores proponen un enfoque inspirado en la ciencia cognitiva que utiliza el lenguaje para abstraer la lógica visual. El proceso se divide en tres etapas principales:

A. Creación del Conjunto de Datos (Dataset Relacional)

Dado que no existían datos etiquetados para similitud relacional, los autores construyeron uno nuevo:

1. Filtrado de Imágenes: Se filtró el conjunto de datos masivo LAION-2B para identificar "imágenes interesantes" que contengan patrones relacionales transferibles (en lugar de solo objetos simples). Se utilizó un modelo fine-tuned (Qwen2.5-VL-7B-Instruct) entrenado con ejemplos humanos, logrando extraer 114,000 imágenes de alta calidad relacional.
2. Generación de "Captiones Anónimas": Este es el núcleo de la metodología. En lugar de describir objetos específicos (ej. "un perro"), el modelo genera captiones anónimas que describen la lógica abstracta usando marcadores de posición (ej. "Transformación de {sujeto} a través del tiempo").
   • Innovación clave: Para generar estas captiones con precisión, el modelo no se entrena con una sola imagen, sino con grupos de imágenes que comparten la misma lógica subyacente. Esto ayuda al modelo a distinguir qué detalles son irrelevantes y cuál es el patrón relacional común.
3. Estructura del Dataset: El resultado final es un conjunto de 114k pares {Imagen, Captión Anónima}.

B. Entrenamiento del Modelo (relsim)

• Arquitectura: Se utiliza un Modelo de Lenguaje Visual (VLM), específicamente Qwen2.5-VL-7B-Instruct, como extractor de características visuales ($f_V$). Se elige un VLM en lugar de un codificador visual puro porque el razonamiento relacional requiere conocimiento del mundo y capacidades de abstracción lingüística.
• Objetivo de Aprendizaje: Se entrena el modelo para alinear la representación visual de una imagen con su captión anónima correspondiente.
  • Se utiliza una pérdida de contraste (InfoNCE) donde el objetivo es maximizar la similitud entre la imagen y su propia captión anónima, y minimizarla con otras.
  • La premisa es: si dos imágenes tienen la misma lógica relacional, sus captiones anónimas serán similares, y por tanto, sus representaciones visuales aprendidas también deben serlo.

C. Evaluación

• Métricas: Se evalúa mediante recuperación de imágenes (Image Retrieval). Dada una imagen de consulta, el sistema debe recuperar imágenes con lógica similar, no apariencia similar.
• Jueces: Se utiliza GPT-4o como juez automático y se realiza un estudio con usuarios humanos para validar la preferencia sobre los resultados.

3. Contribuciones Clave

1. Nuevo Concepto: Definición formal de la Similitud Visual Relacional como una dimensión complementaria a la similitud de atributos.
2. Dataset Innovador: Creación de un dataset de 114k imágenes con captiones anónimas diseñadas para capturar la lógica y abstracción subyacente, en lugar del contenido superficial.
3. Modelo relsim: Desarrollo del primer modelo métrico capaz de medir y recuperar similitudes basadas en la estructura relacional, superando a los modelos basados puramente en atributos.
4. Análisis de Brecha: Demostración empírica de que los modelos actuales (CLIP, DINO, LPIPS) fallan estrepitosamente en tareas de razonamiento relacional, incluso cuando se ajustan (fine-tuning).
5. Aplicaciones Prácticas: Validación del modelo en recuperación de imágenes por lógica y generación de imágenes analógicas.

4. Resultados

• Rendimiento en Recuperación: En la tarea de recuperación de imágenes basada en lógica, el modelo relsim obtuvo una puntuación de 6.77 (escala 0-10 evaluada por GPT-4o), superando significativamente a los baselines:
  • LPIPS: 4.56
  • DINO: 5.14
  • CLIP-I: 5.91
  • Modelos basados en texto (Qwen-T): 4.86
• Estudio con Usuarios: En pruebas A/B, los usuarios humanos prefirieron consistentemente los resultados de relsim sobre los de los modelos baselines en un rango del 42.5% al 60.7%, confirmando que el modelo se alinea mejor con la percepción humana de similitud relacional.
• Ablación: Se demostró que los codificadores visuales puros (como CLIP o DINO) ajustados con las mismas captiones anónimas mejoran, pero no alcanzan el rendimiento de un VLM. Esto prueba que el conocimiento lingüístico y del mundo es esencial para entender la similitud relacional.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la visión por computadora:

• Más allá de la percepción: Mueve el foco de "qué se ve" a "cómo funciona" o "qué representa lógicamente" una imagen.
• Puente hacia el razonamiento: Habilita a las máquinas para realizar tareas de analogía visual y transferencia de conceptos, habilidades que son distintivas de la inteligencia humana.
• Aplicaciones Futuras: Abre nuevas posibilidades en:
  • Búsqueda de imágenes: Encontrar inspiración basada en conceptos abstractos (ej. "busca imágenes que muestren una transformación cíclica") en lugar de por etiquetas.
  • Generación de imágenes: Crear nuevas imágenes que mantengan la misma "idea" o lógica que una imagen de entrada, pero con objetos y estilos completamente diferentes (generación analógica).

En conclusión, relsim demuestra que para lograr una comprensión visual verdaderamente humana, los sistemas de IA deben aprender a abstraer la lógica relacional subyacente, utilizando el lenguaje como puente para conectar imágenes que, visualmente, no tienen nada en común.