Same or Not? Enhancing Visual Perception in Vision-Language Models

Resumen Técnico: ¿Es el mismo o no? Mejorando la percepción visual en los Modelos de Lenguaje-Visión

Declaración del Problema

Los actuales Modelos de Lenguaje-Visión (VLM) destacan en el razonamiento visual amplio y la comprensión general de escenas, pero siguen siendo de grano grueso en sus capacidades perceptivas. Exhiben sesgos sistemáticos, pasan por alto detalles visuales sutiles y a menudo fallan al distinguir entre instancias visualmente similares de la misma categoría de objeto. Los corpus de entrenamiento existentes refuerzan esta limitación al priorizar el reconocimiento general (por ejemplo, "¿Es un gato o un perro?") y las relaciones espaciales sobre la discriminación de grano fino. En consecuencia, los modelos suelen hallucinar detalles o identificar incorrectamente objetos físicos distintos como idénticos si comparten semántica a nivel de categoría (por ejemplo, marca o color), fallando al atender a claves matizadas como la geometría, la textura o la configuración de las partes.

Metodología

1. El Conjunto de Datos TWIN

Para abordar la falta de supervisión de grano fino, los autores introducen TWIN (TWo-image INstance comparisons), un conjunto de datos a gran escala que contiene 561,000 consultas de pares de imágenes.

• Definición de la Tarea: Se presenta al modelo dos imágenes y este debe determinar si representan el mismo objeto físico de instancia (Sí/No), en lugar de solo la misma categoría.
• Composición de los Datos:
  • Instancias: 1,836 instancias de objetos únicos que abarcan 36 categorías de objetos domésticos (por ejemplo, electrónica, muebles, artículos de cocina).
  • Pares Positivos: Imágenes del mismo objeto físico tomadas bajo variaciones de perspectiva, iluminación y fondos.
  • Pares Negativos Difíciles (Hard Negatives): Objetos distintos que aparecen visualmente similares (por ejemplo, dos modelos diferentes de la misma marca). Estos fueron seleccionados utilizando embeddings de CLIP para encontrar candidatos y verificados por anotadores humanos para asegurar que fueran desafiantes.
  • Negativos Generados: Para escalar el conjunto de datos, los autores utilizaron DreamBooth para sintetizar variantes de instancias que mantienen la apariencia general pero alteran detalles finos (por ejemplo, eliminando un logotipo o cambiando un contorno), creando negativos difíciles adicionales.
• Escala: El conjunto de datos comprende 22,157 imágenes únicas y escala favorablemente con el número de anotaciones de objetos, lo que permite la generación de cientos de miles de consultas por pares.

2. Paradigma de Entrenamiento

Los autores realizan el post-entrenamiento de VLM de código abierto existentes (específicamente Qwen2.5-VL-3B e InternVL3.5-1B) en TWIN utilizando Aprendizaje por Refuerzo (RL) con el algoritmo GRPO.

• Señal de Recompensa: La recompensa es binaria, basada únicamente en la corrección de la respuesta final de "Sí/No" comparada con la verdad de campo (ground truth).
• Racional: Se elige RL sobre el Ajuste Fino Supervisado (SFT) para prevenir el olvido catastrófico y preservar las capacidades de generalización mientras se instila la habilidad específica de discriminación de grano fino. Se le pide al modelo que genere una explicación textual seguida de la respuesta, pero la recompensa se calcula solo sobre la clasificación final.

3. La Suite de Evaluación FGVQA

Para evaluar la eficacia de TWIN, los autores introducen FGVQA (Fine-Grained VQA), una suite de evaluación que comprende 12,000 consultas a través de seis dominios diversos:

• Dominios: Productos minoristas (ILIAS, TWIN-Eval), animales/plantas (INQUIRE, CUB), monumentos y arte (MET).
• Tipos de Consulta:
  • Par: Dos imágenes, preguntando si son la misma instancia/especie.
  • Multi: Una imagen de referencia y tres candidatas, preguntando cuántas coinciden con la referencia.
• Objetivo: Probar la generalización cross-domain de la percepción de grano fino, asegurando que los modelos no simplemente se sobreajusten a objetos domésticos.

Resultados Clave

Ganancias de Rendimiento en FGVQA

El ajuste fino en TWIN produce mejoras sustancialas en el reconocimiento de grano fino, incluso en dominios no vistos durante el entrenamiento:

• Qwen2.5-VL (3B): Logró una mejora del +19.3% en el conjunto de datos INQUIRE (animales/plantas) y un +14.4% en CUB (aves). En el in-domain TWIN-Eval, el rendimiento aumentó del 50.1% al 67.3%.
• InternVL3.5 (1B): A pesar de su menor tamaño, mostró ganancias consistentes, tales como +3.8% en CUB y +3.0% en Monumentos.
• Comparación con Modelos Propietarios: Aunque los modelos propietarios (GPT-4o, Gemini 2.5 Flash) siguen liderando, el entrenamiento en TWIN reduce significativamente la brecha. Por ejemplo, en INQUIRE, la brecha entre Qwen2.5-VL + TWIN y Gemini 2.5 Flash se redujo de 29.5% a 10.2%.

Estudios de Ablación

• Negativos Difíciles: Eliminar los negativos difíciles (reemplazándolos con negativos aleatorios) resultó en una caída promedio de la precisión del 4.5% en todo FGVQA, confirmando que los negativos desafiantes y visualmente similares son críticos para el aprendizaje.
• Escalabilidad: El rendimiento mejoró de forma monótona a medida que el tamaño del conjunto de entrenamiento aumentaba de 5K a 561K pares, indicando que la escala es un factor clave en la precisión perceptual.
• RL vs. SFT: El Aprendizaje por Refuerzo superó al Ajuste Fino Supervisado en conjuntos de datos fuera de la distribución (por ejemplo, +11.1% en CUB), sugiriendo que el RL preserva mejor la generalización mientras adquiere nuevas habilidades.
• Capacidades Generales: El post-entrenamiento en TWIN no degradó el rendimiento en benchmarks de VQA general (por ejemplo, MMLU, GSM8K, TextVQA) ni en tareas de solo texto, confirmando que el modelo retiene sus capacidades de razonamiento amplio.

Análisis de Representación

El sondeo del codificador de visión de los modelos post-entrenados reveló mejoras en los embeddings para tareas de clasificación de grano fino (PETS, SUN397, CUB, CIFAR100). Esto sugiere que el entrenamiento en TWIN obliga al codificador visual subyacente a codificar características más discriminativas a nivel de instancia.

Significado y Reivindicaciones

El artículo afirma que TWIN sirve como una "adición directa" (drop-in addition) a los corpus de entrenamiento de los VLM de código abierto que avanza efectivamente la precisión perceptual sin comprometer las capacidades generales. Los autores argumentan que la limitación actual de los VLM en la percepción de grano fino es principalmente un problema de datos, no de arquitectura. Al cambiar el objetivo de entrenamiento del reconocimiento a nivel de categoría al de discriminación a nivel de instancia, los modelos aprenden a atender a claves visuales sutiles (geometría, textura, configuración de partes) en lugar de depender de sesgos semánticos de grano grueso.

El trabajo establece que:

1. La escala importa: Los conjuntos de datos centrados en instancias a gran escala son necesarios para una comprensión robusta de grano fino.
2. Los negativos difíciles son esenciales: Los negativos aleatorios son insuficientes; los modelos requieren exposición a instancias visualmente similares pero distintas para aprender una verdadera discriminación.
3. La generalización es posible: El entrenamiento en objetos domésticos se transfiere eficazmente al arte, la biología y la arquitectura, lo que sugiere que la percepción de grano fino es una habilidad generalizable.

Los autores posicionan a TWIN y FGVQA como recursos fundamentales para la comunidad para medir y dirigir el progreso hacia la percepción visual de nivel humano en los VLM.