VistaHop: Benchmarking Multi-hop Visual Reasoning for Visual DeepSearch

Resumen Técnico: VistaHop: Evaluación de Referencia para el Razonamiento Visual de Múltiples Saltos en la Búsqueda Visual Profunda (Visual DeepSearch)

Planteamiento del Problema

Los avances recientes en los Modelos de Razonamiento Multimodales Grandes (MLRMs) han permitido que los agentes pasen de una comprensión de imágenes pasiva hacia una percepción visual de grano fino y un razonamiento asistido por herramientas. Esto ha dado lugar a la Búsqueda Visual Profunda (Visual DeepSearch), un escenario donde los agentes deben inspeccionar activamente regiones de la imagen relevantes para la tarea, recuperar o verificar evidencia externa y conectar pistas visuales a través de múltiples pasos de razonamiento.

Sin embargo, los benchmarks existentes son insuficientes para evaluar esta capacidad. Los conjuntos de datos actuales se centran principalmente en la comprensión visual de un solo paso o en respuestas de preguntas-imágenes aisladas. Sufren de cuatro limitaciones críticas:

1. Falta de Búsqueda Centrada en la Visión: Las tareas suelen depender de pares imagen-pregunta estáticos donde el razonamiento procede mediante el lenguaje sin volver a visitar la evidencia visual.
2. Profundidad de Razonamiento Superficial: Las tareas rara vez requieren cadenas de evidencia de múltiples pasos, lo que permite a los modelos resolver problemas mediante reconocimiento superficial o razonamiento por atajos.
3. Sin Inspección Repetida: No se evalúa la capacidad de los modelos para revisar iterativamente las regiones de la imagen o fundamentar el razonamiento en anclajes visuales específicos.
4. Fuga de Respuestas: Muchos conjuntos de datos permiten que las respuestas se infieran de pistas textuales, conocimiento previo o asociaciones memorizadas sin una búsqueda visual genuina.

En consecuencia, existe una falta de evaluación sistemática para determinar si los MLRMs actuales pueden soportar una búsqueda visual profunda, iterativa y fundamentada en la evidencia.

Metodología

1. Construcción del Benchmark VISTAHOP

Los autores presentan VISTAHOP, un benchmark integral diseñado para evaluar el razonamiento visual de múltiples saltos y la inspección repetida de imágenes. El proceso de construcción involucra siete pasos automatizados y verificados por humanos:

• Filtrado de Fuentes de Imágenes y Extracción de Entidades: Se filtran imágenes de alta resolución (4K+) de fuentes como Wikimedia Commons y Unsplash para asegurar la riqueza visual. Un LLM (GEMINI-3.1-PRO) extrae entidades a nivel de región (ej. logotipos, monumentos, texto) con cajas delimitadoras y atributos.
• Enriquecimiento de Conocimiento de Entidades y Selección de Semillas: Las entidades extraídas se enriquecen con conocimiento de Wikipedia/Wikidata. Se seleccionan entidades semilla válidas basadas en la disponibilidad de propiedades estructuradas para soportar la recuperación de vecinos.
• Construcción de la Cadena de Evidencia: Se construyen cadenas de múltiples saltos comenzando desde una entidad semilla visual ($v_0$) hasta una respuesta objetivo ($v_k$) a través de saltos relacionales ($k \ge 5$). Las relaciones se normalizan en categorías (ej. parte-todo, temporal, espacial). Un verificador de relaciones basado en LLM valida cada salto con un umbral de confianza ($\tau_{nli} = 0.9$) y filtra entidades excesivamente familiares para garantizar la dificultad.
• Construcción de QA Textual: Se generan preguntas en lenguaje natural para los nodos terminales de estas cadenas. Las preguntas se escriben de forma indirecta para evitar la coincidencia directa de cadenas de texto.
• Generación de VQA y Verificación de Anti-Fuga: Un bucle de tres agentes (Solver, Judge, Rewrite) asegura que las preguntas no puedan resolverse solo con texto. El Solver intenta responder usando solo texto; si tiene éxito, el Judge señala la fuga, y el agente Rewrite modifica la pregunta para oscurecer los atajos textuales mientras preserva la dependencia visual.
• Fusión de Multi-Cadenas: Para evaluar el razonamiento de multi-cadena, se fusionan múltiples instancias de VQA relacionadas. Los valores intermedios (ej. años, conteos) se extraen y combinan mediante operaciones aritméticas o condicionales (suma, resta, máximo/mínimo) para formar preguntas fusionadas complejas que requieren múltiples anclajes visuales.
• Revisión Humana: Los anotadores verifican las rutas de razonamiento, la unicidad de las respuestas y la legibilidad.

Estadísticas del Conjunto de Datos: VISTAHOP contiene 300 imágenes de alta resolución en 25 escenarios de búsqueda visual (Vida, Ciencia, Sociedad, Tecnología, Cultura). Incluye 350 tareas de QA de múltiples saltos: 190 tareas de cadena única y 160 tareas fusionadas de multi-cadena, con una longitud de cadena promedio de 7.43 saltos.

2. Marco de Evaluación VISTAARENA

Para probar los modelos en VISTAHOP, los autores proponen VISTAARENA, un entorno de evaluación unificado que soporta:

• Agente de Búsqueda: Un agente iterativo que observa la pregunta, la imagen y el historial. Puede invocar herramientas: Búsqueda de Texto (recuperación web), Búsqueda de Imagen (búsqueda inversa de imagen) e Inspección de Recorte de Imagen (inspección de región local).
• Agente de Validación: Un LLM-como-juez que evalúa la respuesta final para la equivalencia semántica con la verdad de referencia (Pass@1), verifica la fundamentación de la evidencia y monitorea la utilización de herramientas.

Contribuciones Clave

1. Benchmark VISTAHOP: El primer benchmark diseñado específicamente para la Búsqueda Visual Profunda, evaluando el razonamiento visual de múltiples saltos, la inspección repetida de imágenes y la generación de respuestas fundamentadas en la evidencia a través de tareas de VQA de multi-cadena.
2. Pipeline de Construcción Automatizado: Un proceso escalable y automatizado para generar tareas de razonamiento de cadena larga visualmente fundamentadas que controla la calidad de los datos y minimiza los atajos de solo texto mediante una rigurosa verificación de anti-fuga.
3. Framework VISTAARENA: Un entorno de evaluación unificado para analizar el rendimiento de los MLRM en configuraciones de respuesta directa, razonamiento aumentado por búsqueda y razonamiento de multi-anclaje.

Resultados Experimentales

Los autores evaluaron siete MLRMs representativos, incluyendo modelos de propósito general (Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, variantes de Qwen3-VL) y modelos de búsqueda agéntica entrenados (SenseNova-MARS-32B, Tongyi-DeepResearch-30B-A3B).

• Rendimiento General: Incluso los modelos de vanguardia tienen dificultades significativas. El modelo con mejor desempeño, SenseNova-MARS-32B, logró un Pass@1 de solo 24.31% bajo la configuración de Búsqueda+Recorte (Search+Crop).
• Impacto de las Herramientas: El uso de herramientas es crítico. El rendimiento mejoró de 7.72% (Sin Herramientas) a 20.11% (Búsqueda+Recorte) en promedio. El mejor modelo utilizó herramientas en el 89.4% de las rondas permitidas.
• Escalado de Dificultad: El rendimiento cae drásticamente con la dificultad. Bajo la configuración de Búsqueda+Recorte, el Pass@1 disminuyó de 24.40% (Nivel 2, 5-10 saltos) a 15.03% (Nivel 3, >10 saltos).
• Modos de Fallo: El análisis de los trazos incorrectos reveló que los principales tipos de fallo fueron anclajes visuales erróneos o ausentes (27.4%), deriva de recuperación (24.1%) y colapso de la planificación de cadena larga (21.5%).

Significado y Reivindicaciones

El artículo sostiene que los MLRMs actuales están lejos de resolver los desafíos de la Búsqueda Visual Profunda. Los bajos puntajes de rendimiento resaltan que:

• Los Benchmarks Especializados son Necesarios: Los benchmarks existentes no logran capturar la complejidad de la búsqueda de evidencia visual iterativa y la fundamentación a nivel de región.
• Existen Brechas de Entrenamiento: Los modelos actuales carecen de capacidades robustas en razonamiento visual de saltos largos, revisión de evidencia visual y fusión de evidencia de multi-anclaje.
• Dirección Futura: Este trabajo subraya la necesidad de métodos de entrenamiento y benchmarks especializados para avanzar en agentes capaces de una búsqueda visual profunda y fundamentada en la evidencia.

Los autores enfatizan que sus hallazgos son modestos respecto a las capacidades de los modelos actuales, señalando que incluso los modelos agénticos más avanzados fallan en ejecutar de manera confiable el razonamiento de múltiples pasos centrado en la visión requerido por VISTAHOP. El conjunto de datos y el código se ponen a disposición pública para facilitar la investigación futura en este dominio.