Resumen Técnico: Visual-Seeker

Declaración del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han mostrado competencia en diversas tareas visuales, frecuentemente presentan dificultades con el anclaje fáctico (factual grounding) en escenarios complejos de mundo abierto. Los agentes de búsqueda profunda multimodal actuales intentan mitigar esto utilizando herramientas externas, pero el paradigma de búsqueda visual nativa sigue estando poco explorado. Los métodos existentes exhiben dos limitaciones primarias:

1. Percepción Visual Pasiva: A menudo dependen de imágenes simples con semántica explícita o tratan la visión meramente como un adjunto de entrada estática al texto de la consulta. Esto impide la capacidad del agente para manejar imágenes del mundo real complejas que contienen múltiples entidades interconectadas y detalles finos.
2. Falta de Evidencia Visual Activa: Las trayectorias de búsqueda existentes son predominantemente de solo texto o dependen de la inserción simple de imágenes. Carecen de un razonamiento visual activo, donde el agente cosecha e integra dinámicamente evidencia visual de la web para sustentar el razonamiento multimodal de múltiples saltos (multi-hop).

Metodología: Visual-Seeker

Para abordar estas brechas, los autores proponen Visual-Seeker, un agente de búsqueda profunda multimodal de naturaleza visual nativa diseñado para realizar un razonamiento visual activo. El sistema opera tratando la visión no como una entrada estática, sino como un elemento dinámico donde el agente atiende activamente a detalles finos y cosecha evidencia visual a lo largo del proceso de búsqueda.

1. Pipeline de Datos de Razonamiento Visual Activo

Un componente central del trabajo es la síntesis de 5,000 trayectorias de búsqueda multimodales de alta calidad mediante un pipeline de tres etapas:

• Selección de Entidades Semilla de Grano Fino: Aprovechando el conjunto de datos LiveVQA, el pipeline extrae información estructurada de entidades (nombre, descripción, tipo) de imágenes del mundo real complejas y con múltiples entidades. Emplea una estrategia de filtrado de tres pasos (Filtrado de Menciones Genéricas, Filtrado de Entidad-Imagen Compleja y Desambiguación de Entidades) para asegurar que las entidades semilla sean específicas, estén ancladas visualmente y sean adecuadas para un razonamiento complejo.
• Síntesis de Trayectorias de Múltiples Saltos (Multi-hop): Utilizando un grafo de conocimiento de Wikipedia fuera de línea, el sistema genera trayectorias de búsqueda diversas y no lineales. Emplea un camino aleatorio de doble estrategia:
  • Backtracking (Retroceso): Simula la revisión de suposiciones previas para crear ramas de razonamiento en forma de árbol.
  • Restricción de Ciclo: Genera ramas disjuntas que convergen, asegurando topologías de ciclo estrictas para simular comportamientos de navegación complejos.
  • Estas trayectorias se convierten en preguntas basadas en texto que se ajustan a las restricciones del subgrafo.
• Inyección de Evidencia Visual (VEI): Para forzar al modelo a participar en la búsqueda visual, el pipeline localiza entidades y atributos de respuesta, genera palabras clave de búsqueda y recupera imágenes candidatas. Un MLLM extrae detalles visuales finos (por ejemplo, patrones de color, disposiciones espaciales) de estas imágenes. Estos detalles se fusionan en el VQA original como un par de QA de "dos saltos", obligando al agente a realizar una recuperación de texto a imagen y un razonamiento a nivel de píxel.

2. Arquitectura del Agente y Entrenamiento

• Flujo de Trabajo: Visual-Seeker opera en un bucle de estilo ReAct, interactuando con cinco herramientas externas: text_search (búsqueda de texto), reverse_image_search (búsqueda inversa de imagen), search_image (para evidencia visual activa), visit (para el resumen de la página web) e image_crop (para razonamiento de grano fino).
• Estrategia de Entrenamiento: El modelo se entrena utilizando Ajuste Fino Supervisado (SFT) sobre las 5,000 trayectorias sintetizadas, evitando el costoso aprendizaje por refuerzo. Un modelo profesor (Claude-4.6-Opus) genera las trayectorias de búsqueda multimodales. Los datos de entrenamiento incluyen:
  • 3,000 instancias de VQA sin VEI.
  • 800 instancias de VQA con VEI.
  • 500 trayectorias de QA de solo texto.
  • 700 trayectorias muestreadas del conjunto de entrenamiento de FVQA.
• Modelo Base: El sistema está construido sobre Qwen3-VL-8B-Instruct.

Contribuciones Clave

1. Agente Visual-Seeker: Un nuevo agente de búsqueda profunda multimodal que unifica las capacidades visuales nativas con la búsqueda. Es capaz de la percepción visual de grano fino en escenas del mundo real complejas y recolecta proactivamente evidencia visual para la búsqueda transmodal.
2. Pipeline de Razonamiento Visual Activo: Un marco de síntesis de datos que permite a los modelos desarrollar una percepción de grano fino y una recolección de evidencia activa. Genera 5,000 trayectorias de alta calidad diseñadas específicamente para entrenar agentes en el razonamiento visual de múltiples saltos.
3. Rendimiento de Vanguardia (State-of-the-Art): El agente logra un rendimiento superior en cinco desafíos de benchmarks de búsqueda multimodal, superando a los agentes de búsqueda profunda multimodales de código abierto y propietarios actuales.

Resultados Experimentales

El modelo fue evaluado en cinco benchmarks: MMSearch, MMSearch-Plus, BrowseComp-VL, MM-BrowseComp y VisBrowse-Bench.

• Rendimiento General: Visual-Seeker logró una precisión promedio del 39.6%, superando a todos los agentes de búsqueda profunda multimodales actuales y compitiendo con varios modelos propietarios (por ejemplo, GPT-5, Gemini-2.5-Pro).
• Comparación con Baselines: Comparado con el modelo base Qwen3-VL-8B-Instruct operando en un flujo de trabajo agéntico, Visual-Seeker demostró casi el doble de rendimiento en todos los benchmarks (una mejora promedio de +16.6%).
• Benchmarks Específicos:
  • En MMSearch-Plus (consultas de múltiples entidades complejas), el modelo mostró una mejora significativa en la comprensión visual.
  • En MM-BrowseComp y VisBrowse-Bench (que requieren la integración de evidencia visual), Visual-Seeker superó a modelos propietarios como GPT-5 y Gemini-2.5-Pro.
• Estudios de Ablación:
  • Datos: La inclusión de trayectorias con Inyección de Evidencia Visual (VEI) fue crítica, produciendo ganancias significativas en los benchmarks que requieren evidencia visual (por ejemplo, +17.2% en MMSearch-Plus).
  • Herramientas: Eliminar cualquiera de las herramientas image_crop o search_image resultó en caídas sustanciales de rendimiento, particularmente en el benchmark VisBrowse, confirmando la necesidad del anclaje visual activo y la recolección de evidencia.

Significado y Reivindicaciones

El artículo afirma que Visual-Seeker cierra con éxito la brecha entre la percepción visual pasiva y la búsqueda transmodal activa en entornos de mundo abierto. Al cambiar el paradigma de tratar la visión como una entrada estática a un proceso activo impulsado por el razonamiento, el agente demuestra capacidades robustas en:

• Identificar entidades objetivo dentro de imágenes del mundo real complejas y ricas en entidades.
• Realizar un razonamiento de múltiples saltos de forma dinámica.
• Recolectar e integrar proactivamente evidencia visual para responder consultas que los agentes de solo texto o multimodales pasivos no pueden resolver.

Este trabajo valida que el razonamiento visual activo es esencial para la próxima generación de agentes de búsqueda multimodal, permitiéndoles navegar entornos web del mundo real con un nivel de precisión y anclaje previamente inalcanzable.