Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

El artículo presenta Vision-DeepResearch, un nuevo paradigma para modelos de lenguaje grandes multimodales que internaliza capacidades de investigación profunda mediante búsqueda visual y textual multi-turno, multi-entidad y multi-escala, superando significativamente a los enfoques existentes y a flujos de trabajo basados en modelos propietarios de vanguardia en escenarios reales con alto nivel de ruido.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, un "genio" que ha leído millones de libros y sabe mucho de historia, ciencia y cultura. Sin embargo, este genio tiene un problema: no tiene ojos para ver el mundo real en tiempo real y, si le preguntas algo sobre una foto específica, a veces se inventa la respuesta porque no sabe buscar bien.

Este paper presenta a Vision-DeepResearch, que es como darle a ese genio unas gafas de superpoderes y un detective privado que nunca se cansa.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Detective Torpe"

Antes de este nuevo sistema, las inteligencias artificiales que veían fotos (como las que tienes en tu móvil) eran como detectives muy torpes:

• El error de la foto completa: Si le mostrabas una foto de un estadio lleno de gente y preguntabas "¿Quién es ese jugador en el centro?", el detective miraba la foto entera y se abrumaba con el ruido. No sabía a quién mirar. Era como intentar encontrar una aguja en un pajar mirando todo el pajar de una vez.
• Poca paciencia: Si la primera búsqueda no daba resultado, el detective se rendía rápidamente. No tenía la paciencia de probar 20 veces, cambiar la pregunta o recortar la foto para ver mejor.

2. La Solución: El "Investigador Obsesivo" (Vision-DeepResearch)

Los autores crearon un nuevo sistema que enseña a la IA a comportarse como un detective de novela negra que no descansa hasta resolver el caso.

• La técnica del "Zoom Infinito" (Búsqueda Multi-escala):
  Imagina que tienes una foto de una calle llena de tiendas. En lugar de mirar la calle entera, el nuevo sistema hace esto:

  1. Mira la foto entera.
  2. Si no ve nada claro, recorta una tienda pequeña.
  3. Si sigue sin ver, recorta el letrero de la tienda.
  4. Si aún no encuentra, recorta la letra de un cartel.
     Hace esto una y otra vez, probando diferentes tamaños y partes de la imagen, hasta encontrar la pista exacta. Es como si alguien te dijera: "No busques en todo el mapa, busca en este barrio, luego en esta calle, luego en esta puerta".

• La Búsqueda de "Pistas Ocultas" (Búsqueda de Texto):
  Una vez que el detective encuentra una pista visual (por ejemplo, un nombre en un cartel), no se detiene. Va a Internet y busca ese nombre, luego busca quién es el dueño de esa tienda, luego busca dónde nació el dueño, etc. Puede hacer docenas de preguntas encadenadas (como un juego de "conecta los puntos") para reunir toda la información necesaria.

3. ¿Cómo aprende a ser tan bueno? (El Entrenamiento)

Para que la IA aprenda a hacer esto, los autores no le dieron solo libros de texto. Crearon un gimnasio de entrenamiento muy especial:

• El Simulador de "Fallas y Éxitos": Crearon millones de ejercicios donde la IA intentaba resolver preguntas difíciles sobre fotos. A veces fallaba, a veces tenía que recortar la foto 10 veces, a veces tenía que buscar en Google 50 veces.
• El "Entrenador Personal" (Reinforcement Learning): Imagina que la IA es un perro aprendiendo trucos. Cada vez que encuentra la respuesta correcta después de mucho esfuerzo, recibe una "galleta" (recompensa). Si se rinde rápido o se equivoca, no recibe nada. Con el tiempo, la IA aprende que la paciencia y la búsqueda exhaustiva son la clave para ganar la galleta.

4. El Resultado: Un Campeón

Gracias a este entrenamiento, el nuevo sistema (Vision-DeepResearch) es capaz de:

• Resolver preguntas que antes eran imposibles para las IAs.
• Hacer cientos de búsquedas en segundos sin cansarse.
• Superar a sistemas comerciales muy caros y potentes, pero usando modelos más pequeños y eficientes.

En resumen

Piensa en Vision-DeepResearch como pasar de tener un asistente que lee un mapa a tener un explorador con un dron y un equipo de investigación.

• El asistente antiguo miraba la foto de lejos y adivinaba.
• El nuevo sistema aterriza el dron sobre la foto, recorta la parte importante, busca en la biblioteca, llama a un experto, verifica los datos y te da la respuesta exacta, aunque la pregunta sea muy compleja.

Es como enseñar a una máquina a tener la curiosidad infinita y la paciencia metódica de un humano experto, pero a la velocidad de un ordenador.

Resumen técnico

Resumen Técnico: Vision-DeepResearch

1. El Problema: Limitaciones de los MLLM Actuales

Los Modelos de Lenguaje Multimodales (MLLM) han avanzado significativamente, pero enfrentan dos limitaciones críticas al realizar tareas de investigación profunda (DeepResearch) en entornos reales y ruidosos:

• El Problema de la Tasa de Éxito (Hit-Rate Problem): Los enfoques existentes suelen tratar la búsqueda de imágenes como una recuperación de "imagen completa" o de "entidad única". En la realidad, las imágenes contienen ruido visual, múltiples entidades y variaciones de escala. Una sola consulta de imagen completa a menudo falla en recuperar la evidencia necesaria debido a la falta de alineación con la información objetivo o a la variabilidad de los motores de búsqueda.
• Profundidad de Razonamiento y Amplitud de Búsqueda Limitadas: Los métodos actuales generan trayectorias de razonamiento cortas (pocos pasos) y realizan pocas interacciones con el motor de búsqueda. Esto impide resolver preguntas complejas que requieren agregar evidencia de múltiples fuentes visuales y textuales, o que necesitan un proceso de "prueba y error" iterativo para refinar las consultas.

2. Metodología: El Paradigma Vision-DeepResearch

Los autores proponen un nuevo paradigma que integra capacidades de búsqueda visual y textual multi-turno, multi-entidad y multi-escala dentro del MLLM. La solución se basa en tres pilares:

A. Pipeline de Generación de Datos Automatizado (Figura 2)
Para entrenar al modelo, se sintetiza un conjunto de datos de alta calidad mediante un pipeline automatizado:

• Síntesis de VQA Factuales: Se curan imágenes complejas del mundo real y se filtran para asegurar que no puedan ser respondidas sin búsqueda externa.
• Obfuscación Difusa (Fuzzy Obfuscation): Se aplica una estrategia de entrelazado para oscurecer tanto la respuesta como la entidad.
  • Obfuscación de Respuesta: Encadena relaciones (ej. "¿Quién es el profesor de la hija del dueño del gato?").
  • Obfuscación de Entidad: Realiza "caminatas aleatorias" (random walks) en la web para reemplazar entidades originales por otras relacionadas a través de enlaces multi-salto.
• Generación de Trayectorias Multimodales:
  1. Búsqueda Visual: El MLLM genera recortes de imagen (bounding boxes) a múltiples escalas y realiza búsquedas visuales iterativas hasta que un modelo juez confirma que se ha acumulado suficiente evidencia.
  2. Puente de Texto: La imagen se reemplaza por una descripción textual detallada, manteniendo el contexto de la búsqueda visual.
  3. Búsqueda Textual Profunda: Un LLM base especializado en investigación textual continúa la trayectoria, realizando búsquedas web, visitas a páginas y ejecución de código Python para llegar a la respuesta final.

B. Estrategias de Entrenamiento

• Ajuste Fino Supervisado (SFT): Se entrena el modelo con 30k trayectorias de alta calidad (combinando VQA verificadas, QA de texto y VQA difusas) para aprender patrones de razonamiento de largo horizonte y el uso de herramientas.
• Aprendizaje por Refuerzo (RL): Se utiliza GRPO (Group Relative Policy Optimization) con un truco Leave-One-Out.
  • Arquitectura Asíncrona: Se implementa un sistema de rollout asíncrono de alto rendimiento para manejar la latencia de las llamadas a herramientas y evitar cuellos de botella.
  • Trucos de Ingeniería: Se introducen mecanismos para detener trayectorias que caen en bucles de repetición o errores de formato (para evitar gradientes negativos) y se utiliza precisión BF16 para estabilidad numérica en contextos largos (hasta 64k tokens).

3. Contribuciones Clave

1. Nuevo Paradigma de Búsqueda: Introduce la búsqueda visual y textual multi-escala y multi-entidad, permitiendo al modelo recortar imágenes y refinar consultas iterativamente, imitando el comportamiento humano de exploración.
2. Trayectorias de Largo Horizonte: El modelo soporta decenas de pasos de razonamiento y cientos de interacciones con motores de búsqueda, superando las limitaciones de las trayectorias cortas anteriores.
3. Pipeline de Datos Robusto: Una metodología novedosa para sintetizar datos de VQA "difusos" y multi-salto que obligan al modelo a realizar una investigación profunda en lugar de adivinar.
4. Rendimiento Eficiente: Demuestra que modelos de tamaño medio (8B y 30B) pueden superar a flujos de trabajo de agentes basados en modelos propietarios masivos (como GPT-5 o Gemini-2.5 Pro) cuando se les entrena específicamente para la investigación profunda.

4. Resultados Experimentales

El modelo Vision-DeepResearch fue evaluado en seis benchmarks de hechos visuales (VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL):

• Rendimiento General: Logró el estado del arte (SoTA) entre modelos de código abierto.
  • La versión 8B superó a Qwen3-VL-8B-Instruct en un +10.4% de promedio, con mejoras masivas en MMSearch (+17.6%) y LiveVQA (+13.7%).
  • La versión 30B-A3B alcanzó un promedio de 56.9%, superando a Qwen3-VL-30B en +16.0%.
• Comparativa con Agentes Propietarios: Vision-DeepResearch-30B superó o igualó el rendimiento de flujos de trabajo de agentes construidos sobre modelos cerrados de vanguardia como GPT-5, Gemini-2.5 Pro y Claude-4-Sonnet.
• Estudios de Ablación:
  • La búsqueda visual de imagen completa (WIS) por sí sola es insuficiente.
  • La combinación de recorte multi-escala (CIS) + búsqueda textual (TS) es esencial para lograr el mejor rendimiento, demostrando que la anclaje visual preciso y la evidencia textual complementaria son necesarios.
  • El entrenamiento con RL mejoró el rendimiento en un 3.1% adicional sobre el SFT, optimizando la toma de decisiones de largo horizonte.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cambia la definición de búsqueda multimodal: Pasa de una recuperación estática y de un solo paso a un proceso dinámico, iterativo y adaptativo.
• Democratiza la investigación profunda: Muestra que no es necesario un modelo masivo de cientos de miles de millones de parámetros para realizar investigación profunda; la calidad de los datos de entrenamiento y la arquitectura de razonamiento son más determinantes.
• Resuelve el problema del ruido: Proporciona una solución robusta para la búsqueda en entornos web reales, donde la información es desordenada y las consultas iniciales suelen fallar.

En conclusión, Vision-DeepResearch establece un nuevo estándar para los MLLM capaces de realizar investigación autónoma compleja, combinando la capacidad de "ver" con la capacidad de "investigar" de manera profunda y sistemática.