DeepEyesV2: Toward Agentic Multimodal Model

El artículo presenta DeepEyesV2, un modelo multimodal agente que, mediante un pipeline de entrenamiento en dos etapas (inicio en frío y aprendizaje por refuerzo) y un nuevo benchmark llamado RealX-Bench, demuestra una capacidad superior para integrar la percepción, la búsqueda y el razonamiento mediante la invocación adaptativa y selectiva de herramientas externas.

Lo esencial

¡Claro que sí! Imagina que los modelos de inteligencia artificial actuales son como estudiantes muy inteligentes pero un poco tímidos. Pueden leer un libro o mirar una foto y darte una respuesta, pero si necesitan hacer un cálculo matemático complejo, recortar una parte de la foto para ver mejor, o buscar información actual en internet, se quedan paralizados. Esperan a que tú les digas qué hacer.

El paper que nos presenta DeepEyesV2 es como la historia de cómo convertir a ese estudiante tímido en un detective privado proactivo y experto.

Aquí tienes la explicación sencilla, paso a paso:

1. El Problema: El Estudiante que no usa sus herramientas

Imagina que tienes un estudiante (el modelo de IA) que tiene que resolver un acertijo visual.

• El modelo antiguo: Mira la foto, dice "creo que es una flor" y se equivoca porque no sabe qué tipo de flor es. No se atreve a usar la lupa (cortar la imagen) ni a ir a la biblioteca (buscar en Google).
• El problema: Si solo le decimos "¡Adivina!" y le damos premios por acertar, el estudiante se vuelve perezoso. Aprende a dar respuestas rápidas y al azar en lugar de usar las herramientas que tiene a su alcance.

2. La Solución: El Entrenamiento en Dos Etapas (El "Despertar" y el "Entrenamiento")

Los autores de DeepEyesV2 se dieron cuenta de que no puedes simplemente "empujar" al estudiante a usar herramientas con premios. Necesitas un plan de dos pasos:

• Paso 1: El "Arranque en Frío" (Cold Start) - Enseñando los fundamentos.
  Imagina que primero le das al estudiante un manual de instrucciones muy claro y le haces practicar con ejercicios donde tiene que usar la lupa o la calculadora para ganar. Le enseñamos: "Si no cortas la imagen, no puedes ver los detalles; si no buscas en internet, no tienes la información actual". Aquí, el modelo aprende cómo usar las herramientas sin miedo.
• Paso 2: Refuerzo (Reinforcement Learning) - La práctica real.
  Una vez que el estudiante sabe cómo usar las herramientas, lo ponemos en un entorno de práctica real. Aquí, el modelo intenta resolver problemas por sí mismo. Si usa la herramienta correcta y acierta, gana puntos. Si se equivoca o usa la herramienta cuando no hace falta, pierde puntos. Con el tiempo, el modelo aprende a ser estratégico: decide cuándo usar la lupa, cuándo buscar en Google y cuándo solo pensar.

3. Las Herramientas del Detective

DeepEyesV2 no solo "mira"; actúa. Tiene tres superpoderes que combina:

1. La Lupa (Código de Ejecución): Puede "recortar" partes de una imagen para ver detalles pequeños (como los pétalos de una flor) o hacer cálculos matemáticos precisos.
2. La Biblioteca (Búsqueda Web): Si no sabe algo, va a internet en tiempo real para buscar información actualizada (como el precio de una acción hoy o la fecha de lanzamiento de un teléfono).
3. El Cerebro (Razonamiento): Une todo lo que ve, lo que calcula y lo que busca para llegar a una conclusión lógica.

4. El Nuevo Examen: RealX-Bench

Para probar si este nuevo detective es realmente bueno, los autores crearon un examen especial llamado RealX-Bench.

• Antes: Los exámenes de IA eran como preguntas de opción múltiple simples: "¿Qué color es el coche?".
• Ahora (RealX-Bench): Son problemas del mundo real que requieren mezclar todo. Ejemplo: "Mira esta foto de un gráfico de bolsa, compara el precio de esta empresa con otra que no aparece en la foto, busca los datos de la segunda en internet y dime cuál bajó más hoy".
  • Para esto, necesitas ver (percepción), buscar (búsqueda) y calcular (razonamiento) todo a la vez. DeepEyesV2 es el único que pasa este examen con honores.

5. El Resultado: Un Agente Inteligente

Lo más increíble es que DeepEyesV2 aprende a ser adaptativo:

• Si el problema es visual (¿qué animal es este?), usa la lupa (corta la imagen).
• Si el problema es de cálculo (¿cuánto mide?), usa la calculadora (código).
• Si el problema es de conocimiento (¿quién ganó el Nobel?), usa la biblioteca (búsqueda).

En resumen

DeepEyesV2 es como darle a un robot no solo ojos y cerebro, sino también manos y pies para interactuar con el mundo. Ya no es un espectador pasivo que solo describe lo que ve; es un agente activo que sabe cuándo agarrar una herramienta, cuándo investigar y cuándo pensar para resolver problemas complejos del mundo real, tal como lo haría un humano experto.

Es el paso de "ver y hablar" a "ver, pensar, actuar y resolver".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DeepEyesV2: Toward Agentic Multimodal Model" en español, estructurado según los puntos solicitados:

1. El Problema

Los modelos de lenguaje multimodal (MLLM) actuales, aunque poseen capacidades sólidas de percepción e interpretación, siguen siendo mayormente pasivos. Carecen de la capacidad de invocar activamente herramientas externas (como entornos de ejecución de código o motores de búsqueda web) e integrar estas operaciones en su proceso de razonamiento.

• Limitaciones actuales: Los modelos existentes a menudo fallan en tareas que requieren una integración estricta de percepción, búsqueda y razonamiento. Por ejemplo, no pueden realizar manipulaciones visuales finas (como recortar o medir) ni acceder a conocimiento actualizado externamente, lo que lleva a alucinaciones o conclusiones obsoletas.
• Fallo del Aprendizaje por Refuerzo (RL) directo: El artículo identifica que intentar entrenar modelos para el uso de herramientas utilizando únicamente Aprendizaje por Refuerzo (RL) falla en inducir comportamientos robustos. Los modelos tienden a evitar la generación de código o a caer en "hacking de recompensas" (generando bloques de código vacíos o no ejecutables) en lugar de realizar herramientas útiles.

2. Metodología

Para abordar estos desafíos, los autores proponen DeepEyesV2, un modelo multimodal agéntico que unifica la ejecución de código y la búsqueda web en un único bucle de razonamiento dinámico. La metodología se basa en tres pilares principales:

A. Pipeline de Entrenamiento de Dos Etapas

El núcleo de la propuesta es un pipeline que evita el RL directo desde cero:

1. Etapa de "Cold-Start" (Arranque en Frío): Se utiliza un entrenamiento supervisado (SFT) en un conjunto de datos curado de alta calidad. Este conjunto incluye ejemplos donde el uso de herramientas es beneficioso y necesario. El objetivo es establecer patrones básicos y fiables de uso de herramientas (generación de código ejecutable y llamadas de búsqueda) antes de aplicar RL.
2. Etapa de Aprendizaje por Refuerzo (RL): Una vez que el modelo ha adquirido los patrones básicos, se aplica RL para refinar la invocación de herramientas. Se utilizan recompensas simples (precisión y formato) para incentivar la selección adaptativa de herramientas y la combinación compleja de estas (ej. recortar una imagen y luego buscarla en la web).

B. Curación de Datos

Se construyó un corpus de entrenamiento diverso y de dificultad moderada, filtrando preguntas que el modelo base ya podía resolver. Los datos se dividen en:

• Para Cold-Start: Casos difíciles que requieren herramientas y cadenas de pensamiento largas (Long CoT).
• Para RL: Ejemplos donde el uso de herramientas mejora la precisión, permitiendo al modelo aprender a decidir cuándo y cómo usarlas.

C. Nuevo Benchmark: RealX-Bench

Los autores introducen RealX-Bench, un benchmark integral diseñado para evaluar el razonamiento multimodal en el mundo real. A diferencia de benchmarks anteriores que evalúan capacidades aisladas, RealX-Bench exige la coordinación simultánea de:

• Percepción: Localización de elementos visuales finos.
• Búsqueda: Recuperación de evidencia externa (web).
• Razonamiento: Integración lógica de la evidencia visual y textual.

3. Contribuciones Clave

1. DeepEyesV2: Un modelo agéntico que integra ejecución de código (Python) y búsqueda web dentro de un bucle de razonamiento iterativo, permitiendo la verificación de hipótesis y la obtención de evidencia.
2. Pipeline de Entrenamiento Validado: Demostración de que un enfoque de dos etapas (Cold-Start + RL) es superior al RL directo para habilitar el uso de herramientas en MLLMs.
3. RealX-Bench: Un nuevo estándar de evaluación que mide la capacidad de integración de habilidades (percepción, búsqueda, razonamiento) en escenarios realistas.
4. Análisis de Comportamiento Agéntico: Identificación de patrones de invocación de herramientas dependientes de la tarea (ej. operaciones de imagen para percepción, cálculos numéricos para razonamiento) y la capacidad del modelo para aprender a no usar herramientas cuando no son necesarias (eficiencia).

4. Resultados

Las evaluaciones demuestran que DeepEyesV2 supera significativamente a los modelos de referencia:

• En RealX-Bench: DeepEyesV2 logra un rendimiento superior en tareas que requieren la integración de las tres habilidades, superando a modelos propietarios como GPT-4o y Gemini 2.5 Pro en ciertos subconjuntos, y cerrando la brecha con el rendimiento humano.
• Razonamiento Matemático: En benchmarks como MathVerse, el modelo alcanza una precisión del 52.7% (un aumento de +7.1 puntos frente al modelo base Qwen2.5-VL-7B), superando a modelos de razonamiento puramente textuales.
• Búsqueda Multimodal: En tareas de búsqueda (MMSearch), alcanza un 63.7%, superando ampliamente a modelos especializados en búsqueda como MMSearch-R1 (53.8%).
• Comprensión del Mundo Real: Supera al modelo base Qwen2.5-VL-32B en algunos benchmarks de comprensión de escenas reales y gráficos, demostrando que la invocación de herramientas compensa la falta de parámetros masivos.
• Eficiencia y Adaptabilidad: Tras el RL, el modelo reduce la frecuencia innecesaria de llamadas a herramientas, aprendiendo a invocarlas solo cuando el contexto lo requiere (pensamiento adaptativo).

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de IA Agéntica Multimodal.

• Superación de la Pasividad: Cambia el paradigma de modelos que solo "ven y responden" a modelos que "ven, actúan y razonan" activamente.
• Viabilidad del RL en Agentes: Proporciona una hoja de ruta clara (Cold-Start + RL) para entrenar agentes multimodales, resolviendo el problema de la inestabilidad del RL directo en tareas complejas de herramientas.
• Hacia la Verificabilidad: Al integrar herramientas de código y búsqueda, los modelos pueden realizar operaciones verificables y acceder a conocimiento actualizado, reduciendo las alucinaciones y mejorando la fiabilidad en aplicaciones del mundo real.
• Generalización: El modelo muestra una capacidad de generalización "zero-shot" hacia nuevas herramientas y tareas no vistas durante el entrenamiento, lo que sugiere un alto potencial para la adaptabilidad en entornos dinámicos.

En resumen, DeepEyesV2 establece un nuevo estado del arte en la construcción de agentes multimodales capaces de razonar de manera compleja mediante la orquestación autónoma de herramientas externas.