ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools

Este trabajo presenta ToolVQA, un conjunto de datos multimodal a gran escala que utiliza el pipeline de generación ToolEngine para crear tareas de razonamiento en varios pasos con herramientas externas, permitiendo que modelos de lenguaje de 7B superen a GPT-3.5-turbo en escenarios de uso de herramientas del mundo real.

Lo esencial

¡Claro que sí! Imagina que los modelos de Inteligencia Artificial (IA) son como chefs muy inteligentes que han leído millones de libros de cocina. Pueden recitar recetas de memoria, pero si les pides que cocinen un plato nuevo usando ingredientes que no tienen en su despensa, o que usen una herramienta que nunca han tocado, se quedan atascados.

Este paper, "ToolVQA", trata sobre cómo enseñarle a estos chefs a usar herramientas reales (como un buscador de Google, una calculadora o una cámara) para resolver problemas complejos que requieren varios pasos.

Aquí tienes la explicación sencilla, con analogías:

1. El Problema: Los "Chefs" que solo siguen recetas

Antes de este trabajo, las IAs que respondían preguntas sobre imágenes (VQA) eran como chefs que solo podían cocinar platos que ya habían visto en un libro.

• El problema: Si les mostrabas una foto de un menú de restaurante y les preguntabas "¿Cuánto cuesta este plato si sube el precio del tomate un 10%?", la IA fallaba. No podía usar una calculadora ni buscar el precio del tomate en internet.
• Los datos antiguos: Los ejercicios que usaban para entrenarlas eran como "falsos": imágenes generadas por computadora y preguntas muy obvias tipo "¿Qué hay en la foto?". No era la vida real.

2. La Solución: ToolVQA (El nuevo "Entrenamiento de Campo")

Los autores crearon un nuevo gimnasio de entrenamiento llamado ToolVQA.

• Qué es: Es un libro de ejercicios gigante con 23,000 situaciones reales.
• La diferencia: En lugar de fotos falsas, usan fotos reales (como una foto de un restaurante, un gráfico de bolsa o un mapa). Las preguntas son difíciles y requieren pensar en varios pasos.
  • Ejemplo: "Mira esta foto de un reloj antiguo. Busca en internet cuándo se fabricó. Luego, resta esa fecha al año actual. Finalmente, dibuja un gráfico que muestre cuántos años han pasado."
  • La IA no puede responder solo "mirando"; tiene que buscar, calcular y dibujar.

3. La Máquina de Creación: ToolEngine (El "Director de Orquesta")

Crear 23,000 ejercicios difíciles manualmente sería como intentar escribir 23,000 libros a mano. ¡Imposible!

• La innovación: Crearon un sistema automático llamado ToolEngine.
• Cómo funciona: Imagina un director de orquesta que tiene un mapa de todas las herramientas posibles (calculadora, buscador, OCR para leer texto).
  1. Le muestra una foto a la IA.
  2. La IA intenta pensar: "¿Qué herramienta necesito ahora?".
  3. Aquí entra la magia: El sistema usa un algoritmo llamado LCS (como un "detective de patrones"). Si la IA está pensando en un problema de matemáticas, el sistema le muestra ejemplos reales de cómo humanos resolvieron problemas similares antes.
  4. Esto guía a la IA para que no se pierda y cree un camino lógico (un "razonamiento") paso a paso.

4. Los Resultados: El Aprendiz que supera al Maestro

Entrenaron a un modelo de IA (LLaVA-7B) usando este nuevo gimnasio.

• El resultado: ¡Funcionó increíble!
  • El modelo entrenado con ToolVQA no solo resolvió los ejercicios nuevos, sino que también superó a gigantes comerciales (como GPT-3.5 de OpenAI) en pruebas donde no había visto esos problemas antes.
  • La moraleja: No se trata de tener un cerebro más grande (más parámetros), sino de tener mejores herramientas y saber cuándo usarlas.

En resumen, con una metáfora final:

Imagina que antes le dabas a un estudiante un examen de matemáticas donde las preguntas eran "¿Cuánto es 2+2?". El estudiante memorizaba la respuesta.

Con ToolVQA, les dieron al estudiante:

1. Un examen con problemas de la vida real (ej. "Calcula el presupuesto de una fiesta basándote en esta foto de un supermercado").
2. Una calculadora y acceso a internet.
3. Un manual que les enseñó paso a paso cómo usar esas herramientas para resolver el problema.

El resultado fue un estudiante que no solo sabe sumar, sino que sabe investigar, calcular y crear soluciones reales. ¡Y eso es lo que hace ToolVQA!

Resumen técnico

Resumen Técnico: ToolVQA

1. El Problema

La integración de herramientas externas en Modelos Fundacionales Grandes (LFMs) es una estrategia prometedora para mejorar sus capacidades de resolución de problemas. Sin embargo, los estudios recientes y los benchmarks existentes revelan brechas significativas en la competencia de las herramientas en entornos del mundo real. Los problemas principales identificados son:

• Escenarios Sintéticos y Simplificados: Muchos conjuntos de datos actuales (como MM-Traj o ToolBench) utilizan imágenes generadas artificialmente o escenarios ficticios que carecen de la complejidad y el contexto de las fotos reales.
• Consultas de Razonamiento Único: Las consultas en datasets existentes a menudo requieren un solo paso de razonamiento o proporcionan pistas explícitas sobre qué herramienta usar (ej. "usa la API de YouTube"), lo que no refleja la necesidad de inferencia implícita y multi-paso de los usuarios reales.
• Falta de Generalización: Los modelos actuales luchan para integrar información nueva introducida en diálogos multi-turno y para colaborar entre múltiples herramientas diversas en un solo flujo de trabajo.

2. Metodología

Para abordar estas limitaciones, los autores proponen un enfoque de dos partes: la creación de un nuevo motor de generación de datos (ToolEngine) y la construcción de un nuevo dataset (ToolVQA).

A. ToolEngine (Pipeline de Generación de Datos)
ToolEngine es un pipeline automatizado diseñado para generar trazas de uso de herramientas de razonamiento multi-paso a partir de imágenes sin etiquetar. Sus componentes clave son:

1. Construcción de Ejemplos del Mundo Real: Se utilizan ejemplos construidos por humanos como conocimiento previo para guiar al controlador del modelo. Esto asegura que las consultas generadas se alineen con las necesidades reales de los usuarios.
2. Búsqueda en Profundidad Guiada por Imagen (Image-guided DFS): Se emplea un algoritmo de Búsqueda en Profundidad (DFS) sobre un grafo de herramientas. Un LFM (controlador, en este caso ChatGPT-4o) selecciona la siguiente herramienta y sus argumentos basándose en la imagen de entrada, la trayectoria actual y los ejemplos coincidentes.
3. Mecanismo de Emparejamiento basado en LCS (Longest Common Subsequence): A diferencia de métodos anteriores que usan un grupo fijo de ejemplos, ToolEngine utiliza el algoritmo LCS para emparejar dinámicamente la trayectoria actual de búsqueda con los ejemplos más relevantes del conjunto de conocimiento. Esto permite integrar información de múltiples fuentes y aumentar la complejidad del razonamiento.

B. ToolVQA (El Dataset)
Utilizando ToolEngine, se construyó ToolVQA, un dataset multimodal a gran escala con las siguientes características:

• Escala: 23,655 muestras.
• Herramientas: 10 herramientas multimodales diversas (Percepción, Operación, Lógica, Creatividad) como OCR, Google Search, Calculadora, Dibujo de cajas, etc.
• Dominios: 7 dominios diferentes (geografía, ciencia, noticias, etc.).
• Complejidad: Promedio de 2.78 pasos de razonamiento por muestra.
• Calidad: Las muestras de prueba (2,550) están completamente anotadas y verificadas por humanos. La precisión de los datos sintéticos generados se validó en un 90.8%.

3. Contribuciones Clave

1. ToolEngine: Un nuevo motor de construcción de datos capaz de generar trayectorias de uso de herramientas realistas y complejas a partir de imágenes crudas, superando las limitaciones de los datos sintéticos anteriores.
2. ToolVQA: El primer dataset de VQA asistido por herramientas que combina escenarios visuales reales (fotos tomadas en el mundo real) con consultas de razonamiento implícito multi-paso. Cubre 10 herramientas y 7 dominios.
3. Nuevo Agente Fine-Tuned: Los autores afinaron el modelo LLaVA-7B utilizando ToolVQA. Este modelo resultante demuestra capacidades superiores en tareas de herramientas, superando a modelos cerrados grandes como GPT-3.5-Turbo en varios benchmarks.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de pruebas de ToolVQA y en cinco benchmarks fuera de distribución (OOD): TextVQA, TallyQA, InfoSeek, TEMPLAMA y GTA.

• Rendimiento en ToolVQA: El modelo LLaVA-7B afinado superó o igualó el rendimiento de GPT-3.5-Turbo en el conjunto de pruebas.
• Generalización (OOD): El modelo afinado superó a GPT-3.5-Turbo en 5 de los 6 benchmarks (incluyendo tareas con herramientas no vistas y consultas no vistas).
  • Nota: En TEMPLAMA, GPT-3.5-Turbo tuvo un mejor rendimiento, probablemente debido a la exposición previa a datos similares durante su entrenamiento masivo, mientras que el modelo afinado no tuvo tal exposición.
• Análisis de Errores: Se identificó que los principales cuellos de botella no son la selección de herramientas, sino la predicción de argumentos (ej. omitir palabras clave en una búsqueda) y el resumen de respuestas (extraer información incorrecta de la salida de la herramienta). Esto indica que, aunque el fine-tuning mejora el formato y la selección, la comprensión profunda de la información nueva sigue siendo un desafío.
• Ablación: Se demostró que eliminar el uso de herramientas o la entrada de imagen reduce el rendimiento a casi cero, confirmando la dependencia crítica del modelo de la entrada visual y la capacidad de razonamiento multi-paso.

5. Significado e Impacto

• Estándar de Evaluación: ToolVQA establece un nuevo estándar para evaluar la capacidad de los agentes de IA para utilizar herramientas en escenarios realistas, moviéndose más allá de las tareas sintéticas simplificadas.
• Viabilidad de Modelos Abiertos: Demuestra que los modelos de código abierto de tamaño medio (7B), cuando se entrenan con datos de alta calidad y realistas, pueden superar a modelos cerrados masivos en tareas complejas de razonamiento con herramientas.
• Dirección Futura: El trabajo subraya la necesidad de mejorar la capacidad de los modelos para procesar dinámicamente la información devuelta por las herramientas (resumen y extracción de datos) y sugiere que el fine-tuning y el aprendizaje en contexto (ICL) son complementarios.

En conclusión, ToolVQA y ToolEngine representan un avance significativo hacia la creación de asistentes de IA más capaces y generalizables que pueden interactuar efectivamente con el mundo real a través de herramientas externas.