💬 NLP

AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

AdaReasoner es una familia de modelos multimodales que logra un razonamiento visual y una generalización a herramientas no vistas de vanguardia mediante el aprendizaje de la orquestación de herramientas como una habilidad general a través de un flujo de datos escalable, el aprendizaje por refuerzo Tool-GRPO y un mecanismo adaptativo para la regulación dinámica de herramientas.

Autores originales: Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

Publicado 2026-01-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente brillante pero ligeramente torpe que intenta resolver un rompecabezas complejo, como navegar por un laberinto o arreglar un cuadro roto. A veces, este asistente se queda atascado porque no puede ver los detalles con claridad, o porque olvida las reglas del laberinto.

AdaReasoner es una nueva forma de entrenar a este asistente para que deje de intentar hacer todo en su cabeza y empiece a saber exactamente cuándo pedir ayuda, qué herramienta pedir y cómo usarla.

Aquí está el desglose de cómo funciona, utilizando analogías sencillas:

1. El Problema: La trampa del "Hazlo Todo"

Los modelos de IA actuales son como estudiantes a los que se les pide resolver un problema matemático usando solo su cerebro. Si el problema requiere una calculadora, el estudiante podría adivinar la respuesta o intentar hacer las matemáticas mentalmente y equivocarse. No saben cuándo agarrar la calculadora, o podrían agarrar la equivocada (como una regla en lugar de una calculadora).

2. La Solución: Una "Orquesta de Herramientas"

Los investigadores crearon AdaReasoner, que trata a las herramientas (como una lupa, un mapa o una calculadora) como instrumentos en una orquesta. La IA ya no es solo un solista; ahora es un director de orquesta.

Sabe cuándo tocar: Aprende que para algunas tareas necesita hacer zoom (una herramienta de "lupa"), pero para otras necesita dibujar una línea (una herramienta de "regla").
Sabe cuándo detenerse: Si una herramienta no ayuda, aprende a dejarla de lado e intentar un enfoque diferente.
Se adapta a nuevos instrumentos: Incluso si le das a la IA una herramienta nueva que nunca ha visto, puede averiguar cómo usarla con solo leer el manual de instrucciones (la descripción de la herramienta).

3. Cómo lo Entrenaron (La Receta de Tres Pasos)

Para enseñar estas habilidades a la IA, los investigadores utilizaron un proceso de entrenamiento de tres pasos:

Paso 1: El "Ensayo Guionizado" (Arranque en frío de herramientas / Tool Cold Start)
Imagina a un profesor de teatro dándole al actor un guion perfecto para una obra. La IA recibe ejemplos de alta calidad sobre cómo resolver problemas paso a paso, utilizando las herramientas correctamente. Esto le enseña los "movimientos" básicos y cómo sostener las herramientas.
- Analogía: Es como mostrarle a un chef exactamente cómo picar una cebolla antes de dejarlo cocinar.
Paso 2: El Juego de "Ensayo y Error" (Tool GRPO)
Una vez que la IA conoce los conceptos básicos, la dejan jugar un juego donde obtiene puntos por resolver el rompecabezas.
- Si usa la herramienta correcta en el momento adecuado, recibe una gran recompensa.
- Si usa una herramienta que no ayuda, o adivina sin comprobar, recibe una recompensa menor o una penalización.
- Analogía: Esto es como un videojuego donde la IA aprende que usar un "jetpack" para cruzar un río es genial, pero usar un "jetpack" para abrir una puerta es una pérdida de tiempo. Aprende a optimizar su estrategia.
Paso 3: El Desafío del "Código Secreto" (Aprendizaje Adaptativo)
Para asegurar que la IA no esté simplemente memorizando los nombres de las herramientas (como memorizar que la "Herramienta A" es siempre para medir), los investigadores cambiaron los nombres y las descripciones de las herramientas aleatoriamente durante el entrenamiento.
- Analogía: Imagina enseñar a alguien a conducir un coche, pero cada día cambias el nombre del pedal del acelerador de "Acelerador" a "Ir", "Combustible" o "X7a2". El estudiante tiene que aprender qué hace el pedal basándose en su función, no en su nombre. Esto asegura que la IA pueda manejar cualquier herramienta, incluso aquellas que nunca ha visto antes.

4. Los Resultados: Cerebro Pequeño, Grandes Habilidades

La parte más emocionante del artículo es que tomaron un modelo de IA relativamente pequeño (un modelo "7B", que es como un estudiante universitario inteligente) y le dieron estas habilidades de uso de herramientas.

El Resultado: Este pequeño modelo se volvió tan bueno usando herramientas que superó a modelos mucho más grandes y de "código cerrado" (como GPT-5 y Claude Sonnet 4) en rompecabezas visuales difíciles.
La Analogía: Es como darle a una bicicleta un juego de marchas de alta tecnología y un GPS. De repente, la bicicleta puede competir contra un Ferrari porque la bicicleta sabe exactamente cómo navegar por el terreno, mientras que el Ferrari solo está conduciendo a ciegas.

5. Ejemplos del Mundo Real del Artículo

El artículo muestra a la IA haciendo cosas como:

Navegar por un Laberinto: En lugar de adivinar, utiliza una herramienta para encontrar los puntos de inicio y fin, y luego utiliza una herramienta de "búsqueda de rutas" para dibujar la ruta perfecta, evitando agujeros.
Arreglar un Rompecabezas de Jigsaw: Utiliza una herramienta para encontrar el punto negro faltante en una imagen, y luego intenta insertar diferentes piezas del rompecabezas hasta que una encaje perfectamente.
Leer un Sitio Web: Utiliza una herramienta de "recorte" para hacer zoom en un botón específico y una herramienta de "OCR" (como un ojo digital) para leer el texto en él, determinando exactamente cómo comprar algo.

Resumen

AdaReasoner enseña a los modelos de IA a dejar de intentar ser perfectos en todo internamente. En su lugar, les enseña a ser gestores inteligentes que saben cuándo llamar a una herramienta experta para que haga el trabajo pesado. Al aprender a adaptarse a nuevas herramientas y tareas sobre la marcha, incluso una IA pequeña puede resolver problemas visuales complejos mejor que sistemas mucho más grandes y costosos.

Resumen Técnico: DAREASONER (AdaReasoner)

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) a menudo tienen dificultades con tareas de razonamiento visual complejo que requieren una percepción detallada, planificación de múltiples pasos y verificación intermedia. Mientras que los humanos dependen de herramientas externas para resolver problemas que van más allá de sus capacidades cognitivas o perceptivas inmediatas, los MLLMs actuales carecen de la capacidad de usar herramientas de manera adaptativa. Los enfoques existentes suelen depender de patrones de invocación rígidos y predefinidos o están limitados a trayectorias de una sola herramienta. En consecuencia, no logran aprender cuándo usar una herramienta, qué herramienta seleccionar o cómo coordinar múltiples herramientas de forma dinámica, especialmente cuando se enfrentan a herramientas no vistas o distribuciones de tareas novedosas. El desafío central es permitir que los MLLMs traten la selección y la orquestación de herramientas como una habilidad de razonamiento general en lugar de un comportamiento específico de una tarea.

Metodología

Los autores presentan AdaReasoner, un marco diseñado para permitir una planificación de herramientas de múltiples turnos y adaptativa. La metodología se basa en tres innovaciones principales:

1. Curación de Datos de Trayectoria de Alta Calidad (Arranque en Frío de Herramientas - TC)

Para establecer una base sólida, los autores proponen un flujo de trabajo de curación de datos que sintetiza trayectorias de razonamiento de alta fidelidad y de múltiples turnos. Este proceso implica:

Diseño de Trayectorias Abstractas: Diseñar manualmente esquemas óptimos de resolución de problemas para tareas como Planificación Espacial Visual (VSP), rompecabezas de Jigsaw y GUI QA.
Integración de Escenarios Complejos: Incorporar deliberadamente la reflexión y el retroceso (donde el modelo corrige resultados subóptimos) y escenarios de fallo explícito de la herramienta (donde las herramientas devuelven errores, obligando al modelo a confiar en sus capacidades intrínsecas).
Generación de CoT: Utilizar LLMs potentes para generar Razonamiento de Cadena de Pensamiento (CoT) que conecte las llamadas a herramientas, enseñando al modelo no solo qué llamar, sino por qué y cómo razonar entre los pasos.

2. Tool-GRPO (Optimización de Política Relativa de Grupo para Herramientas - TG)

El marco extiende el algoritmo de Optimización de Política Relativa de Grupo (GRPO) para manejar trayectorias de llamada a herramientas de múltiples turnos. La función de recompensa está diseñada para optimizar la planificación estratégica de largo alcance:

Acumulación de Recompensa de Múltiples Turnos: La recompensa total ( $R_{total}$ ) combina una Recompensa de Formato (adherencia estricta a la sintaxis), una Recompensa de Herramienta (puntuación jerárquica basada en la corrección de estructura, nombre y parámetros) y una Recompensa de Exactitud (basada en la respuesta final).
Recompensa Adaptativa para el Uso de Herramientas: Una estructura de recompensa asimétrica fomenta el razonamiento conciso. Si la predicción final es correcta, el modelo es recompensado independientemente del uso de la herramienta. Si es incorrecta, la recompensa depende de la calidad del uso de la herramienta, otorgando crédito parcial por un razonamiento basado en herramientas informativo mientras se penaliza las conjeturas sin fundamento. Esto trata a las herramientas como un mecanismo de respaldo bajo incertidumbre en lugar de un paso obligatorio.

3. Aprendizaje Adaptativo (ADL) para la Generalización

Para evitar el sobreajuste a identificadores de herramientas específicos y mejorar la generalización a herramientas no vistas, los autores introducen un mecanismo de aprendizaje adaptativo:

Aleatorización a Nivel de Token: Los nombres de las herramientas y los nombres de los parámetros se reemplazan con cadenas alfanuméricas aleatorias (por ejemplo, GetWeather $\rightarrow$ Func_X7a2). Esto obliga al modelo a inferir la funcionalidad basándose únicamente en las descripciones semánticas y el contexto.
Parafraseo a Nivel Semántico: Las descripciones de las herramientas y los argumentos se parafrasean utilizando un LLM (Gemini 2.5 Flash) para alterar la estructura sintáctica preservando el significado funcional, asegurando que el modelo aprenda una comprensión semántica robusta en lugar de un fraseo específico.

Contribuciones Clave

Un Método Integral para Modelos Aumentados con Herramientas: El artículo propone un flujo de trabajo unificado que integra una receta de curación de datos para la planificación de múltiples turnos, un marco de RL (Tool-GRPO) para la interacción y un método de aprendizaje adaptativo para mejorar la generalizabilidad.
Familia de Modelos AdaReasoner: La introducción de una nueva familia de modelos de vanguardia capaces de una planificación de herramientas compleja. Estos modelos exhiben comportamientos auto-adaptativos, aprendiendo a adoptar autónomamente herramientas beneficiosas, descartar las irrelevantes y modular la frecuencia de uso basándose en las demandas de la tarea sin supervisión explícita para estos comportamientos específicos.
Desempeño y Generalización: El trabajo demuestra que modelos de código abierto más pequeños (por ejemplo, de 7B parámetros) pueden lograr un desempeño competitivo o superior a los sistemas propietarios líderes (por ejemplo, GPT-5, Claude Sonnet 4) en tareas de razonamiento estructurado. Establece que la orquestación efectiva de herramientas puede desplazar el cuello de botella del rendimiento desde la escala del modelo hacia la utilidad de la herramienta.

Resultados Experimentales

Los autores evaluaron AdaReasoner en diversos benchmarks incluyendo Planificación Espacial Visual (VSP, VSPO), rompecabezas de Jigsaw (Jigsaw-COCO, BLINK-J) y GUI QA (GUIChat, WebMMU).

Ganancias de Desempeño: La variante de 7B de AdaReasoner logró una mejora promedio del +24.9% sobre su modelo base a través de los benchmarks. Específicamente, alcanzó un 97.64% en VSP y un 96.60% en Jigsaw, superando a GPT-5 (80.10% en Jigsaw) y Claude Sonnet 4.
Uso Adaptativo de Herramientas: En estudios de ablación, el modelo demostró la capacidad de:
- Adoptar Herramientas Beneficiosas: Aumentar la frecuencia de invocación de herramientas útiles (por ejemplo, A* para la búsqueda de rutas) cuando se introducen durante la inferencia.
- Descartar Herramientas Irrelevantes: Suprimir el uso de herramientas que no contribuyen a la tarea (por ejemplo, A* para tareas de verificación) después del entrenamiento con RL.
- Modular la Frecuencia: Ajustar dinámicamente el número de llamadas a herramientas por muestra basándose en la complejidad de la tarea.
Generalización: Al ser evaluado en definiciones de herramientas no vistas (vía aleatorización) y tareas no vistas (transferencia zero-shot), AdaReasoner mantuvo una alta exactitud y tasas de éxito en el uso de herramientas, mientras que otros métodos sufrieron una degradación significativa del desempeño.
Independencia de Escala: El enfoque aumentado con herramientas permitió que tanto los modelos de 3B como los de 7B lograran una exactitud casi perfecta en VSP, sugiriendo que la utilidad de la herramienta puede superar las limitaciones intrínsecas de escala.

Significado

El artículo argumenta que el cuello de botella principal en el razonamiento multimodal se está desplazando de la capacidad de razonamiento interno del modelo hacia la efectividad de su planificación de herramientas. Al tratar el uso de herramientas como una habilidad de razonamiento generalizable en lugar de una capacidad fija, AdaReasoner permite que modelos de código abierto más pequeños automaticen estrategias de uso de herramientas. Este enfoque permite que los MLLMs manejen problemas visuales complejos de múltiples pasos con un nivel de adaptabilidad y robustez previamente visto solo en sistemas propietarios más grandes, cerrando efectivamente la brecha de capacidad entre modelos de código abierto y de código cerrado en dominios de razonamiento estructurado.