💬 NLP

ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

El artículo presenta ToolOmni, un marco unificado de agentes que mejora el uso de herramientas en entornos abiertos mediante recuperación proactiva y ejecución fundamentada, logrando un rendimiento superior al estado del arte al optimizar simultáneamente la precisión de recuperación y la eficacia de ejecución mediante un algoritmo de aprendizaje multiobjetivo.

Autores originales: Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

Publicado 2026-04-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente personal muy inteligente, un genio de la computadora que sabe responder a casi cualquier pregunta. Pero hay un problema: este genio vive en una biblioteca infinita y caótica donde hay millones de herramientas (como calculadoras, mapas, traductores, reservas de vuelos, etc.), y cada día aparecen nuevas.

El problema de los asistentes actuales es que a veces se pierden en esa biblioteca. O bien buscan mal y traen herramientas equivocadas, o bien se olvidan de cómo usar las nuevas herramientas que acaban de llegar.

ToolOmni es la solución que proponen los autores de este paper. Es como darle a ese genio un nuevo cerebro y un nuevo mapa para que pueda navegar ese mundo infinito de herramientas sin perderse.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Búsqueda Pasiva" vs. El "Detective Activo"

Los métodos antiguos (Pasivos): Imagina que le pides a un bibliotecario: "Busca un libro sobre cocina". El bibliotecario busca en su índice, te da los 5 primeros libros que coinciden con la palabra "cocina" y se sienta a esperar. Si el libro que necesitas no está en esos 5, o si la palabra clave no encaja perfectamente, el bibliotecario falla. Además, si mañana llega un nuevo libro de cocina, el bibliotecario no lo sabe porque su índice está "congelado".
ToolOmni (Activo): ToolOmni es como un detective privado. Cuando le dices "Quiero cocinar una cena para 10 personas", no solo busca "cocina".
- Piensa: "Necesito una receta, pero también necesito saber cuántos ingredientes comprar y dónde están en oferta".
- Entonces, el detective decide activamente hacer varias búsquedas: primero busca recetas, luego busca tiendas de comestibles, luego busca ofertas.
- Si una búsqueda no da buenos resultados, el detective cambia la estrategia y busca de otra forma. No espera a que le den las herramientas; las va a buscar él mismo hasta encontrar las perfectas.

2. La Magia: Dos Pasos Clave

ToolOmni funciona en dos etapas principales, como un equipo de dos personas trabajando juntas:

Paso A: La Búsqueda Proactiva (El Detective)

En lugar de esperar a que el sistema le diga qué herramientas usar, el modelo piensa y decide qué buscar.

Analogía: Es como si fueras a una tienda de electrónica gigante. En lugar de agarrar el primer cable que ves, el detective piensa: "Este cable es para TV, pero yo necesito uno para mi cámara. Mejor pregunto al empleado (la herramienta de búsqueda) específicamente por cables de cámara".
Hace esto varias veces (iterativamente) hasta que tiene el "kit de herramientas" perfecto para tu tarea.

Paso B: La Ejecución Sólida (El Mecánico)

Una vez que tiene las herramientas correctas, las usa. Pero aquí está la clave: si algo sale mal, no se rinde.

Analogía: Imagina que intentas reparar un coche. Si un tornillo se rompe, un mecánico novato se queda atascado. ToolOmni es como un mecánico experto: "Ah, este tornillo se rompió. No pasa nada, voy a usar una llave diferente o voy a buscar un tornillo de repuesto en otra caja".
El modelo puede leer el error, pensar en una solución alternativa y probar otra herramienta hasta que el problema se resuelve.

3. ¿Cómo aprende? (El Entrenamiento)

Para que ToolOmni sea tan bueno, los autores lo entrenaron en dos fases, como entrenar a un atleta olímpico:

Fase de "Carrera de Arranque" (Aprendizaje Supervisado): Primero, le mostraron miles de ejemplos de expertos resolviendo problemas. Le enseñaron las reglas básicas: "Cuando veas esto, busca aquello". Esto le dio los fundamentos.
Fase de "Entrenamiento en Campo" (Aprendizaje por Refuerzo): Luego, lo dejaron solo en un entorno de práctica donde podía cometer errores.
- Si encontraba las herramientas correctas y resolvía el problema, recibía una medalla de oro (recompensa).
- Si se perdía o usaba la herramienta equivocada, recibía una amonestación (castigo).
- Lo genial es que el sistema de entrenamiento es muy inteligente: no castiga al detective por buscar mal si el mecánico luego arregla el problema, y viceversa. Separa las recompensas para que cada parte mejore por su cuenta sin estorbarse.

4. Los Resultados: ¿Por qué es tan bueno?

En las pruebas, ToolOmni demostró ser mucho mejor que los sistemas anteriores:

Encontró las herramientas correctas en bibliotecas gigantes (donde había miles de opciones) mucho más rápido y preciso.
No se rindió ante el ruido: Si le daban muchas herramientas falsas o distractores, ToolOmni lograba ignorarlas y centrarse en las útiles.
Se adapta a lo nuevo: Si le daban una herramienta que nunca había visto antes, podía deducir cómo usarla basándose en su descripción, sin necesidad de volver a estudiarla desde cero.

En Resumen

ToolOmni es como convertir a un asistente que solo sigue instrucciones en un agente autónomo y resiliente.

No espera a que le digan qué hacer; investiga.
No se rinde si algo falla; adapta su estrategia.
Aprende de sus errores y se vuelve más inteligente con cada intento.

Es un paso gigante para que la Inteligencia Artificial pueda ayudarnos en el mundo real, donde las cosas cambian rápido, hay millones de opciones y las cosas a veces salen mal. Ya no es solo un chatbot que habla; es un solucionador de problemas que sabe cómo usar el mundo a su alrededor.

1. El Problema

El aprendizaje de herramientas con Grandes Modelos de Lenguaje (LLMs) ha avanzado significativamente, pero enfrenta desafíos críticos en escenarios de mundo abierto (open-world), caracterizados por repositorios masivos de herramientas (miles de APIs) que evolucionan dinámicamente.

Los métodos existentes presentan dos limitaciones principales:

Búsqueda Pasiva y Estática: Los enfoques actuales suelen utilizar recuperación basada en embeddings estáticos o memorización de parámetros. Esto resulta en una baja precisión al alinear la intención del usuario con la semántica de la herramienta en repositorios masivos, ya que la recuperación es un paso pasivo desconectado del razonamiento del agente.
Falta de Generalización: Los modelos que memorizan documentación de herramientas en sus parámetros fallan al generalizar a herramientas no vistas o cuando el conjunto de herramientas cambia, requiriendo reentrenamiento costoso.
Desacoplamiento: La recuperación y la ejecución suelen tratarse como etapas de tubería (pipeline) separadas, lo que impide que el agente refine proactivamente la búsqueda basándose en las necesidades específicas de la tarea durante el proceso de razonamiento.

2. Metodología: ToolOmni

Los autores proponen ToolOmni, un marco unificado de agente que integra la recuperación proactiva y la ejecución fundamentada (grounded execution) dentro de un bucle de razonamiento continuo. La metodología se divide en dos fases principales:

A. Aprendizaje en Frío (Cold-Start) con SFT

Para dotar al modelo de capacidades básicas, se realiza un Ajuste Fino Supervisado (SFT) utilizando un dataset híbrido de alta calidad:

Datos de Recuperación: Trajectorias de búsqueda iterativa donde el agente formula consultas para encontrar herramientas.
Datos de Ejecución: Trajectorias de invocación de herramientas y razonamiento, filtradas para asegurar corrección.
Objetivo: El modelo aprende a generar trazas de razonamiento y acciones (llamadas a herramientas) mientras se ocultan las observaciones del entorno para estabilizar el entrenamiento.

B. Aprendizaje de Herramientas en Mundo Abierto (RL con GRPO Desacoplado)

Para superar las limitaciones del SFT y permitir la exploración en entornos dinámicos, se introduce un algoritmo de Optimización de Política Relativa de Grupo (GRPO) con un diseño de Objetivos Múltiples Desacoplados:

Recuperación Proactiva: El agente decide autónomamente cuándo y qué buscar, generando consultas iterativas (<search>) hasta reunir un conjunto de herramientas suficiente.
Ejecución Fundamentada: Una vez seleccionadas las herramientas, el agente ejecuta llamadas y razona sobre los resultados (<reasoning>, <tool_call>, <information>).
Mecanismo de Recompensa Desacoplada:
- Se calculan recompensas y ventajas independientes para la recuperación ( $R_{ret}$ ) y la ejecución ( $R_{exec}$ ).
- Filtrado de Trayectorias: La fase de ejecución solo se inicia si la recuperación ha encontrado exitosamente todas las herramientas "doradas" (ground-truth). Esto evita entrenar la política de ejecución con contextos inválidos.
- Actualización Separada: Los gradientes de recuperación y ejecución se actualizan secuencialmente en lugar de sumarse directamente, evitando conflictos de gradientes.

3. Contribuciones Clave

Marco Unificado de Agente: ToolOmni es el primer enfoque que integra la recuperación proactiva y la ejecución en un bucle de razonamiento unificado, permitiendo al agente refinar dinámicamente la búsqueda de herramientas.
Algoritmo GRPO Desacoplado: Propone una estrategia de optimización novedosa que trata la recuperación y la ejecución como subtareas interconectadas pero distintas, optimizándolas simultáneamente con recompensas específicas para cada etapa.
Estrategia de Entrenamiento de Dos Etapas: Combina un SFT robusto para el "arranque en frío" con un entrenamiento por Refuerzo (RL) escalable para la adaptación a entornos abiertos.
Dataset de Interacción Multi-turno: Construcción de un dataset de inicio en frío que incluye tanto trayectorias de recuperación como de ejecución, facilitando el aprendizaje de capacidades agenticas fundamentales.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark ToolBench, evaluando recuperación y ejecución en escenarios de dominio único y multi-domino.

Rendimiento en Recuperación: ToolOmni logra el estado del arte (SOTA) en la mayoría de las métricas. En el escenario más riguroso (Multi-Domain), alcanza un NDCG promedio del 78.29%, superando significativamente a baselines fuertes como ToolRetriever y ToolGen.
Rendimiento en Ejecución (End-to-End):
- Logra una Tasa de Éxito Resoluble (SoPR) del 54.13% en configuración end-to-end, superando a los pipelines basados en GPT-3.5 en un +10.8%.
- Supera a modelos unificados generativos como ToolGen por un margen considerable.
Robustez y Generalización:
- Muestra una excelente capacidad de generalización en herramientas no vistas y nuevos dominios (Category Generalization), superando a ChatGPT en +13.85% en tareas de generalización de categoría.
- Es robusto ante el "ruido" en la recuperación (herramientas irrelevantes), adaptándose dinámicamente para encontrar alternativas funcionales, a diferencia de otros modelos que degradan su rendimiento monotónicamente.
Eficiencia: Aunque realiza más búsquedas iniciales (promedio 3.02 vs 1.00 en baselines estáticas), reduce drásticamente las llamadas a APIs costosas y erróneas (2.47 vs 3.98), optimizando la eficiencia computacional global.

5. Significado e Impacto

ToolOmni representa un avance significativo hacia la autonomía real de los agentes de IA en entornos complejos y dinámicos.

Superación del Paradigma de Tubería: Demuestra que separar la recuperación de la ejecución limita el potencial del agente. La integración proactiva permite un razonamiento más profundo y adaptativo.
Escalabilidad: La capacidad de aprender mecanismos universales de uso de herramientas (en lugar de memorizar APIs específicas) hace que el modelo sea escalable a repositorios de herramientas en constante evolución sin necesidad de reentrenamiento costoso.
Resiliencia: La capacidad del modelo para recuperarse de errores de ejecución y adaptarse a contextos ruidosos sugiere un paso importante hacia agentes de IA confiables para aplicaciones del mundo real.

En resumen, ToolOmni establece un nuevo estándar para el uso de herramientas en LLMs, demostrando que el aprendizaje agentic basado en refuerzo con recuperación proactiva es la clave para lograr un rendimiento robusto y generalizable en el mundo abierto.