🤖 machine learning

On Effectiveness and Efficiency of Agentic Tool-calling and RL Training

Este artículo investiga la efectividad y eficiencia del llamado de herramientas agéntico al revelar cómo pequeñas elecciones de implementación sesgan significativamente los resultados de la evaluación e introduciendo técnicas para acelerar el entrenamiento de aprendizaje por refuerzo sin comprometer el rendimiento.

Autores originales: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente (un Modelo de Lenguaje Grande) que conoce muchos datos de su entrenamiento. Pero para hacer cosas en el mundo real, necesita usar herramientas, como llamar a una API del clima, buscar en la web o revisar un calendario. Este artículo trata sobre dos grandes preguntas: ¿Qué tan bien sabemos si el robot es realmente bueno usando estas herramientas? y ¿Cómo podemos enseñarle a usarlas sin desperdiciar una fortuna en electricidad y tiempo de computación?

Aquí está el desglose utilizando analogías simples:

Parte 1: El problema de la "Efectividad" (¿Es justa la prueba?)

Los autores descubrieron que medir qué tan bueno es un robot usando herramientas es sorprendentemente frágil. Es como juzgar las habilidades culinarias de un chef, pero la puntuación cambia drásticamente dependiendo de detalles diminutos, a menudo no declarados, en la cocina.

La ruleta de la "Semilla Aleatoria" (Random Seed): Imagina lanzar una moneda para decidir el orden de los ingredientes. El artículo encontró que si cambias este punto de partida aleatorio (la "semilla"), la puntuación del robot puede saltar significamente, especialmente en tareas largas de múltiples pasos. Es como si un estudiante recibiera una nota diferente en el mismo examen solo porque se sentó en un asiento distinto.
El formato de "Narración" (Storytelling): Cómo le cuentas al robot sobre el pasado importa. El artículo comparó dos formas de mostrarle al robot el historial de una conversación:
- Método A (Nativo): Mostrar el historial como un chat natural de ida y vuelta.
- Método B (Contexto): Verter todo el historial en un bloque gigante de texto.
- El Resultado: El robot funcionó entre un 6 y un 8% mejor con el Método A. Resulta que el robot entiende mucho mejor un flujo de conversación natural que un muro gigante de texto, incluso si la información es la misma.
El "Historial de Pensamiento": ¿Debería el robot ver sus propios pensamientos previos (como "primero necesito revisar el clima")? El artículo encontró que mantener los rastros de pensamiento visibles ayuda al robot a mantenerse en el camino, mejorando las puntuaciones en aproximadamente un 3-5%.
La "Nota del Profesor" (System Prompt): A veces, solo añadir una pequeña frase a las instrucciones del robot (por ejemplo, "Recuerda actuar como un usuario en chats de varios turnos") aumentó el rendimiento tanto como meses de entrenamiento adicional. Esto sugiere que muchos "mejoras" vistas en otros artículos podrían ser simplemente porque el profesor dio mejores instrucciones, no porque el estudiante aprendió mejor.

La Gran Conclusión: Si no estandarizas estos detalles diminutos (cómo formatear el chat, qué semilla aleatoria usas, qué instrucciones das), comparar diferentes robots es como comparar manzanas con naranjas. Las clasificaciones en las tablas de clasificación podrían ser engañosas.

Parte 2: El problema de la "Eficiencia" (Deja de perder el tiempo)

Una vez que sabemos cómo probar de manera justa, los autores analizaron cómo entrenamos a estos robots usando Aprendizaje por Refuerzo (RL). Descubrieron que el proceso de entrenamiento actual es increíblemente wasteful (desperdiciado), como un estudiante estudiando para un examen releyendo páginas que ya conoce perfectamente.

Identificaron dos fuentes principales de desperdicio:

1. El problema de la "Tarea Aburrida" (Prompts de Varianza Cero)

El Problema: Durante el entrenamiento, se le dan al robot muchos problemas de práctica. En aproximadamente el 80% de ellos, el robot o bien los acierta al 100% inmediatamente o falla completamente de una manera que no enseña nada. Estos son "prompts de varianza cero": no proporcionan ninguna señal de aprendizaje. Es como un profesor haciendo que un estudiante resuelva 1+1=2 mil veces; eso no le ayuda a aprender.
La Solución: Los autores crearon una "lista de salto" (skip list). Si el robot acierta un problema específico tres veces seguidas, el sistema deja de perder tiempo generando nuevos intentos para él y pasa a un problema más difícil. Esto ahorra una cantidad masiva de tiempo de computación.

2. El problema del "Sobre-diseño" (Costos de Actualización Altos)

El Probleño: Para aprender, el robot suele intentar un problema varias veces (digamos, 8 veces) para ver cuál es la mejor respuesta. Luego, la computadora gasta una enorme cantidad de energía actualizando el cerebro del robot basándose en esos 8 intentos. El artículo encontró que la parte de "actualización del cerebro" toma de 3 a 5 veces más tiempo que la parte de "intentarlo" propiamente dicha.
La Solución: En lugar de usar los 8 intentos para actualizar el cerebro, el sistema elige solo los más útiles —específicamente, la mejor respuesta y la peor respuesta. Esto crea el mayor contraste para el aprendizaje. Al ignorar los intentos "intermedios", redujeron significamente el tiempo de actualización sin perjudicar el aprendizaje del robot.

El Resultado Final

Al corregir el "desperdicio" en el proceso de entrenamiento, los autores hicieron que el robot aprendiera de 1.7 a 2.6 veces más rápido (en términos de tiempo real del reloj) sin que el robot se volviera más tonto. De hecho, el robot mejoró en el uso de herramientas en conversaciones de múltiples pasos, superando a varios modelos famosos.

En resumen: El artículo argumenta que debemos dejar de tratar los benchmarks de los robots como un juego casual y empezar a tratarlos como un experimento científico riguroso (corrigiendo la "Efectividad"). Simultáneamente, debemos dejar de entrenar a los robots como si estuvieran pagando por cada segundo de su pensamiento y empezar a ser más inteligentes sobre lo que realmente aprendemos de ellos (corrigiendo la "Eficiencia").

Resumen Técnico: Sobre la Efectividad y Eficiencia del Uso de Herramientas Agéntico y el Entrenamiento por RL

1. Planteamiento del Problema

El artículo aborda dos desafíos críticos y complementarios en el desarrollo de agentes de Modelos de Lenguaje Extensos (LLM) equipados con capacidades de uso de herramientas (tool-calling): efectividad de la evaluación y eficiencia del entrenamiento.

Efectividad (Fragilidad de la Evaluación): Aunque el uso de herramientas es central en los agentes modernos, la fiabilidad de los resultados de los benchmarks es cuestionable. Los autores argumentan que el rendimiento reportado suele ser altamente sensible a elecciones de implementación aparentemente menores y no documentadas (p. ej., semillas aleatorias, plantillas de prompts, manejo de historial). Esta fragilidad socava la reproducibilidad y hace que las comparaciones entre artículos sean poco fiables, lo que podría causar que el campo persiga mejoras superficiales mientras ignora métodos robustos.
Eficiencia (Desperdicio Computacional): El entrenamiento de agentes de uso de herramientas mediante Aprendizaje por Refuerzo (RL), particularmente utilizando algoritmos como PPO y GRPO, es computacionalmente costoso. Los autores identifican dos fuentes específicas de desperdicio:
1. Desperdicio de Rollout: Una parte significativa de los prompts (hasta el 80%) produce rollouts de "varianza cero", donde todas las trayectorias muestreadas reciben recompensas idénticas, lo que no genera una señal de gradiente para el aprendizaje.
2. Costo de Actualización: La etapa de actualización de la política en el uso de herramientas incurre en un costo computacional desproporcionadamente alto en comparación con la generación de rollouts, impulsado por secuencias de contexto largas (esquemas de herramientas, historial de múltiples turnos, E/S).

2. Metodología

2.1. Análisis de la Efectividad de la Evaluación

Utilizando el benchmark BFCL (Berkeley Function Calling Leaderboard) como caso de estudio, los autores variaron sistemáticamente componentes específicos del flujo de evaluación para medir su impacto en el rendimiento:

Semillas Aleatorias: Evaluaron el rendimiento a través de 10 semillas para cinco modelos (series Qwen y Llama) para cuantificar la varianza.
Plantillas de Multi-turno: Compararon la serialización "nativa" (mensajes de rol-contenido formateados por la plantilla de chat) contra la concatenación de "contexto" (inyectar el historial completo en un solo turno de usuario).
Historial de Pensamiento: Analizaron el impacto de retener trazas de razonamiento intermedio (Cadena de Pensamiento o Chain-of-Thought) frente a omitirlas en interacciones de múltiples turnos.
Prompts de Sistema: Probaron la sensibilidad de los resultados ante modificaciones manuales menores en las instrucciones del sistema adaptadas para interacciones de múltiples turnos.
Formato de Datos de Entrenamiento: Realizaron experimentos controlados comparando modelos entrenados con datos puros de un solo turno frente a datos puros de múltiples turnos para aislar la contribución del formato de supervisión.

2.2. Técnicas de Eficiencia Propuestas

Guiados por la identificación de los cuellos de botella computacionales, los autores proponen dos técnicas de aceleración ligeras para el entrenamiento de uso de herramientas basado en RL:

Filtrado de Pre-rollout en Línea:
- Mecanismo: Antes de generar rollouts costosos, el sistema verifica un caché ligero de rachas de "todo correcto" por prompt. Si un prompt ha sido resuelto correctamente en las $k$ épocas anteriores (típicamente $k=1$ o $2$), se omite para la época actual.
- Razón: Los prompts que se resuelven uniformemente tienden a seguir resolviéndose en las épocas subsiguientes. Este filtrado dinámico evita el muestreo redundante de prompts no informativos sin requerir un filtrado de pre-entrenamiento estático.
Submuestreo de Rollout Basado en la Varianza:
- Mecanismo: Para cada prompt, el modelo genera $n$ rollouts como de costumbre. Sin embargo, durante la etapa de actualización de la política, solo se retropropaga un subconjunto de $m$ rollouts ( $m < n$ ). El subconjunto se selecciona para maximizar la varianza de la recompensa (específicamente, seleccionando los $m'$ rollouts de menor recompensa y los $m-m'$ de mayor recompensa).
- Razón: Esto retiene las señales de aprendizaje más contrastivas (recompensa alta vs. baja) mientras reduce la carga computacional de la etapa de actualización de la política, que es el costo dominante en los escenarios de uso de herramientas.

3. Resultados Clave

3.1. Hallazgos de Sensibilidad de la Evaluación

Varianza de Semilla: El rendimiento de un solo turno es estable entre semillas, pero la evaluación de múltiples turnos muestra una varianza significativa (hasta un ~3% de desviación) debido a la acumulación de errores a lo largo de los turnos.
Impacto de la Plantilla: El uso de la plantilla de múltiples turnos "nativa" produce una ganancia de rendimiento consistente del 6 al 8% sobre el enfoque de concatenación de "contexto".
Historial de Pensamiento: Retener el historial de pensamiento mejora el rendimiento de múltiples turnos en un 2–5% para modelos de razonamiento.
Prompts de Sistema: Cambios menores y dirigidos en los prompts de sistema pueden producir ganancias comparables o mayores a las atribuidas al entrenamiento por RL, resaltando el riesgo de variables de confusión.
Formato de Datos: En entornos controlados, el entrenamiento con datos puramente de múltiples turnos no mejoró de manera confiable el rendimiento de múltiples turnos y, en ocasiones, lo degradó en comparación con el entrenamiento de un solo turno. Esto sugiere que la calidad de la trayectoria y la acumulación de ruido son más críticas que la mera presencia de supervisión de múltiples turnos.

3.2. Ganancias de Eficiencia y Rendimiento

Prevalencia de Varianza Cero: Aproximadamente el 80% de los prompts producen inicialmente rollouts de varianza cero, confirmando un desperdicio significativo de rollout.
Aceleración del Entrenamiento: Las técnicas de eficiencia propuestas logran aceleraciones sustanciales en tiempo de ejecución (wall-clock) sin degradar el rendimiento final:
- Aceleración de 1.7× en entornos de un solo turno.
- Aceleración de 2.6× en entornos de múltiples turnos.
Rendimiento en Benchmarks:
- El modelo entrenado por RL (Qwen3-4B) alcanzó un puntaje promedio de 39.4 en BFCL multi-turno, superando al modelo base y a varios baselines de código abierto.
- En ACEBench, el modelo mejoró en 12.1 puntos de precisión absoluta sobre el modelo base, superando a Nova1-Lite y otros modelos de código abierto.
Generalización: Las evaluaciones posteriores (HellaSwag, MMLU, TruthfulQA, Winogrande) mostraron que el entrenamiento por RL no degradó significativamente las capacidades generales.

4. Significado y Reivindicaciones

El artículo afirma proporcionar el primer análisis sistemático de la fragilidad de los procesos de evaluación de uso de herramientas, argumentando que la comunidad debe adoptar una estandarización más rigurosa (p. ej., reportar semillas, estandarizar plantillas y prompts) para asegurar comparaciones significativas.

Respecto a la eficiencia, los autores demuestran que el entrenamiento por RL para el uso de herramientas puede hacerse significativamente más rápido abordando cuellos de botella computacionales específicos inherentes a la tarea (contextos largos y altas tasas de prompts no informativos). Afirman que sus técnicas ofrecen un camino práctico para reducir la huella ambiental y financiera del desarrollo de agentes capaces sin sacrificar el rendimiento.

El trabajo no propone nuevos conjuntos de datos de uso de herramientas ni arquitecturas de agentes, sino que se centra en mejorar la metodología de evaluación y la eficiencia del proceso de entrenamiento. Los autores señalan que, si bien un entrenamiento más eficiente reduce las barras de entrada para el despliegue, esto requiere una evaluación de seguridad y un monitoreo responsables para prevenir posibles usos indebidos.