The Bitter Lesson of Tool Calling
Este artículo demuestra empíricamente que la llamada programática a herramientas, la cual utiliza stubs de Python tipados para la invocación de herramientas, es una alternativa robusta y a menudo superior a la llamada nativa a herramientas mediante JSON a través de diversos modelos de lenguaje y condiciones desafiantes como la ejecución paralela y la degradación del contexto.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tienes un asistente robot superinteligente que puede hablar con el mundo exterior. Para hacer cosas, este robot necesita pedir ayuda a otros programas, como consultar el clima o resolver un problema matemático. Durante mucho tiempo, la única forma en que el robot podía pedir ayuda era hablando en un formato muy estricto y rígido llamado "JSON". Piensa en esto como un robot que solo puede enviar solicitudes en diminutas postales preimpresas. Si necesita hacer tres cosas, tiene que escribir tres postales separadas, esperar una respuesta a la primera, luego escribir la segunda, y así sucesivamente. Es ordenado, pero lento y torpe.
Sin embargo, como este robot también es un programador brillante, los científicos se preguntaron: ¿por qué no dejar que el robot simplemente escriba un programa de computadora para hacer el trabajo? En lugar de postales, el robot podría escribir un guion corto —un conjunto de instrucciones que le dice a la computadora exactamente qué hacer de una sola vez. Esto se llama "llamada a herramientas programática" (programmatic tool calling). Es como darle al robot un bolígrafo y un cuaderno en lugar de solo postales. La gran pregunta era: ¿es esta nueva y flexible forma realmente mejor, o el viejo y rígido método de las postales sigue siendo el rey de la colina? Este artículo profundiza en esa cuestión para ver si dejar que el robot escriba código lo hace un ayudante más rápido, más inteligente y más confiable.
Los investigadores configuraron una prueba masiva utilizando 14 versiones diferentes de estos modelos de IA, que van desde los más antiguos hasta las generaciones más recientes y potentes. Los sometieron a una prueba de fuego con 309 tareas diferentes, desde trabajos simples de un solo paso hasta escenarios complejos donde el robot tenía que hacer muchas cosas a la vez o encadenar pasos. Compararon el viejo método de las "postales" (llamada a herramientas JSON) contra el nuevo método del "guion" (llamada a herramientas programática).
Los resultados fueron un poco sorprendentes y un poco una lección de cómo evoluciona la tecnología. El estudio encontró que, para la mayoría de los modelos más nuevos y más inteligentes, escribir un guion era tan bueno como, o incluso mejor que, enviar postales. De hecho, la familia de modelos más reciente (la serie GPT-5.6) obtuvo un gran impulso, mejorando su precisión en aproximadamente un 10.6% cuando se le permitió escribir código. Fue como darle a un piloto de carreras una mejor pista; no solo corrieron más rápido, sino que corrieron de forma más inteligente.
Pero aquí está el giro: el artículo sugiere que este nuevo método no es una varita mágica para cada robot. Los modelos más antiguos en realidad tuvieron dificultades con el enfoque del guion. Tres de los modelos más antiguos se confundieron cuando se les pidió escribir código, produciendo guiones rotos que fallaban porque no podían manejar correctamente el formato. Parece que la capacidad de usar este nuevo método flexible depende fuertemente de qué tan "nuevo" y capaz sea el cerebro del modelo. El artículo argumenta que la diferencia no se trata de qué empresa hizo al robot (como Anthropic frente a OpenAI), sino más bien de qué generación es el robot. Los más nuevos están listos para el guion; los más viejos todavía están atrapados en las postales.
Los investigadores también probaron cómo estos métodos resistían bajo presión. Cuando el robot tenía que hacer muchas cosas a la vez (como enviar 100 solicitudes simultáneamente), el viejo método de las postales comenzó a fallar, perdiendo llamadas y omitiendo tareas. El método del guion, sin embargo, siguió avanzando sin problemas, manejando la carga de trabajo sin perder el ritmo. Del mismo modo, cuando se le dio al robot una gran cantidad de información confusa para filtrar (una prueba de "podredumbre de contexto"), el método del guion se mantuvo estable, mientras que el viejo método mostró cierta variación en el rendimiento.
Entonces, ¿cuál es la conclusión? El artículo sugiere que, para los modelos de IA más recientes y avanzados, dejar que escriban código para llamar a las herramientas es una alternativa viable, robusta y a menudo superior a los viejos métodos rígidos. Maneja cadenas complejas de tareas más rápido y no se abruma cuando la carga de trabajo aumenta. Sin embargo, esto no es una solución universal todavía. Si estás usando un modelo más antiguo, es posible que aún necesites aferrarte al viejo estilo de las postales, o el robot simplemente tropezará con sus propios pies. La "lección amarga" aquí es que, si bien el futuro parece brillante para los agentes basados en código, tenemos que asegurarnos de que nuestras herramientas sean realmente lo suficientemente inteligentes como para manejar la actualización.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.