Joint Optimization of Tool Creation and Use for Large Language Model Agents

El progreso humano siempre ha dependido de las herramientas que construimos. En lugar de resolver cada nuevo problema desde cero, dependemos de instrumentos refinados a lo largo de generaciones, desde la simple palanca hasta el complejo software que hace funcionar nuestro mundo moderno. Los modelos de lenguaje extensos, los programas informáticos avanzados capaces de comprender y generar lenguaje humano, enfrentan una limitación similar. Aunque poseen vastas cantidades de información almacenada en su memoria interna, tienen dificultades con tareas que requieren cálculos exactos, acceso a hechos actualizados o un razonamiento lógico fiable. Para superar esto, los investigadores han enseñado a estos modelos a utilizar herramientas externas, como calculadoras o motores de búsqueda, de forma muy parecida a como un humano podría recurrir a una calculadora para resolver un problema matemático difícil. Sin embargo, los sistemas actuales son limitados porque solo pueden usar herramientas que los humanos ya han escrito y proporcionado. Si un humano no ha construido una herramienta específica para una nueva tarea, el modelo se queda estancado.

Esta limitación ha provocado un cambio hacia un enfoque más dinámico: enseñar a los modelos a crear sus propias herramientas bajo demanda. La idea es que un modelo analice un problema, escriba una pequeña pieza de código para resolverlo y luego utilice ese código para encontrar la respuesta. No obstante, los métodos existentes para hacer esto tienen un fallo fundamental. Normalmente utilizan un modelo potente y costoso para escribir la herramienta y un modelo más débil para usarla. Debido a que el modelo que escribe la herramienta nunca tiene que usarla él mismo, no tiene incentivos para escribir herramientas que sean realmente claras, fiables o fáciles de invocar. Es como un carpintero que construye un martillo pero nunca tiene que blandirlo; podría fabricar un mango demasiado resbaladizo o una cabeza demasiado pesada, simplemente porque no sufre las consecuencias de un mal diseño.

Un equipo de investigadores ha introducido un nuevo marco llamado SMITH para resolver este desencuentro. La innovación central es un método de entrenamiento que obliga a un solo modelo a actuar tanto como creador de herramientas como usuario de las mismas. En este sistema, se le da al modelo un conjunto de problemas de ejemplo y se le pide que escriba una herramienta, que consiste en una pieza de código y una descripción clara de cómo usarla. Inmediatamente después, el mismo modelo debe intentar usar esa misma herramienta para resolver un problema diferente y no visto previamente. Si la descripción es confusa o el código está roto, el modelo falla al resolver el problema y recibe una señal clara de que debe mejorar. Esto crea un bucle de retroalimentación directa donde el modelo aprende que una herramienta es tan buena como su capacidad para ser utilizada por sí misma.

Los investigadores probaron este enfoque utilizando un modelo de cuatro mil millones de parámetros, un tamaño que es relativamente pequeño en comparación con los modelos masivos que se suelen utilizar en este campo. Entrenaron al modelo en trece tipos diferentes de tareas de razonamiento, que van desde acertijos aritméticos hasta juegos lógicos. Los resultados fueron sorprendentes. El modelo entrenado alcanzó un alto nivel de precisión en problemas que nunca había visto, superando a los métodos que dependen de instrucciones complejas diseñadas por humanos e incluso a modelos más grandes que simplemente se les pide que escriban herramientas en el momento del uso. De hecho, el pequeño modelo entrenado con este método funcionó mejor que un modelo no entrenado de treinta mil millones de parámetros cuando se trataba de crear herramientas para nuevas tareas. Esto sugiere que la capacidad de aprender a construir y usar herramientas es más importante que tener simplemente una mayor cantidad de memoria bruta.

Quizás el hallazgo más sorprendente fue la eficacia con la que estas herramientas autogeneradas se transfirieron a otros modelos. Las herramientas escritas por el pequeño modelo entrenado fueron capaces de ayudar a un modelo mucho más pequeño, de solo 350 millones de parámetros, a rendir tan bien como un modelo mucho más grande y no entrenado. Por el contrario, cuando las herramientas escritas por el pequeño modelo fueron entregadas a un modelo muy grande para su uso, el modelo grande funcionó mejor de lo que lo hizo cuando intentó escribir sus propias herramientas. Esto indica que las herramientas creadas por el marco SMITH son genuinamente de alta calidad y reutilizables, no solo trucos que funcionan para un modelo específico. Las herramientas fueron tan efectivas que mejoraron el rendimiento en tipos de problemas completamente nuevos, como la interpretación de tablas complejas o la respuesta a preguntas sobre imágenes, a pesar de que el modelo nunca fue entrenado con datos que involucraran tablas o imágenes.

El estudio también reveló la importancia de cómo se estructura el proceso de aprendizaje. Los investigadores descubrieron que pedirle a un modelo que simplemente escriba código no es suficiente; el modelo también debe ser juzgado sobre si la descripción de la herramienta coincide con el código y si la herramienta realmente funciona cuando se invoca. Al separar estos diferentes aspectos de la calidad y recompensar al modelo por acertar en cada uno de ellos, el sistema evita errores comunes donde un modelo podría escribir un código que parece bueno pero no puede usarse, o escribir una descripción que es clara pero no coincide con el código. Este cuidadoso acto de equilibrio permitió al modelo aprender una habilidad robusta: la capacidad de crear una herramienta que sea tanto correcta como utilizable.

Al final, este trabajo demuestra que el camino hacia una inteligencia artificial más capaz puede no residir en construir modelos cada vez más grandes, sino en enseñar a los modelos a ser mejores construyendo y usando sus propias capacidades. Al cerrar el bucle entre la creación y el uso, los investigadores han demostrado que un modelo puede aprender a diseñar herramientas que sean lo suficientemente fiables como para ser utilizadas por sí mismo y por otros. Este enfoque ofrece una forma escalable de expandir las habilidades de la inteligencia artificial, permitiéndole adaptarse a nuevos desafíos mediante la creación de los instrumentos específicos que necesita, en lugar de esperar a que los humanos se los proporcionen. Los hallazgos sugieren que el futuro de la inteligencia aumentada por herramientas no reside en bibliotecas estáticas de herramientas prefabricadas, sino en la capacidad dinámica y de automejora de los modelos para forjar sus propias soluciones.