Resumen Técnico: GOAT: Un Marco de Entrenamiento para Agentes Orientados a Objetivos con Herramientas

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) han evolucionado hacia agentes interactivos capaces de invocar herramientas externas (APIs). Sin embargo, persiste una brecha significativa en el manejo de consultas orientadas a objetivos. A diferencia de tareas más simples que involucran consultas de un solo paso o instrucciones explícitamente especificadas, las tareas orientadas a objetivos requieren que un agente descomponga un objetivo de alto nivel en una secuencia de llamadas a APIs interdependientes. Esto exige un razonamiento complejo para la descomposición de tareas, la planificación a largo plazo y la capacidad de inferir argumentos apropiados para las funciones de la API basándose en las salidas de llamadas anteriores.

Los enfoques actuales para entrenar agentes en estas tareas se ven limitados por la ausencia de datos de entrenamiento de alta calidad. La construcción de conjuntos de datos que capturen dependencias entre APIs generalmente requiere costosa anotación humana, lo cual no es escalable. En consecuencia, la mayoría de los métodos existentes dependen de evaluaciones sin ejemplos (zero-shot), donde se espera que los modelos realicen razonamiento complejo sin supervisión específica de la tarea. Aunque los modelos propietarios (por ejemplo, GPT-4) muestran cierta capacidad, los modelos de código abierto más pequeños a menudo fallan al ejecutar eficazmente estos escenarios complejos de uso de herramientas.

Metodología: El Marco GOAT

Para abordar el problema de la escasez de datos, los autores proponen GOAT (Agente Orientado a Objetivos con Herramientas), un marco de entrenamiento totalmente automático que sintetiza datos de ejecución de APIs orientados a objetivos a partir de documentación de APIs existente, sin anotación humana. El marco opera bajo la premisa de que la documentación de las APIs suele estar disponible para los dominios objetivo y puede aprovecharse para construir datos de entrenamiento.

1. Construcción Automática del Conjunto de Datos

La innovación central de GOAT es un paradigma de generación primero llamada, que contrasta con las estrategias "primero instrucción" utilizadas en trabajos anteriores (donde un LLM genera una consulta primero e intenta luego mapearla a llamadas a APIs). GOAT invierte este flujo para evitar sesgos de auto-refuerzo hacia instancias "fáciles".

El proceso de construcción de datos involucra tres etapas principales:

• Construcción del Grafo de Dependencias de API:

  • Análisis: Se analizan los documentos de API para extraer especificaciones de entrada/salida.
  • Inicialización del Grafo: Se inicializa un multidigrafo completamente conectado donde las aristas representan dependencias potenciales (salida de la API $A$ como entrada de la API $B$).
  • Filtrado Progresivo: Para garantizar la fiabilidad, el grafo se refina mediante tres etapas de filtrado:
    1. Similitud de Incrustaciones: Filtrado grueso utilizando incrustaciones SBERT para descartar aristas semánticamente incompatibles.
    2. Verificación por LLM: Un LLM evalúa la plausibilidad semántica basándose únicamente en las descripciones.
    3. Validación de Ejecución: El paso más riguroso, donde el LLM genera argumentos, ejecuta la API de origen y verifica si la salida puede llenar válidamente los parámetros de la API de destino. Esto asegura que solo se retengan flujos de trabajo ejecutables.

• Síntesis de Datos Orientados a Objetivos:

  • Muestreo: Se extraen subgrafos conectados (que representan secuencias válidas de APIs) del grafo de dependencias.
  • Instanciación Primero Llamada: El marco instancia y ejecuta la secuencia de APIs, generando salidas concretas.
  • Generación de Consulta y Respuesta: Basándose en la secuencia ejecutada y las salidas, el LLM genera una consulta de usuario en lenguaje natural que encapsula el objetivo de alto nivel y una respuesta final que interpreta los resultados. Esto crea un conjunto de datos donde la señal de supervisión (la secuencia de llamadas a APIs) se basa en la realidad, y la consulta es una abstracción de dicha realidad.

2. Entrenamiento del Agente

El marco ajusta finamente dos componentes en el conjunto de datos sintetizado:

• Agente LLM: Ajustado finamente para planificar la secuencia correcta de llamadas, rellenar argumentos (con los valores de los argumentos enmascarados durante el entrenamiento para evitar el sobreajuste a valores específicos) y generar la respuesta final en lenguaje natural.
• Recuperador: Un modelo de recuperación densa (basado en SBERT) entrenado en pares consulta-documento de API de verdad fundamental para mapear consultas de usuario a especificaciones de API relevantes.

Contribuciones Clave

1. Marco GOAT: Un marco de entrenamiento novedoso y totalmente automático que construye conjuntos de datos de ejecución de APIs orientados a objetivos a partir de documentación de APIs sin anotación humana. Introduce una estrategia de generación primero llamada que proporciona supervisión fiable para el aprendizaje de razonamiento complejo al fundamentar los datos en flujos de trabajo de API ejecutables.
2. Rendimiento de Vanguardia: Experimentos extensos demuestran que los agentes entrenados con GOAT logran un rendimiento de vanguardia en múltiples puntos de referencia existentes de tareas orientadas a objetivos utilizando modelos de código abierto, superando en algunos casos a modelos de código cerrado con capacidades de razonamiento sólidas.
3. GOATBench: La introducción de un nuevo punto de referencia de evaluación a gran escala para tareas orientadas a objetivos. Construido utilizando la tubería de GOAT con verificación humana ligera, cubre diversos dominios (Entretenimiento, Financiero, Comida, Viajes) e incluye composiciones de APIs "vistas" y "no vistas" para probar la generalización.

Resultados Experimentales

Los autores evaluaron GOAT en RestBench, API-Bank y el nuevo GOATBench.

• RestBench: Los modelos de código abierto (Llama-2-13B, Vicuna-13B) ajustados finamente con GOAT mostraron mejoras sustanciales sobre las líneas base sin ejemplos y métodos anteriores de código abierto (RestGPT). En algunos casos, superaron a modelos de código cerrado como GPT-4.
• API-Bank: Los modelos entrenados con GOAT superaron significativamente a las líneas base sin ejemplos y a otros enfoques de datos sintéticos, logrando tasas de éxito más altas y porcentajes de rutas correctas.
• GOATBench: Los agentes entrenados con GOAT demostraron ganancias consistentes sobre modelos no ajustados finamente y modelos entrenados con datos primero instrucción (por ejemplo, de ToolLLM). El marco demostró ser efectivo tanto en escenarios de una sola herramienta como en escenarios inter-herramientas (multi-API).
• Estudios de Ablación:
  • Primero Llamada vs. Primero Instrucción: Los modelos entrenados con datos primero llamada lograron consistentemente tasas de éxito más altas que aquellos entrenados con datos primero instrucción, validando la capacidad de la estrategia para proporcionar una mejor supervisión para el razonamiento complejo.
  • Generalización: Los modelos entrenados en GOATBench mostraron un rendimiento mejorado en APIs no vistas y generalización entre puntos de referencia (por ejemplo, entrenamiento en GOATBench y prueba en RestBench), aunque las ganancias fueron más pronunciadas dentro del dominio.

Significado y Afirmaciones

El artículo afirma que GOAT proporciona una ruta práctica y escalable hacia la construcción de agentes LLM de código abierto robustos capaces de razonamiento complejo y uso de herramientas. Al eliminar la dependencia de costosa anotación humana y aprovechar el paradigma "primero llamada", GOAT permite una adaptación eficiente específica de dominio de los LLM. Los resultados sugieren que los modelos de código abierto, cuando se ajustan finamente adecuadamente con estos datos sintéticos, pueden rivalizar o superar el rendimiento de los modelos propietarios en el uso de herramientas orientado a objetivos, abordando un cuello de botella crítico en el despliegue de sistemas de IA agentes.

Los autores reconocen limitaciones, señalando que, aunque el marco mejora el rendimiento dentro del dominio, la generalización a escenarios completamente no vistos sigue siendo limitada, y la calidad de los datos generados depende de la calidad de la documentación de la API de origen. No obstante, el trabajo establece una nueva línea base para entrenar agentes en el uso de herramientas interdependientes sin intervención humana.