Resumen Técnico: Simulación de Interacciones Complejas de Llamadas a Herramientas Multi-Vuelta en Entornos de Ejecución Sin Estado

Declaración del Problema

Los datos sintéticos son un recurso crítico para ajustar modelos de lenguaje grandes (LLM) más pequeños y rentables para manejar llamadas a herramientas complejas de múltiples vueltas. Sin embargo, los marcos existentes para generar dichos datos a menudo asumen la disponibilidad de un entorno de ejecución con estado. En estos entornos, la validez de una interacción se determina por si el estado de ejecución coincide con un objetivo preespecificado.

Esta suposición falla en muchos escenarios del mundo real, particularmente en entornos empresariales donde la seguridad de los datos prohíbe el acceso privilegiado a backends en vivo, o cuando las especificaciones de las herramientas se sintetizan a partir de múltiples fuentes sin un estado unificado. Además, muchos modelos de lenguaje abiertos de primer nivel se entrenan con herramientas sintéticas generadas por LLM que solo pueden simularse. Los métodos actuales luchan por generar interacciones de múltiples vueltas significativamente complejas con llamadas a herramientas implícitas (donde la solicitud del usuario no especifica explícitamente cada herramienta necesaria) sin acceso a un backend real con estado.

Metodología: DiGiT-TC

Los autores presentan DiGiT-TC (Generación y Transformación de Datos para Llamadas a Herramientas), un marco diseñado para producir conversaciones sintéticas de llamadas a herramientas de múltiples vueltas que imitan la complejidad de la exploración con estado, a pesar de operar en un entorno sin estado. La innovación central es un "giro" en el proceso de generación: en lugar de generar una solicitud de usuario y luego derivar llamadas a herramientas, DiGiT-TC primero genera una secuencia de llamadas a herramientas y luego construye una solicitud de usuario correspondiente.

El marco opera a través de las siguientes etapas:

1. Inicialización: Se inicializa una conversación con una lista de mensajes vacía, un conjunto muestreado de herramientas y un personaje de usuario. El personaje se amplía con detalles específicos (por ejemplo, ubicación, profesión) relevantes para las herramientas muestreadas.
2. Destilación del Plan:
   • Un LLM genera una secuencia cruda de llamadas a herramientas ($S$) basada en el personaje y las herramientas. Estas llamadas incluyen referencias inter-herramienta (por ejemplo, usando notación de punto estilo Python como $1.output para pasar datos entre llamadas).
   • La secuencia se trata como un Grafo Acíclico Dirigido (DAG). El marco destila esto en una subsecuencia más concisa seleccionando el componente conectado más grande, filtrando llamadas a herramientas redundantes o desconectadas.
3. Generación de Solicitud (Selección de Llamada a Herramienta Implícita):
   • La secuencia destilada $S$ se divide en dos conjuntos: Explícito ($E$) e Implícito ($I$).
   • Un algoritmo selecciona aleatoriamente un tamaño objetivo para el conjunto implícito. Elimina iterativamente elementos de $S$ que no son dependencias de otros elementos, asegurando que el conjunto implícito restante contenga llamadas a herramientas que son necesarias para el conjunto explícito pero no mencionadas directamente por el usuario.
   • El LLM genera una solicitud de usuario ($r$) que apunta explícitamente a la secuencia $E$ mientras evita cualquier mención directa de las herramientas en $I$.
   • Validación: Para asegurar que la solicitud del usuario no sea una transcripción trivial de la secuencia de herramientas, el marco calcula el coeficiente de correlación de Kendall $\tau_b$ entre la clasificación de los argumentos en las llamadas a herramientas y su orden de aparición en la solicitud del usuario. Si la correlación es demasiado alta (indicando una mapeo lineal y explícito), el ejemplo se filtra.
4. Traducción Inversa:
   • Para mitigar el ruido y asegurar que la solicitud de usuario generada realmente conduzca a la secuencia de herramientas prevista, el marco realiza un paso de traducción inversa.
   • Se solicita a un LLM que prediga una nueva secuencia de herramientas ($S'$) basándose únicamente en la solicitud de usuario generada ($r$) y las herramientas disponibles.
   • El sistema valida que las "hojas" (salidas finales) de la secuencia original $S$ estén representadas en $S'$. Si la condición leaves(S) \ leaves(S') = ∅ falla, el ejemplo se descarta.
5. Terminación y Aumento:
   • Ejecución y Resumen: Las llamadas a herramientas se simulan (ejecutadas mediante un LLM) para sustituir valores de variables y generar un resumen de los resultados.
   • Aumento de Errores: El marco introduce complejidad simulando dos tipos de errores:
     • Errores Humanos: Solicitudes de usuario irresolubles o incompletas que requieren aclaración.
     • Errores de Ejecución de Herramientas: Llamadas a herramientas incorrectas simuladas seguidas de una pista (generada por un LLM) que guía al modelo hacia la solución correcta.

Contribuciones Clave

1. Generación Sin Estado de Llamadas Implícitas: DiGiT-TC es el primer marco que genera sistemáticamente interacciones complejas de múltiples vueltas con llamadas a herramientas implícitas sin requerir un backend de ejecución con estado.
2. Estrategia de Generación Selectiva: Al invertir el orden de generación (Llamadas a Herramientas $\to$ Solicitud de Usuario), el método gana un control fino sobre qué llamadas son explícitas y cuáles son implícitas.
3. Mitigación de Ruido mediante Traducción Inversa: La introducción de un paso de traducción inversa asegura que las solicitudes de usuario generadas sean robustas y mapeen fielmente a las secuencias de herramientas previstas, filtrando alucinaciones o desalineaciones.
4. Ecosistema de Código Abierto: Los autores hacen de código abierto completo el marco de generación de datos, los prompts y el conjunto de datos resultante (5,000 puntos de datos), todos producidos utilizando GPT-OSS-120B, un modelo docente de pesos abiertos y amigable con la licencia.

Resultados Experimentales

Los autores evaluaron DiGiT-TC en tres puntos de referencia estándar: BFCL (Berkeley Function Calling Leaderboard), $\tau$-bench y ACEBench.

• Ganancias de Rendimiento: El ajuste fino de modelos base (por ejemplo, Granite-4.1-3B, Llama3.1-8B-Inst) con datos de DiGiT-TC resultó en mejoras significativas de rendimiento (que van desde 6 hasta 25 puntos porcentuales) sobre los modelos base.
• Comparación de Puntos de Referencia:
  • En la categoría BFCL Multi-Vuelta, DiGiT-TC (usando Llama3.1-8B-Inst) logró una precisión del 35.5%, superando otros enfoques de datos abiertos como ToolWeave (25.0%) y Magnet (26.5%), y acercándose al rendimiento de modelos entrenados con datos de vanguardia (por ejemplo, ToolACE-MT con 40.3%).
  • El método demostró una fuerte generalización en $\tau$-bench y ACEBench, superando consistentemente a enfoques anteriores entrenados exclusivamente con datos de código abierto.
• Estudios de Ablación:
  • Eliminar las Llamadas a Herramientas Implícitas causó una caída del 4% en el rendimiento, confirmando su necesidad para el razonamiento complejo.
  • Eliminar la Traducción Inversa causó una caída del 3%, destacando su papel en la reducción del ruido.
  • Usar un modelo docente más pequeño (GPT-OSS-20B) resultó en una caída de ~2%, sugiriendo que, aunque los modelos más grandes ayudan, el método sigue siendo efectivo con modelos más pequeños y accesibles.

Significado y Afirmaciones

El artículo afirma que DiGiT-TC aborda una brecha crítica en el desarrollo de IA agéntica: la capacidad de entrenar modelos más pequeños en datos complejos de llamadas a herramientas de múltiples vueltas sin los riesgos de privacidad y costos asociados con el acceso a backends reales con estado.

• Privacidad y Escalabilidad: Al depender únicamente de especificaciones de herramientas y modelos de pesos abiertos, el enfoque evita los riesgos de seguridad de los datos de interactuar con backends empresariales.
• Rentabilidad: Los autores señalan que el uso de GPT-OSS-120B es significativamente más barato que el uso de modelos de vanguardia como GPT-4o (aprox. $0.015 por ejemplo frente a costos significativamente más altos para GPT-4), haciendo que la generación de datos sintéticos de alta calidad sea accesible para un rango más amplio de profesionales.
• Estado del Arte para Modelos Abiertos: El trabajo establece un nuevo estado del arte para el rendimiento de llamadas a herramientas de múltiples vueltas entre modelos entrenados exclusivamente con datos producidos por modelos docentes de código abierto y pesos abiertos.

Los autores reconocen modestamente que para tareas donde está disponible una simulación completa del estado de un sistema, los métodos que aprovechan ese estado podrían seguir siendo superiores. Sin embargo, DiGiT-TC proporciona un proceso robusto y repetible para generar datos de entrenamiento de alta calidad en ausencia de dichos entornos.