Resumen Técnico: Diversidad Lingüística y de Argumentos en Datos Sintéticos para Agentes de Llamada a Funciones

Planteamiento del Problema

El desarrollo de agentes de llamada a funciones, que permiten a los Modelos de Lenguaje de Gran Escala (LLM) interactar con APIs y herramientas externas, se ve actualmente obstaculizado por la escasez de datos de entrenamiento de alta calidad y diversos. Si bien investigaciones previas han abordado la necesidad de diversidad en las funciones mismas (cubriendo varios dominios), las estructuras de invocación (turno único vs. multiturno) y los tipos de respuesta (llamada vs. no llamada), dos dimensiones críticas permanecen poco exploradas:

1. Diversidad Lingüística: La variación en la forma, el estilo y la expresión semántica de las peticiones del usuario. Los conjuntos de datos existentes suelen depender de variaciones superficiales o plantillas de prompts fijas, fallando al capturar el espectro completo de cómo los usuarios podrían expresar intenciones idénticas.
2. Diversidad de Argumentos: La variación en los valores de los parámetros (por ejemplo, nombres de ciudades específicos, tickers de acciones, fechas). Los conjuntos de datos generados tienden a concentrarse en valores "head" (ej. "New York", "AAPL"), lo que puede dejar a los modelos sin preparación para valores "tail" menos comunes, limitando su robustez en escenarios fuera de distribución (OOD).

Metodología

Los autores proponen un novedoso flujo de generación de datos que optimiza la diversidad sin depender de reglas manuales, taxonomías predefinidas o grupos de personas estáticos. El núcleo de su enfoque es un procedro de generación diversa codiciosa (greedy) que selecciona iterativamente elementos para maximizar una métrica de contribución de diversidad marginal.

Componentes Principales

1. Marco de Generación Diversa:

   • El sistema opera en rondas, generando candidatos y seleccionando los mejores $b$ candidatos basados en una puntuación de diversidad $D(c; E)$, definida como el incremento marginal en una métrica de diversidad de nivel de conjunto $\tilde{D}$ al añadir el candidato $c$ al conjunto existente $E$.
   • El proceso utiliza un LLM para generar candidatos basados en instrucciones $I$ y ejemplos existentes $E$.
   • Crucialmente, las instrucciones se actualizan en rondas posteriores basadas en las puntuaciones de los candidatos anteriores y un proceso de filtrado $F$ que elimina elementos inválidos o incorrectos. Esto crea un bucle de retroalimentación que orienta la generación hacia regiones subrepresentadas del espacio de datos.

2. Generación de Valores de Argumentos:

   • Preprocesamiento: Los parámetros a través de diferentes APIs se agrupan mediante similitud semántica (usando embeddings) para identificar grupos (ej. "nombre de ciudad", "ticker de acción").
   • Optimización: Para parámetros numéricos y de cadena, el sistema emplea una estrategia de "aumentación virtual". El LLM genera un gran grupo de candidatos (ej. 25), de los cuales se selecciona un subconjunto para maximizar la Entropía de Clúster. Esta métrica mide la entropía de la distribución de valores a través de clústeres semánticos, fomentando la selección de valores "tail" en lugar de los valores frecuentes "head".
   • Consistencia: Para llamadas a API secuenciales, los parámetros se generan hacia atrás desde la última API para asegurar la cohesión lógica, mientras que las llamadas paralelas aseguran un contexto compartido (ej. misma ubicación) entre las APIs.

3. Generación de Consultas (Peticiones):

   • Dado una función objetivo y valores de argumentos, el sistema genera consultas en lenguaje natural.
   • La diversidad se optimiza utilizando una métrica compuesta derivada mediante Fusión de Clasificación Recíproca (RRF). Esta fusiona clasificaciones de múltiples métricas independientes:
     • Léxica: Relación Tipo-Token (TTR), Relación de Compresión.
     • Sintáctica: Entropía del árbol de análisis (parse tree), varianza en la longitud de la consulta.
     • Semántica: Variedad de paráfrasis (similitud de embeddings), Distancia de Chamfer, Vendi score.
   • Un juez LLM valida que la consulta generada justifique lógicamente la llamada a la API y los parámetros específicos.

4. Selección de Distractores:

   • Para crear ejemplos de entrenamiento realistas, el sistema recupera distractores de "negativos difíciles" (APIs irrelevantes) que están semánticamente cerca de la consulta pero no son la respuesta correcta. Esto se logra mediante la recuperación basada en embeddings seguida de un filtro de plausibilidad basado en LLM y un "método del codo" para determinar el punto de corte de los puntajes de relevancia.

Contribuciones Clave

1. Un Nuevo Componente de Diversidad: Un mecanismo de propósito general y libre de reglas para generar elementos diversos mediante la optimización de métricas de diversidad marginal. Este componente es adaptable a nuevos dominios sin reconfiguración manual.
2. Técnica de Generación de Datos Sintéticos: La aplicación de este componente a los datos de llamada a funciones, apuntando específicamente a la variación lingüística en las consultas y la diversidad de valores de argumentos en los parámetros.
3. Análisis Exhaustivo: Una evaluación detallada que demuestra que aumentar estas dimensiones específicas de diversidad mejora el rendimiento del modelo, particularmente en entornos OOD.

Resultados

Los autores evaluaron su método contra líneas base de estado del arte (SoTA), específicamente ToolAce y APIGen, así como el benchmark BFCL.

Evaluación Intrínseca (Calidad de los Datos)

• Diversidad de Argumentos: El método propuesto logró puntuaciones de Diversidad NCD y Entropía de Clúster significativamente más altas en comparación con ToolAce y APIGen. Por ejemplo, en argumentos de moneda, mientras que las líneas base estaban dominadas por "USD", el método propuesto produjo una distribución equilibrada entre varias monedas.
• Diversidad Lingüística: El conjunto de datos generado superó a las líneas base en casi todas las métricas lingüísticas (Índice de Simpson, Distancia de Edición de Árbol, Dispersión Semántica, Vendi Score) con significancia estadística. La única excepción fue la varianza en la longitud de la consulta, donde las líneas base presentaron valores atípicos.
• Correctitud: La inspección manual y el juicio automatizado confirmaron que el aumento de la diversidad no comprometió la exactitud de los datos; los ejemplos generados siguieron siendo realistas y válidos.

Evaluación Extrínseca (Rendimiento del Modelo)

Los autores ajustaron (fine-tuned) Llama-3.1-8B-Instruct utilizando su conjunto de datos y lo compararon con modelos ajustados con datos de ToolAce y APIGen.

• Rendimiento Fuera de Distribución (OOD): Los modelos entrenados con el conjunto de datos propuesto mostraron una generalización superior cuando fueron probados en conjuntos de datos para los cuales no fueron entrenados.
  • En el conjunto de prueba de APIGen, el modelo propuesto superó al modelo entrenado con ToolAce por 4.2 puntos de precisión.
  • En el conjunto de prueba de ToolAce, el modelo propuesto superó al entrenado con APIGen por 3.8 puntos de precisión.
• Benchmark BFCL: Al ser evaluado en el líder de llamadas a funciones de Berkeley (subconjunto no vivo), el modelo entrenado con el conjunto de datos propuesto alcanzó un 85.2% de precisión, superando significativamente a sus contrapartes de ToolAce (77.8%) y APIGen (77.1%). Esto representa un incremento de ~7.4% en la precisión sobre las líneas base.

Significancia y Reivindicaciones

El artículo sostiene que la falta de diversidad lingüística y de argumentos en los conjuntos de datos sintéticos actuales es un cuello de botella para la robustez de los agentes de llamada a funciones. Al optimizar directamente estas dimensiones mediante un enfoque de propósito general impulsado por métricas, los autores demuestran que:

1. La Diversidad Impulsa la Generalización: El aumento de la diversidad en los datos de entrenamiento conduce a mejoras medibles en el rendimiento OOD, sugiriendo que los modelos entrenados con datos diversos son mejores para manejar formulaciones de usuario y valores de parámetros poco comunes.
2. Automatización sobre Curación Manual: El método propuesto logra una diversidad superior sin la necesidad de escribir reglas manuales o definir personas fijas, lo que lo hace escalable y adaptable a nuevos dominios.
3. Impacto Práctico: La técnica proporciona una vía para generar datos de entrenamiento de alta calidad que cierran la brecha entre los benchmarks sintéticos y el rendimiento de los agentes en el mundo real, como lo demuestra la ganancia significativa en el benchmark BFCL.

Los autores mantienen la modestia respecto a las limitaciones, señalando que su análisis actual se restringe al inglés, que el proceso de generación depende de LLMs fuertes (y, por tanto, costosos) para el filtrado, y que el estudio se centra en interacciones de un solo turno, dejando la diversidad de multiturnos como una dirección para trabajos futuros.