💬 NLP

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

El artículo presenta SynAE, un marco de evaluación multieje diseñado para evaluar la validez, la fidelidad y la diversidad de los conjuntos de datos sintéticos para agentes de llamadas a herramientas mediante el análisis de las instrucciones de tarea, las llamadas a herramientas, las salidas y el rendimiento posterior, demostrando que ninguna métrica única es suficiente para caracterizar la calidad de los datos sintéticos.

Autores originales: Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando perfeccionar una nueva receta. Por lo general, pruebas tu plato usando ingredientes reales del mercado. Pero a veces, no puedes usar el mercado real (quizás es demasiado caro, o los ingredientes son secretos). Así que decides cocinar con ingredientes sintéticos: verduras falsas y carne artificial fabricadas en un laboratorio.

¿El problema? No sabes si tus ingredientes falsos sabrán realmente como los reales, o si harán que el plato se desmorone.

Este artículo introduce SynAE, un marco de trabajo de "prueba de sabor" diseñado específicamente para verificar la calidad de estos ingredientes sintéticos antes de servirlos a tus clientes (en este caso, agentes de IA).

Así es como funciona SynAE, desglosado en conceptos simples:

1. El Problema: El Punto Ciego de los "Datos Falsos"

Los agentes de IA (programas inteligentes que pueden usar herramientas como motores de búsqueda o calculadoras) necesitan ser probados. Por lo general, los desarrolladores los prueban con datos reales (registros de personas reales pidiendo ayuda). Pero los datos reales a menudo son privados, sensibles o simplemente demasiado pequeños para probarlo todo.

Así que los desarrolladores crean datos sintéticos: conversaciones y tareas falsas generadas por computadoras para imitar la vida real.

El Riesgo: Solo porque los datos falsos parecen datos reales no significa que actúen como datos reales. Podrían verse perfectos pero fallar cuando la IA intenta usarlos.
La Brecha: Hasta ahora, no existía una "regla" estándar para medir exactamente qué tan buenos o malos eran estos datos falsos.

2. La Solución: SynAE (El Inspector de Control de Calidad)

SynAE es un marco de trabajo que compara el Conjunto de Datos Real (el estándar de oro) contra el Conjunto de Datos Sintético (el falso). No solo dice "Bueno" o "Malo"; mide tres cualidades específicas:

A. Validez: "¿Realmente funciona?"

La Analogía: Imagina una receta falsa que dice "Añade 5 tazas de azúcar". Si la sigues, tu pastel se quema. Eso es inválido.
Lo que verifica SynAE: Pregunta: "Si una IA sigue estas instrucciones falsas, ¿realmente termina la tarea?". Verifica si las llamadas a herramientas (como hacer clic en un botón) y las respuestas finales tienen sentido y resuelven el problema. Si las instrucciones son confusas o llevan a un callejón sin salida, SynAE lo marca como "Inválido".

B. Fidelidad: "¿Se siente como la cosa real?"

La Analogía: Imagina una fruta de cera. Parece una manzana, pero si la muerdes, es dura y sin sabor. Le falta la "fidelidad" (fidelidad) de una manzana real.
Lo que verifica SynAE: Compara los datos falsos con los datos reales para ver qué tan similares son.
- Estructura: ¿Tienen las conversaciones falsas el mismo ritmo de ida y vuelta que las reales?
- Patrones: ¿Usan los agentes falsos las herramientas en el mismo orden y frecuencia que los agentes reales?
- Contenido: ¿Son las preguntas y respuestas falsas semánticamente cercanas a las reales?
- Si los datos falsos son demasiado diferentes del mundo real, tienen baja fidelidad.

C. Diversidad: "¿Es aburrido o interesante?"

La Analogía: Imagina una lista de reproducción donde la misma canción suena 100 veces. No es diversa. Ahora imagina una lista de reproducción con 100 géneros diferentes. Eso es diverso.
Lo que verifica SynAE: Mide si los datos sintéticos cubren una amplia variedad de escenarios. Si los datos falsos solo repiten los mismos pocos tipos de preguntas una y otra vez, tienen baja diversidad. Esto es malo porque la IA no aprenderá a manejar situaciones nuevas y extrañas.

3. Cómo lo Probaron

Los autores no solo hablaron de ello; construyeron un laboratorio de "prueba de estrés". Tomaron conjuntos de datos reales y los rompieron intencionalmente de maneras específicas para ver si SynAE podía detectar los errores:

La Prueba de "Relleno en Blanco": Tomaron instrucciones reales y ocultaron palabras al azar, obligando a una IA a adivinar el resto. A medida que ocultaban más palabras, los datos empeoraban. SynAE detectó correctamente que la fidelidad disminuyó (ya no se parecía a la cosa real) pero la diversidad aumentó (las suposiciones estaban dispersas por todas partes).
La Prueba de "Copiar y Pegar": Tomaron unos pocos ejemplos reales y los copiaron 100 veces. SynAE marcó correctamente que la diversidad se desplomó (todo era lo mismo) aunque la fidelidad se mantuvo alta (aún parecía la cosa real).
La Prueba de "Herramienta Rota": Mantuvieron las instrucciones pero dieron a la IA las herramientas incorrectas para usar. SynAE detectó que la validez había desaparecido porque las tareas no podían completarse.

4. El Gran Descubrimiento

El hallazgo más importante es que ningún número único cuenta toda la historia.

Puedes tener datos que son muy válidos (funcionan) pero tienen baja diversidad (son aburridos).
Puedes tener datos que son muy diversos (son emocionantes) pero tienen baja fidelidad (no se parecen al mundo real).
Puedes tener datos que se ven perfectos (alta fidelidad) pero están rotos (baja validez).

Conclusión

SynAE es como un panel de control multieje para desarrolladores de IA. En lugar de solo adivinar si sus datos falsos son buenos, pueden usar SynAE para ver exactamente dónde están fallando. ¿Es demasiado repetitivo? ¿Es demasiado diferente de la realidad? ¿Está realmente roto?

El artículo concluye que antes de confiar en datos sintéticos para probar tus agentes de IA, necesitas este tipo de chequeo detallado y multidimensional para asegurar que no estás entrenando a tu IA con una "fruta de cera" que parece real pero no tiene sabor.

Resumen Técnico: SynAE – Un Marco para Medir la Calidad de los Datos Sintéticos para Evaluaciones de Agentes de Llamada a Herramientas

1. Declaración del Problema

Los agentes de llamada a herramientas son evaluados cada vez más mediante conjuntos de datos estáticos de trazas de ejecución (que comprenden entradas de usuario, respuestas del agente, llamadas a herramientas y salidas finales). Sin embargo, los profesionales a menudo enfrentan barreras significativas para utilizar datos de producción del mundo real en pruebas debido a restricciones de privacidad, preocupaciones de propiedad o escasez de datos. En consecuencia, existe una creciente dependencia de conjuntos de datos sintéticos para reemplazar o aumentar los datos reales con fines de evaluación.

El problema central identificado es la falta de métodos sistemáticos para cuantificar la relación entre estos conjuntos de datos sintéticos y los datos reales que buscan replicar. La literatura actual sobre la prueba de agentes con datos sintéticos proporciona casi ningún método cuantitativo para evaluar la calidad de dichos datos, dejando a los operadores con poca visibilidad sobre las brechas de evaluación. Las métricas de evaluación existentes se centran típicamente en si un agente se desempeña correctamente en una prueba de referencia, en lugar de evaluar la propia prueba de referencia en cuanto a validez, fidelidad y diversidad.

2. Metodología: El Marco SynAE

Los autores introducen SynAE, un marco de evaluación integral diseñado para evaluar qué tan bien las trayectorias sintéticas replican y aumentan las características de las trayectorias de datos reales. SynAE opera tomando como entradas un conjunto de datos de referencia real ( $D$ ), un conjunto de datos sintético ( $D'$ ) y configuraciones de métricas opcionales (incluyendo conocimiento previo y agentes LLM específicos).

El marco evalúa los datos sintéticos a través de tres propiedades principales, medidas mediante cuatro aspectos de evaluación distintos:

Instrucciones y Respuestas de Tareas
Llamadas a Herramientas
Salidas Finales
Evaluación Aguas Abajo

2.1 Pilares de Evaluación

SynAE divide sus métricas en tres pilares:

A. Validez
La validez evalúa si las llamadas a herramientas y salidas sintéticas cumplen exitosamente las instrucciones dadas.

Métrica: Tasa de Validez (VR).
Método: Por defecto, se utiliza un LLM como juez (Mistral-7B-Instruct) para determinar si las llamadas a herramientas o las salidas cumplen la tarea. Se utilizan verificadores basados en reglas cuando están disponibles. Una muestra se considera válida solo si la llamada a la herramienta o la salida satisface completamente la instrucción (la corrección parcial es rechazada).

B. Fidelidad
La fidelidad mide la similitud entre los datos sintéticos y los reales, lo cual es crucial cuando los datos sintéticos reemplazan a los reales debido a restricciones de privacidad.

Instrucciones y Respuestas:
- Dependencia de Nodos Clave (KND): Mide las dependencias semánticas entre instrucciones y respuestas mediante similitudes coseno de incrustaciones.
- Coincidencia de Atributos (AM): Calcula distancias distribucionales (Wasserstein-2 para numéricos, Variación Total para categóricos) sobre atributos como conteos de turnos y longitudes de tokens.
- Precisión/Recall de KNN y FID: Miden la calidad semántica y la cobertura utilizando distancias de incrustaciones.
Llamadas a Herramientas:
- Coincidencia de Uso de Herramientas (TUM): Compara las distribuciones generales de uso de herramientas.
- Coincidencia de Número de Llamadas a Herramientas (TCNM): Compara las distribuciones de conteos de llamadas a herramientas por muestra.
- Coincidencia de Planificación de Herramientas de k-Pasos: Mide la similitud en las distribuciones condicionales de la siguiente herramienta dada las $k-1$ llamadas a herramientas anteriores.
Salidas: Utiliza Precisión de KNN, Recall de KNN y FID en relación con el conjunto de datos real.
Evaluación Aguas Abajo:
- Diferencia de Dificultad de Tarea (TDD): Mide la diferencia absoluta en el rendimiento de finalización de tareas entre tareas reales y sintéticas a través de múltiples agentes.
- Divergencia de Clasificación (RD): Calcula la correlación de rango de Spearman para determinar si se preservan las clasificaciones de rendimiento de los agentes.

C. Diversidad
La diversidad es crítica cuando los datos sintéticos se utilizan para mejorar la cobertura (por ejemplo, añadiendo valores atípicos). Estas métricas son libres de referencia (no requieren datos reales).

Puntuación Vendi (Vendi): Calcula la diversidad basada en la entropía exponencial de los valores propios de una matriz de similitud (similitud coseno para texto, distancia de Levenshtein para secuencias de llamadas a herramientas).
Diversidad de Atributos (AD): Mide la entropía de las distribuciones de atributos especificadas por el usuario (por ejemplo, tipos de atracciones, ciudades).

3. Configuración Experimental

Los autores evaluaron SynAE en tres pruebas de referencia de agentes recientes tratadas como conjuntos de datos "reales":

T1: Recomendación de atracciones de múltiples turnos (225 muestras).
BFCL: Llamadas a funciones de múltiples turnos en dominios como operaciones con archivos y viajes (200 muestras).
ACP: Dominios de planificación que incluyen transporte y acciones de robots (260 muestras).

Métodos de Generación de Datos Sintéticos:
Para probar la sensibilidad de SynAE, los autores construyeron conjuntos de datos sintéticos utilizando:

Modificaciones Controladas:
- Relleno en Blanco: Enmascarar aleatoriamente tokens en las instrucciones para degradar la fidelidad.
- Sobremuestreo: Duplicar muestras para reducir la diversidad.
- Generación en Contexto: Variar el número y la aleatoriedad de los ejemplos en contexto.
- Invalidación: Reemplazar llamadas a herramientas o salidas válidas con incorrectas para degradar la validez.
Estándar de la Industria: NVIDIA NeMo Data Designer utilizando varios modelos de backend (GPT-4o-mini, Llama3.1, Nemotron, Mistral) y temperaturas.

4. Resultados Clave

Detección de Alta Granularidad: SynAE captura con éxito variaciones de alta granularidad en validez, fidelidad y diversidad. Por ejemplo, aumentar la probabilidad de enmascaramiento en "Relleno en Blanco" degradó las métricas de fidelidad (Precisión de KNN) mientras aumentaba la diversidad (Puntuación Vendi). Por el contrario, el "Sobremuestreo" redujo la diversidad y la cobertura (Recall de KNN) mientras preservaba cierta fidelidad.
Sensibilidad a la Invalidación: El marco detectó una disminución monótona en la Tasa de Validez a medida que aumentaba la proporción de muestras inválidas, confirmando su capacidad para detectar datos inutilizables.
Compensaciones: Los experimentos revelaron que ninguna categoría de métrica caracteriza completamente los datos sintéticos. Por ejemplo, aumentar el número de ejemplos en contexto ( $k$ ) no mejoró uniformemente todas las métricas de fidelidad; mejoró la Precisión de KNN en algunos casos pero redujo el Recall de KNN.
Impacto Aguas Abajo: El marco demostró que los conjuntos de datos sintéticos con alta fidelidad en las instrucciones aún pueden fallar en la evaluación aguas abajo si los patrones de planificación de herramientas divergen, destacando la necesidad de una evaluación multi-eje.
Estudio de Caso de Refinamiento Iterativo: En un flujo de trabajo simulado, SynAE ayudó a un profesional a diagnosticar un conjunto de datos sesgado (baja diversidad), intentar una solución mediante "Reetiquetado" (lo cual mejoró la diversidad pero rompió la validez), y finalmente lograr un resultado equilibrado utilizando NVIDIA NeMo con un backend de alta capacidad (GPT-4o-mini), que preservó la validez y la fidelidad mientras mejoraba la diversidad.

5. Significado y Afirmaciones

El artículo afirma que ninguna métrica única es suficiente para caracterizar completamente la calidad de los datos sintéticos para la prueba de agentes. El significado de SynAE radica en su capacidad para proporcionar una evaluación multi-eje que:

Cuantifica la brecha entre los datos sintéticos y los reales a través de dimensiones semánticas, estructurales y estadísticas.
Detecta modos de fallo específicos (por ejemplo, nombres de herramientas alucinados, falta de diversidad o patrones de planificación degradados) que los enfoques de métrica única podrían pasar por alto.
Apoya el refinamiento iterativo, permitiendo a los profesionales diagnosticar cuellos de botella y ajustar estrategias de generación (por ejemplo, selección de modelos, temperatura o técnicas de aumento) basándose en retroalimentación cuantitativa.

Los autores posicionan a SynAE como un componente de conexión para flujos de trabajo de agentes, permitiendo a los operadores evaluar automáticamente la calidad de los conjuntos de datos de prueba sintéticos antes del despliegue. Reconocen limitaciones, señalando que el enfoque actual está en configuraciones de llamada a herramientas de múltiples turnos, y extender el marco a entornos interactivos o coordinación multi-agente es una dirección para trabajos futuros.