Resumo Técnico: SynAE – Uma Framework para Medir a Qualidade de Dados Sintéticos para Avaliações de Agentes de Chamada de Ferramentas

1. Declaração do Problema

Agentes de chamada de ferramentas estão sendo cada vez mais avaliados usando conjuntos de dados estáticos de rastros de execução (compostos por entradas do usuário, respostas do agente, chamadas de ferramentas e saídas finais). No entanto, os praticantes frequentemente enfrentam barreiras significativas na utilização de dados de produção do mundo real para testes devido a restrições de privacidade, preocupações proprietárias ou esparsidade de dados. Consequentemente, há uma dependência crescente de conjuntos de dados sintéticos para substituir ou aumentar dados reais para fins de avaliação.

O problema central identificado é a falta de métodos sistemáticos para quantificar a relação entre esses conjuntos de dados sintéticos e os dados reais que eles visam replicar. A literatura atual sobre testes de agentes com dados sintéticos fornece quase nenhum método quantitativo para avaliar a qualidade desses dados, deixando os operadores com pouca visibilidade sobre lacunas de avaliação. As métricas de avaliação existentes geralmente focam se um agente executa corretamente em um benchmark, em vez de avaliar o próprio benchmark quanto à validade, fidelidade e diversidade.

2. Metodologia: A Framework SynAE

Os autores introduzem o SynAE, uma framework de avaliação abrangente projetada para avaliar o quão bem as trajetórias sintéticas replicam e aumentam as características das trajetórias de dados reais. O SynAE opera recebendo como entrada um conjunto de dados base real ($D$), um conjunto de dados sintético ($D'$) e configurações de métricas opcionais (incluindo conhecimento prévio e agentes LLM específicos).

A framework avalia dados sintéticos através de três propriedades primárias, medidas por quatro aspectos distintos de avaliação:

1. Instruções e Respostas de Tarefa
2. Chamadas de Ferramentas
3. Saídas Finais
4. Avaliação a Jusante

2.1 Pilares de Avaliação

O SynAE divide suas métricas em três pilares:

A. Validade
A validade avalia se as chamadas de ferramentas e saídas sintéticas cumprem com sucesso as instruções dadas.

• Métrica: Taxa de Validade (VR).
• Método: Por padrão, um LLM como juiz (Mistral-7B-Instruct) é usado para determinar se chamadas de ferramentas ou saídas cumprem a tarefa. Verificadores baseados em regras são usados onde disponíveis. Uma amostra é considerada válida apenas se a chamada de ferramenta ou saída satisfizer totalmente a instrução (correção parcial é rejeitada).

B. Fidelidade
A fidelidade mede a similaridade entre dados sintéticos e reais, crucial quando dados sintéticos substituem dados reais devido a restrições de privacidade.

• Instruções e Respostas:
  • Dependência de Nó Chave (KND): Mede dependências semânticas entre instruções e respostas via similaridades de cosseno de embeddings.
  • Correspondência de Atributo (AM): Calcula distâncias distribucionais (Wasserstein-2 para numéricos, Variação Total para categóricos) sobre atributos como contagens de turnos e comprimentos de tokens.
  • Precisão/Recall KNN e FID: Medem qualidade semântica e cobertura usando distâncias de embeddings.
• Chamadas de Ferramentas:
  • Correspondência de Uso de Ferramentas (TUM): Compara distribuições gerais de uso de ferramentas.
  • Correspondência de Número de Chamadas de Ferramentas (TCNM): Compara distribuições de contagens de chamadas de ferramentas por amostra.
  • Correspondência de Planejamento de Ferramentas em k-Etapas: Mede similaridade em distribuições condicionais da próxima ferramenta dadas as $k-1$ chamadas de ferramentas anteriores.
• Saídas: Usa Precisão KNN, Recall KNN e FID em relação ao conjunto de dados real.
• Avaliação a Jusante:
  • Diferença de Dificuldade de Tarefa (TDD): Mede a diferença absoluta no desempenho de conclusão de tarefa entre tarefas reais e sintéticas através de múltiplos agentes.
  • Divergência de Classificação (RD): Calcula correlação de rank de Spearman para determinar se os rankings de desempenho do agente são preservados.

C. Diversidade
A diversidade é crítica quando dados sintéticos são usados para melhorar a cobertura (por exemplo, adicionando outliers). Essas métricas são livres de referência (não requerem dados reais).

• Pontuação Vendi (Vendi): Calcula diversidade baseada na entropia exponencial de autovalores de uma matriz de similaridade (similaridade de cosseno para texto, distância de Levenshtein para sequências de chamadas de ferramentas).
• Diversidade de Atributo (AD): Mede a entropia de distribuições de atributos especificadas pelo usuário (por exemplo, tipos de atração, cidades).

3. Configuração Experimental

Os autores avaliaram o SynAE em três benchmarks de agentes recentes tratados como conjuntos de dados "reais":

1. T1: Recomendação de atrações multi-turno (225 amostras).
2. BFCL: Chamada de função multi-turno através de domínios como operações de arquivo e viagens (200 amostras).
3. ACP: Domínios de planejamento incluindo transporte e ações de robô (260 amostras).

Métodos de Geração de Dados Sintéticos:
Para testar a sensibilidade do SynAE, os autores construíram conjuntos de dados sintéticos usando:

• Modificações Controladas:
  • Preenchimento em Branco: Mascaramento aleatório de tokens em instruções para degradar fidelidade.
  • Sobreamostragem: Duplicação de amostras para reduzir diversidade.
  • Geração em Contexto: Variação do número e aleatoriedade de exemplos em contexto.
  • Invalidação: Substituição de chamadas de ferramentas/saídas válidas por incorretas para degradar validade.
• Padrão da Indústria: NVIDIA NeMo Data Designer usando vários modelos de backend (GPT-4o-mini, Llama3.1, Nemotron, Mistral) e temperaturas.

4. Resultados Chave

• Detecção Granular: O SynAE captura com sucesso variações finas em validade, fidelidade e diversidade. Por exemplo, aumentar a probabilidade de mascaramento no "Preenchimento em Branco" degradou métricas de fidelidade (Precisão KNN) enquanto aumentava a diversidade (Pontuação Vendi). Inversamente, a "Sobreamostragem" reduziu diversidade e cobertura (Recall KNN) enquanto preservava alguma fidelidade.
• Sensibilidade à Invalidação: A framework detectou uma diminuição monótona na Taxa de Validade à medida que a proporção de amostras inválidas aumentava, confirmando sua capacidade de identificar dados inutilizáveis.
• Compensações: Experimentos revelaram que nenhuma categoria única de métrica caracteriza totalmente dados sintéticos. Por exemplo, aumentar o número de exemplos em contexto ($k$) não melhorou uniformemente todas as métricas de fidelidade; melhorou a Precisão KNN em alguns casos, mas reduziu o Recall KNN.
• Impacto a Jusante: A framework demonstrou que conjuntos de dados sintéticos com alta fidelidade em instruções podem ainda falhar na avaliação a jusante se padrões de planejamento de ferramentas divergirem, destacando a necessidade de avaliação multi-eixo.
• Estudo de Caso de Refinamento Iterativo: Em um fluxo de trabalho simulado, o SynAE ajudou um praticante a diagnosticar um conjunto de dados enviesado (baixa diversidade), tentar uma correção via "Rerotulagem" (que melhorou a diversidade, mas quebrou a validade), e finalmente alcançar um resultado equilibrado usando NVIDIA NeMo com um backend de alta capacidade (GPT-4o-mini), que preservou validade e fidelidade enquanto melhorava a diversidade.

5. Significado e Alegações

O artigo alega que nenhuma métrica única é suficiente para caracterizar totalmente a qualidade de dados sintéticos para testes de agentes. O significado do SynAE reside em sua capacidade de fornecer uma avaliação multi-eixo que:

1. Quantifica a lacuna entre dados sintéticos e reais através de dimensões semânticas, estruturais e estatísticas.
2. Detecta modos de falha específicos (por exemplo, nomes de ferramentas alucinados, falta de diversidade ou padrões de planejamento degradados) que abordagens de métrica única podem perder.
3. Suporta refinamento iterativo, permitindo que praticantes diagnostiquem gargalos e ajustem estratégias de geração (por exemplo, seleção de modelo, temperatura ou técnicas de aumento) com base em feedback quantitativo.

Os autores posicionam o SynAE como um componente plug-in para fluxos de trabalho agênticos, permitindo que operadores avaliem automaticamente a qualidade de conjuntos de dados de benchmark sintéticos antes da implantação. Eles reconhecem limitações, notando que o foco atual está em configurações de chamada de ferramentas multi-turno, e estender a framework para ambientes interativos ou coordenação multi-agente é uma direção para trabalho futuro.