VoiceAgentBench: Are Voice Assistants ready for agentic tasks?

1. Problema e Motivação

Os modelos de linguagem grandes (LLMs) evoluíram para agentes inteligentes capazes de raciocínio, planejamento e execução de tarefas complexas através de ferramentas externas. No entanto, a pesquisa atual foca predominantemente em interações baseadas em texto, negligenciando o voz como um modo natural e acessível para controle em cenários do mundo real.

Existem lacunas críticas na avaliação de assistentes de voz:

• Foco em Capacidades Isoladas: Os benchmarks existentes avaliam principalmente transcrição (ASR) ou resposta a perguntas simples, ignorando comportamentos "agênticos" complexos (uso de ferramentas, diálogo multi-turno, tomada de decisão contextual).
• Falta de Robustez Adversarial e Multilingue: Pouco se sabe sobre a capacidade dos modelos de lidar com consultas maliciosas ou de generalizar para idiomas além do inglês, especialmente em idiomas de baixa recursos como os da Índia (Indic).
• Arquitetura vs. End-to-End: Há um debate não resolvido sobre a eficácia de pipelines modulares (ASR + LLM) versus Modelos de Linguagem de Fala (SpeechLMs) end-to-end para tarefas agênticas.

2. Metodologia: VoiceAgentBench (VAB)

Para abordar essas lacunas, os autores introduzem o VoiceAgentBench, um benchmark abrangente projetado para avaliar a capacidade de agentes de voz em cenários realistas.

Construção dos Dados

• Escala e Diversidade: O conjunto de dados contém mais de 6.000 consultas faladas sintéticas, cobrindo 7 idiomas (Inglês e 6 idiomas Indic: Hindi, Bengali, Marathi, Tamil, Telugu e Malaiala).
• Geração de Áudio Diversificada: Para simular a variabilidade real de falantes (sotaques, estilos de fala), os autores desenvolveram uma estratégia de amostragem baseada em embeddings de falantes (usando o modelo ECAPA-TDNN). Eles utilizam o algoritmo Farthest Point Sampling (FPS) para selecionar amostras de áudio que maximizam a diversidade acústica no espaço de embeddings antes da conversão Texto-para-Fala (TTS).
• Categorias de Tarefas Agênticas: O benchmark é dividido em seis categorias principais:
  1. Chamada de Ferramenta Única (SinTC): Preenchimento de parâmetros simples.
  2. Ferramenta Única com Recuperação: Seleção da ferramenta correta entre várias opções.
  3. Chamadas de Ferramentas Paralelas: Execução simultânea de múltiplas ferramentas independentes.
  4. Chamadas de Ferramentas Dependentes em Sequência (SeqDep): Fluxos de trabalho onde a saída de uma ferramenta é a entrada da próxima (ex: obter localização -> estimar custo -> confirmar reserva).
  5. Chamada de Ferramenta Baseada em Diálogo (Multi-Turn): Interações conversacionais para chegar a uma ação final.
  6. Avaliação de Segurança: Testes de recusa a consultas adversárias e combinações de ferramentas inseguras.

Framework de Avaliação

O sistema avalia os modelos através de quatro métricas principais:

1. Seleção de Ferramenta (TS): Precisão na escolha do nome da ferramenta correta.
2. Estrutura da Chamada (TCS): Validação do formato de saída (sintaxe Python/Pydantic).
3. Preenchimento de Parâmetros (PF): Precisão semântica dos argumentos (avaliada por um LLM juiz, GPT-4o-mini, para lidar com variações semânticas).
4. Taxa de Recusa (RR): Capacidade de recusar solicitações perigosas ou ilegais.

3. Contribuições Principais

1. Primeiro Benchmark Agêntico de Fala: O VAB é o primeiro benchmark projetado especificamente para avaliar o uso de ferramentas agênticas em configurações baseadas em voz, com foco em generalização multilingue e cenários culturalmente enraizados na Índia.
2. Método de Amostragem de Diversidade: Proposição de uma estratégia baseada em embeddings para gerar dados sintéticos de voz que capturam a heterogeneidade real de falantes, superando métodos de amostragem aleatória.
3. Análise Comparativa de Arquiteturas: Avaliação sistemática comparando SpeechLMs (end-to-end) versus Pipelines ASR-LLM (modulares), revelando gargalos específicos de cada abordagem.
4. Descoberta de Limitações Críticas: Identificação de falhas severas em tarefas sequenciais complexas e em cenários de segurança, especialmente em idiomas não ingleses.

4. Resultados Experimentais

Os autores avaliaram modelos de ponta (SpeechLMs como KimiAudio, Qwen2.5-Omni, AudioFlamingo vs. Pipelines ASR-LLM como Whisper + Qwen/Gemma/Llama).

• Desempenho Geral:

  • Os pipelines ASR-LLM superaram consistentemente os SpeechLMs end-to-end em todas as tarefas, especialmente no preenchimento de parâmetros (PF). O melhor modelo (Whisper-Llama3 70B) atingiu 60,6% de precisão média em inglês.
  • Os SpeechLMs mostraram desempenho inferior e degradação mais acentuada em idiomas Indic. Mesmo o melhor SpeechLM (KimiAudio 7B) ficou atrás dos pipelines modulares em tarefas complexas.

• Generalização Multilingue:

  • Existe uma lacuna significativa de generalização. Enquanto os pipelines ASR-LLM mantêm desempenho razoável em inglês, sua precisão cai drasticamente em idiomas Indic (ex: queda de ~60% para ~35-39% em PF).
  • O desempenho em idiomas como Bengali, Malaiala e Telugu foi particularmente baixo, indicando falta de supervisão multilingue robusta nos dados de treinamento.

• Desafios em Tarefas Complexas:

  • Chamadas Dependentes em Sequência: Esta foi a tarefa mais difícil. Mesmo os melhores modelos atingiram apenas 14,8% de precisão em inglês e 4,3% em idiomas Indic, demonstrando fragilidade em orquestração de ferramentas de múltiplos passos.
  • Segurança: Os SpeechLMs lutaram para manter taxas de recusa consistentes entre idiomas. Por exemplo, o KimiAudio teve 51,78% de recusa em inglês, mas caiu para apenas 2,67% em consultas Indic.

• Latência:

  • Os SpeechLMs oferecem vantagens significativas de latência (Time-to-First-Token), sendo muito mais rápidos que os pipelines ASR-LLM (40ms vs. 800ms), o que é crucial para interações em tempo real, apesar de sua menor precisão agêntica.

5. Significado e Conclusão

O VoiceAgentBench estabelece um novo padrão para a avaliação de assistentes de voz, revelando que, embora os modelos de fala tenham avançado, eles ainda não estão prontos para tarefas agênticas complexas e seguras em cenários multilingues do mundo real.

• Limitações Atuais: Os modelos atuais falham em raciocínio sequencial, orquestração de ferramentas e segurança robusta, especialmente fora do domínio inglês.
• Direções Futuras: O trabalho destaca a necessidade urgente de:
  • Dados de treinamento mais ricos e diversificados para idiomas de baixa recursos.
  • Supervisão específica para comportamentos de segurança em múltiplos idiomas.
  • Pesquisa para melhorar a capacidade de raciocínio e planejamento em modelos end-to-end de fala.

O benchmark e o código-fonte foram disponibilizados publicamente para fomentar o desenvolvimento de agentes de voz mais robustos, inclusivos e culturalmente relevantes.