VoiceAgentBench: Are Voice Assistants ready for agentic tasks?

1. Problema y Motivación

A pesar de los avances en los Modelos de Lenguaje Grandes (LLMs) y su capacidad para actuar como agentes inteligentes (razonamiento, planificación y ejecución de tareas mediante herramientas), la investigación actual se centra casi exclusivamente en interacciones basadas en texto. Esto deja una brecha crítica en la evaluación de asistentes de voz reales.

Los desafíos principales identificados son:

• Falta de Evaluación Agéntica en Voz: Los benchmarks existentes de voz se limitan a tareas aisladas como transcripción (ASR), traducción o preguntas y respuestas de un solo turno. No evalúan sistemáticamente el comportamiento agéntico complejo, como el uso de múltiples herramientas, la orquestación de flujos de trabajo secuenciales o la toma de decisiones contextuales en habla.
• Brecha Multilingüe y Cultural: La mayoría de los sistemas están optimizados para inglés, con poca cobertura de lenguas de bajos recursos o contextos culturalmente específicos (como las lenguas indias).
• Robustez y Seguridad: No existe una evaluación estandarizada sobre la capacidad de los agentes de voz para manejar consultas adversarias o rechazar solicitudes inseguras en un entorno hablado.

2. Metodología: VoiceAgentBench (VAB)

Los autores presentan VoiceAgentBench, un benchmark integral diseñado para evaluar la capacidad de los Modelos de Lenguaje de Voz (SpeechLMs) en escenarios agénticos realistas.

Construcción de Datos

• Escala y Diversidad: El conjunto de datos consta de más de 6,000 consultas de voz sintéticas en 7 idiomas (inglés y seis lenguas indias: hindi, bengalí, marathi, tamil, telugu y malayalam).
• Generación de Audio Diversa: Para simular la variabilidad de hablantes reales (acentos, estilos de habla), se propone una estrategia de muestreo novedosa basada en incrustaciones de hablantes (speaker embeddings). Se utiliza el modelo ECAPA-TDNN para extraer características acústicas y se aplica el algoritmo de Muestreo del Punto Más Lejano (Farthest Point Sampling - FPS) para seleccionar las muestras de audio más diversas antes de convertirlas a voz (TTS).
• Categorías de Tareas: El benchmark cubre seis categorías clave de comportamiento agéntico:
  1. Llamada a una sola herramienta (SinTC): Llenado de parámetros simple.
  2. Llamada a una herramienta con recuperación: Selección de la herramienta correcta de una lista.
  3. Llamadas a herramientas en paralelo: Ejecución simultánea de múltiples herramientas independientes.
  4. Llamadas a herramientas dependientes en secuencia (SeqDep): Flujos de trabajo donde la salida de una herramienta es la entrada de la siguiente (ej. obtener ubicación -> estimar costo -> reservar taxi).
  5. Llamada a herramientas basada en diálogo (Multi-turn): Interacciones conversacionales para completar una tarea.
  6. Evaluación de Seguridad: Rechazo de consultas maliciosas o combinaciones de herramientas inseguras.

Marco de Evaluación

Se definen cuatro métricas principales para medir el rendimiento:

1. Selección de Herramienta (TS): Precisión en elegir el nombre de la función correcta.
2. Estructura de Llamada (TCS): Validación del formato de salida (sintaxis Python/Pydantic).
3. Llenado de Parámetros (PF): Evaluación semántica de los argumentos (usando un juez LLM para tolerar variaciones léxicas).
4. Tasa de Rechazo (RR): Capacidad del modelo para negarse a realizar tareas inseguras.

3. Contribuciones Clave

1. Primer Benchmark Agéntico de Voz: VAB es el primer conjunto de datos diseñado específicamente para evaluar el uso de herramientas en entornos de voz, abarcando desde tareas simples hasta flujos de trabajo complejos y dependientes.
2. Estrategia de Diversidad Acústica: Introducción de un método basado en embeddings para garantizar que los datos sintéticos capturen la heterogeneidad de hablantes reales, superando las limitaciones de los datos de voz sintéticos estándar.
3. Cobertura Multilingüe y Cultural: Inclusión de escenarios culturalmente arraigados en India y seis lenguas indias, permitiendo evaluar la generalización más allá del inglés.
4. Comparativa de Arquitecturas: Evaluación sistemática comparando dos enfoques:
   • Pipelines ASR-LLM: Transcripción de voz a texto seguida de un LLM.
   • SpeechLMs End-to-End: Modelos que procesan audio directamente y generan respuestas sin transcripción intermedia.

4. Resultados Principales

Los experimentos se realizaron con modelos de vanguardia (SpeechLMs como KimiAudio, Qwen2.5-Omni, AudioFlamingo y pipelines ASR-LLM con Whisper + LLMs como Llama3, Gemma, Qwen).

• Rendimiento General: Los pipelines ASR-LLM superan consistentemente a los SpeechLMs end-to-end en tareas de llamada a herramientas, especialmente en el llenado de parámetros. En inglés, el mejor pipeline (Whisper-Llama3 70B) alcanza un 60.6% de precisión promedio en llenado de parámetros, mientras que los SpeechLMs muestran un rendimiento significativamente inferior.
• Brecha Multilingüe: Existe una degradación drástica en el rendimiento para las lenguas indias. Mientras que los modelos logran ~60% en inglés, caen a ~35-40% en lenguas indias, indicando una falta de generalización y supervisión multilingüe robusta.
• Dificultad en Tareas Secuenciales: Las tareas de herramientas dependientes en secuencia son el punto más débil. Incluso los mejores modelos logran menos del 15% de precisión en inglés y caen a menos del 5% en lenguas indias, revelando fragilidad en la orquestación de flujos de trabajo complejos.
• Seguridad: Los SpeechLMs tienen dificultades para mantener comportamientos de rechazo consistentes en diferentes idiomas. Los pipelines ASR-LLM muestran mayor robustez en seguridad, aunque siguen siendo vulnerables a consejos adversarios.
• Latencia: A pesar de su menor rendimiento en tareas complejas, los SpeechLMs ofrecen una latencia mucho menor (Time-to-First-Token 40ms) en comparación con los pipelines ASR-LLM (800ms), lo que los hace más adecuados para interacciones en tiempo real.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la evaluación de asistentes de voz inteligentes. Sus hallazgos son críticos para el desarrollo futuro:

• Limitaciones Actuales: Demuestra que los asistentes de voz actuales no están listos para tareas agénticas complejas, especialmente en contextos multilingües y secuenciales.
• Dirección de Investigación: Señala la necesidad de entrenar modelos con más supervisión multilingüe y culturalmente diversa, y de mejorar la capacidad de razonamiento secuencial en el dominio del habla.
• Compromiso Latencia vs. Precisión: Resalta el trade-off entre la baja latencia de los modelos end-to-end y la alta precisión de los pipelines modulares, sugiriendo que la investigación debe enfocarse en cerrar esta brecha de rendimiento sin sacrificar la velocidad.
• Recurso Abierto: Al liberar el benchmark y el código, los autores facilitan la reproducibilidad y el avance colaborativo en la creación de agentes de voz seguros, robustos y culturalmente inclusivos.

En resumen, VoiceAgentBench revela que, aunque los modelos de voz han avanzado, aún existe un camino largo por recorrer antes de que los asistentes de voz puedan reemplazar eficazmente a los agentes basados en texto en tareas complejas del mundo real.