Resumen Técnico: IHBench – Evaluación de la Recuperación Post-Interrupción en Agentes de Voz

Planteamiento del Problema

Los agentes de voz en tiempo real se despliegan cada vez más en flujos de trabajo estructurados y de múltiples pasos (por ejemplo, atención al cliente, programación de citas médicas). Si bien la conversación hablada natural se define por las interrupciones —usuarios que intervienen para corregir información, expresar impaciencia o realizar retroalimentación (backchannels)—, los benchmarks existentes evalúan principalmente la mecánica de la interrupción (por ejemplo, la detección de interrupción de habla o barge-in, el cierre de turno o endpointing y la sincronización del intercambio de turnos).

Existe una brecha crítica: ¿Qué sucede después de la interrupción? Los benchmarks actuales no miden si un agente recupera con éxito el estado del flujo de trabajo, aborda la interjección del usuario o evita volver a entregar contenido que el usuario ya escuchó. El fallo en esta "recuperación post-interrupción" conduce a interacciones cualitativamente rotas (por ejemplo, un agente que repite una frase que el usuario acaba de corregir, o que pierde su lugar en una máquina de estados), lo cual es distinto de simplemente no detener la elocución.

Metodología: Diseño de IHBench

Los autores presentan IHBENCH (Interruption Handling Benchmark), un benchmark sintético diseñado para evaluar la recuperación post-interrupción en agentes de voz que ejecutan flujos de trabajo basados en máquinas de estados.

1. Pipeline de Generación de Datos

El benchmark consiste en 45 conversaciones generadas sintéticamente a través de 10 dominios empresariales (SaaS, finanzas, salud, etc.). El pipeline involucra:

• Anclaje del Flujo de Trabajo (Workflow Grounding): Cada conversación es dirigida por una máquina de estados estricta (por ejemplo, Autenticar → Verificar → Procesar → Confirmar).
• Interrupciones Controladas: Las interrupciones se inyectan en puntos específicos y controlados a mitad de una locución (no solo en los límites de turno) mediante un simulador de usuario.
• Seis Tipos de Interrupción: El benchmark define seis intenciones de interrupción distintas, cada una de las cuales requiere diferentes comportamientos de recuperación:
  • Normal: Intervención cooperativa (nuevo detalle o restricción).
  • Impaciente: El usuario desea saltarse explicaciones.
  • Corrección: El usuario corrige información previamente establecida.
  • Cambio de Tema: El usuario introduce una solicitud no relacionada.
  • Relleno (Filler): Retroalimentación breve (ej. "ajá", "mm-hm") que requiere una continuación fluida.
  • Resistencia (Pushback): El usuario se resiste a una afirmación o petición.
• Generación de Rúbricas: Para cada interrupción, se genera una rúbrica de evaluación específica antes de la inferencia del modelo, definiendo los objetivos de cumplimiento de la tarea y los criterios de calidad de la recuperación.
• Verificación: Un verificador asegura que no haya filtración de la máquina de estados (que los usuarios conozcan las etapas internas del flujo de trabajo) y comprueba la naturalidad.

2. Métricas de Evaluación

Cada punto de interrupción sirve como una muestra de evaluación calificada en dos ejes independientes por jueces de LLM (GPT-5.4-mini):

1. Cumplimiento de la Tarea (Comparativo): La respuesta del modelo se compara contra la respuesta de un modelo base (GPT-4o Audio). Un juez selecciona al ganador basándose en qué respuesta hace avanzar mejor el objetivo del flujo de trabajo. La métrica es la Tasa de Victoria (0.50 = paridad con el modelo base).
2. Calidad de la Recuperación (Absoluto): La respuesta del modelo se evalúa contra 2 a 4 criterios específicos de tipo (por ejemplo, "¿continuó exactamente desde el punto de corte?" para los rellenos). La métrica es la Tasa de Aprobación (fracción de interrupciones donde se cumplen todos los criterios).

3. Configuración Experimental

• Modelos Evaluados: 27 configuraciones de OpenAI (GPT-4o, GPT Realtime, GPT Audio), Google (Gemini 2.5/3.x) y modelos de pesos abiertos (Gemma, Qwen, MiMo, Kimi, etc.).
• Modalidades de Entrada: Evaluado tanto en entrada de audio como en transcripciones de solo texto para aislar los efectos de la modalidad.
• Validación: Se realizaron estudios de acuerdo utilizando un segundo juez (Gemini 3 Flash) y anotadores humanos (Prolific) para validar el enfoque de LLM-como-juez.

Resultados Clave

1. Brecha entre Modelos de Pesos Cerrados vs. Pesos Abiertos

Los modelos de pesos cerrados superan consistentemente a los de pesos abiertos en todas las métricas:

• Cumplimiento de la Tarea: Los modelos de pesos cerrados ganan significativamente más veces contra el modelo base.
• Degradación de la Profundidad: A medida que aumenta la profundidad de la conversación, los modelos de pesos abiertos se degradan aproximadamente 3.3 veces más rápido que los de pesos cerrados. La pendiente media para los modelos de pesos abiertos es de -0.053 por turno, frente a -0.016 para los de pesos cerrados.
• Brecha de Modalidad: Los modelos de pesos cerrados (específicamente Gemini) no muestran una brecha significativa de rendimiento entre entradas de audio y texto. Los modelos de pesos abiertos funcionan significativamente peor en audio que en texto (aproximadamente 8 puntos menos en Cumplimiento de la Tarea).

2. Ejes de Capacidad Distintos

El estudio identifica que el Cumplimiento de la Tarea y la Calidad de la Recuperación son ejes parcialmente independientes:

• El modelo con el mayor Cumplimiento de la Tarea (GPT Realtime 2) es solo de nivel medio en Calidad de la Recuperación.
• El modelo con la mayor Calidad de la Recuperación (Gemini 2.5 Flash) tiene un menor Cumplimiento de la Tarea.
• Análisis de Benchmarks Cruzados: Al compararse con AudioMultiChallenge (AMC), la métrica de Calidad de la Recuperación de IHBench muestra la correlación más baja con los benchmarks de audio de múltiples turnos existentes. Esto sugiere que la calidad de la recuperación es una capacidad distinta no capturada por los benchmarks conversacionales generales.

3. Sensibilidad al Tipo de Interrupción

El rendimiento varía drásticamente según el tipo de interrupción:

• Manejo de Rellenos (Filler): Este es el diferenciador más fuerte. Los modelos de la familia GPT fallan al continuar una locución correctamente tras un backchannel solo entre el 7% y el 31% de las veces. En contraste, la familia Gemini 2.5 logra un 62%–68%, mientras que la nueva línea Gemini 3.x retrocede bruscamente al 13%–32%.
• Normal/Cambio de Tema: Estos se manejan generalmente bien en la mayoría de los modelos.
• Corrección/Impaciencia: Estos muestran una dificultad moderada, con una varianza significativa entre modelos.

4. Validación

• Acuerdo de Jueces: El juez principal de LLM está de acuerdo con un segundo juez (κ de Cohen ≈ 0.75) y con anotadores humanos (κ ≈ 0.51) en niveles comparables o superiores al acuerdo inter-anotador humano.
• Estabilidad de Clasificación: Las clasificaciones humanas de los modelos coinciden casi exactamente con las clasificaciones del juez de LLM (ρ de Spearman = 1.0 para Calidad de la Recuperación).

Significado y Reivindicaciones

El artículo sostiene que la recuperación post-interrupción es una capacidad distinta y crítica para los agentes de voz que actualmente está subevaluada. Los autores argumentan que:

1. Los Benchmarks Actuales son Insuficientes: Los benchmarks existentes se centran en cuándo dejar de hablar, no en qué decir a continuación para mantener la integridad del flujo de trabajo.
2. La Evaluación Dirigida Revela Brechas de Entrenamiento: La gran varianza en el rendimiento (especialmente en el manejo de rellenos) sugiere que estos comportamientos están subentrenados en lugar de ser inherentemente difíciles, lo que implica que la evaluación dirigida puede guiar mejoras de entrenamiento específicas.
3. La Modalidad Importa para los Modelos Abiertos: Los modelos de pesos abiertos tienen muchas más dificultades con las entradas de audio que con las de texto, lo que indica la necesidad de un mejor alineamiento audio-texto en estas arquitecturas.
4. La Recuperación es un Nuevo Eje: La calidad de la recuperación no es simplemente un subconjunto de la capacidad conversacional general; es una dimensión única del rendimiento de los agentes de voz que requiere un benchmarking específico.

Los autores concluyen que IHBench proporciona un marco necesario para medir y mejorar la robustez de los agentes de voz en entornos del mundo real con alta densidad de interrupciones, resaltando una clara división entre los modelos actuales de pesos cerrados de frontera y las alternativas de pesos abiertos.