Resumo Técnico: IHBench – Avaliando a Recuperação Pós-Interrupção em Agentes de Voz

Definição do Problema

Agentes de voz em tempo real são cada vez mais implementados em fluxos de trabalho estruturados e de múltiplas etapas (ex: atendimento ao cliente, agendamento de saúde). Embora a conversação falada natural seja definida por interrupções — usuários interrompendo para corrigir informações, expressar impaciência ou fornecer sinais de escuta (backchannels) — os benchmarks existentes avaliam primariamente a mecânica da interrupção (ex: detecção de interrupção de fala/barge-in, finalização de turno/endpointing, tempo de troca de turno).

Uma lacuna crítica permanece: o que acontece após a interrupção? Os benchmarks atuais não medem se um agente recupera com sucesso o estado do fluxo de trabalho, aborda a interjeição do usuário ou evita reeditar conteúdo que o usuário já ouviu. A falha nessa "recuperação pós-interrupção" leva a interações qualitativamente quebradas (ex: um agente repetindo uma frase que o usuário acabou de corrigir, ou perdendo seu lugar em uma máquina de estados), o que é distinto de apenas falhar em parar de falar.

Metodologia: Design do IHBench

Os autores introduzem o IHBENCH (Interruption Handling Benchmark), um benchmark sintético projetado para avaliar a recuperação pós-interrupção em agentes de voz que executam fluxos de trabalho baseados em máquinas de estado.

1. Pipeline de Geração de Dados

O benchmark consiste em 45 conversas geradas sinteticamente através de 10 domínios empresariais (SaaS, finanças, saúde, etc.). O pipeline envolve:

• Fundamentação de Fluxo de Trabalho: Cada conversa é impulsionada por uma máquina de estado estrita (ex: Autenticar → Verificar → Processar → Confirmar).
• Interrupções Controladas: As interrupções são injetadas em pontos específicos e controlados no meio de uma emissão (não apenas em limites de turno) por um simulador de usuário.
• Seis Tipos de Interrupção: O benchmark define seis intenções de interrupção distintas, cada uma exigindo diferentes comportamentos de recuperação:
  • Normal: Interrupção cooperativa (novo detalhe/restrição).
  • Impaciente: Usuário deseja pular explicações.
  • Correção: Usuário corrige informação previamente declarada.
  • Mudança de Tópico: Usuário introduz um pedido não relacionado.
  • Filler (Preenchimento): Breve sinal de escuta (ex: "mm-hm") que exige continuação fluida.
  • Resistência (Pushback): Usuário resiste a uma afirmação ou pedido.
• Geração de Rubrica: Para cada interrupção, uma rubrica de avaliação específica é gerada antes da inferência do modelo, definindo metas de cumprimento da tarefa e critérios de qualidade de recuperação.
• Verificação: Um verificador garante que não haja vazamento da máquina de estados (usuários conhecendo estágios internos do fluxo) e checa a naturalidade.

2. Métricas de Avaliação

Cada ponto de interrupção serve como uma amostra de avaliação pontuada em dois eixos independentes por juízes LLM (GPT-5.4-mini):

1. Cumprimento da Tarefa (Comparativo): A resposta do modelo é comparada contra uma resposta de linha de base (GPT-4o Audio). Um juiz seleciona o vencedor com base em qual resposta melhor avança o objetivo do fluxo de trabalho. A métrica é a Taxa de Vitória (0.50 = paridade com a linha de base).
2. Qualidade da Recuperação (Absoluta): A resposta do modelo é avaliada contra 2 a 4 critérios específicos do tipo (ex: "ele continuou exatamente do ponto de corte?" para fillers). A métrica é a Taxa de Aprovação (fração de interrupções onde todos os critérios são atendidos).

3. Configuração Experimental

• Modelos Avaliados: 27 configurações da OpenAI (GPT-4o, GPT Realtime, GPT Audio), Google (Gemini 2.5/3.x) e modelos de pesos abertos (Gemma, Qwen, MiMo, Kimi, etc.).
• Modalidades de Entrada: Avaliado tanto em áudio de entrada quanto em transcrições apenas de texto para isolar efeitos de modalidade.
• Validação: Estudos de concordância foram conduzidos usando um segundo juiz (Gemini 3 Flash) e anotadores humanos (Prolific) para validar a abordagem de LLM-como-juiz.

Principais Resultados

1. Lacuna entre Modelos de Pesos Fechados vs. Pesos Abertos

Modelos de pesos fechados superam consistentemente os modelos de pesos abertos em todas as métricas:

• Cumprimento da Tarefa: Modelos de pesos fechados vencem significativamente mais vezes contra a linha de base.
• Degradação de Profundidade: À medida que a profundidade da conversa aumenta, os modelos de pesos abertos degradam aproximadamente 3,3× mais rápido que os modelos de pesos fechados. A inclinação média para modelos de pesos abertos é de -0,053 por turno, comparada a -0,016 para modelos de pesos fechados.
• Lacuna de Modalidade: Modelos de pesos fechados (especificamente o Gemini) não mostram lacuna significativa de desempenho entre entradas de áudio e texto. Modelos de pesos abertos apresentam desempenho significativamente inferior em áudio do que em texto (cerca de 8 pontos abaixo em Cumprimento da Tarefa).

2. Eixos de Capacidade Distintos

O estudo identifica que o Cumprimento da Tarefa e a Qualidade da Recuperação são eixos parcialmente independentes:

• O modelo com o maior Cumprimento da Tarefa (GPT Realtime 2) é apenas de nível médio em Qualidade de Recuperação.
• O modelo com a maior Qualidade de Recuperação (Gemini 2.5 Flash) possui menor Cumprimento da Tarefa.
• Análise Transversal de Benchmarks: Quando comparado ao AudioMultiChallenge (AMC), a métrica de Qualidade de Recuperação do IHBench mostra a menor correlação com os benchmarks de áudio de múltiplos turnos existentes. Isso sugere que a qualidade de recuperação é uma capacidade distinta não capturada por benchmarks conversacionais gerais.

3. Sensibilidade ao Tipo de Interrupção

O desempenho varia drasticamente conforme o tipo de interrupção:

• Tratamento de Filler: Este é o principal diferenciador. Os modelos da família GPT falham em continuar uma emissão corretamente após um sinal de escuta apenas 7%–31% das vezes. Em contraste, a família Gemini 2.5 alcança 62%–68%, enquanto a nova linha Gemini 3.x regride bruscamente para 13%–32%.
• Normal/Mudança de Tópico: Estes são geralmente bem tratados na maioria dos modelos.
• Correção/Impaciência: Estes mostram dificuldade moderada, com variância significativa entre os modelos.

4. Validação

• Concordância do Juiz: O juiz LLM primário concorda com um segundo juiz (Coeficiente de Kappa de Cohen ≈ 0,75) e com anotadores humanos (κ ≈ 0,51) em níveis comparáveis ou superiores à concordância interanotador humana.
• Estabilidade de Ranking: O ranking humano de modelos coincide quase exatamente com o ranking do juiz LLM (Spearman ρ = 1,0 para Qualidade de Recuperação).

Significância e Alegações

O artigo alega que a recuperação pós-interrupção é uma capacidade distinta e crítica para agentes de voz que está sendo subavaliada atualmente. Os autores argumentam que:

1. Benchmarks Atuais são Insuficientes: Os benchmarks existentes focam em quando parar de falar, não no que dizer a seguir para manter a integridade do fluxo de trabalho.
2. Avaliação Direcionada Revela Lacunas de Treinamento: A grande variância de desempenho (especialmente no tratamento de fillers) sugere que esses comportamentos são subtreinados em vez de inerentemente difíceis, implicando que a avaliação direcionada pode guiar melhorias específicas de treinamento.
3. A Modalidade Importa para Modelos Abertos: Modelos de pesos abertos lutam significativamente mais com entradas de áudio do que texto, indicando a necessidade de melhor alinhamento áudio-texto nessas arquiteturas.
4. Recuperação é um Novo Eixo: A qualidade da recuperação não é meramente um subconjunto da habilidade conversacional geral; é uma dimensão única do desempenho de agentes de voz que requer benchmarking específico.

Os autores concluem que o IHBench fornece um framework necessário para medir e melhorar a robustez de agentes de voz em ambientes do mundo real, ricos em interrupções, destacando uma divisão clara entre os atuais modelos de fronteira de pesos fechados e as alternativas de pesos abertos.