EchoChain: A Full-Duplex Benchmark for State-Update Reasoning Under Interruptions

Título: EchoChain: Um Benchmark Full-Duplex para Raciocínio de Atualização de Estado sob Interrupções

1. Problema e Motivação

A comunicação humana é inerentemente full-duplex (bidirecional simultânea), onde ouvintes frequentemente interrompem, revisam ou adicionam informações enquanto o falante ainda está falando. No entanto, os sistemas de diálogo por voz (assistentes de IA) e os benchmarks existentes operam majoritariamente em modo half-duplex (turnos sequenciais completos), assumindo que um turno termina antes que o outro comece.

O problema central identificado é a incapacidade dos modelos atuais de realizar raciocínio de atualização de estado em tempo real quando interrompidos mid-speech (durante a geração da resposta). Quando um usuário introduz novas informações ou restrições enquanto o assistente está falando, o modelo deve:

1. Preservar o contexto parcial já gerado.
2. Integrar a nova informação imediatamente.
3. Revisar o plano de resposta em andamento sem perder a coerência.

Os benchmarks atuais falham em avaliar essa capacidade, pois não testam a revisão de estado durante a geração, levando a erros sutis onde a resposta parece fluída, mas o estado da tarefa está incorreto.

2. Metodologia: O Framework EchoChain

Os autores introduzem o EchoChain, um benchmark controlado e reproduzível projetado para avaliar especificamente o comportamento de modelos de voz full-duplex sob interrupções.

Arquitetura e Componentes:

• Geração de Cenários: Utiliza um loop "Planejador-Simulador" onde um planejador (GPT-5.2) define o roteiro e um simulador de usuário (Gemini 3 Pro) gera mensagens e interrupções baseadas no histórico da conversa, garantindo que o conteúdo da interrupção seja contextualmente relevante.
• Síntese de Áudio e Controle de Variáveis:
  • Todo o áudio do usuário (incluindo a interrupção) é pré-sintetizado usando um Persona Voice Engine (clonagem de voz) antes da interação.
  • Isso elimina a latência variável de síntese em tempo real, garantindo que o momento da injeção da interrupção seja idêntico para todos os modelos testados.
  • Um estudo de audição pareado confirmou que as vozes clonadas são indistinguíveis de vozes humanas reais para avaliadores.
• Orquestração Full-Duplex: Um orquestrador gerencia o streaming de áudio para o modelo respondente em tempo real, injetando a interrupção (barge-in) em um offset fixo após o início da fala do assistente.
• Avaliação: As respostas pós-interrupção são analisadas por um classificador automático e revisores humanos usando rubricas específicas para cada conversa.

Taxonomia de Falhas:

O EchoChain classifica as falhas de raciocínio de atualização de estado em três categorias distintas:

1. Inércia Contextual (Contextual Inertia): O modelo reconhece a interrupção verbalmente, mas continua gerando o conteúdo original como se nada tivesse mudado (ex: ignora uma nova restrição de orçamento).
2. Amnésia de Interrupção (Interruption Amnesia): O modelo incorpora a atualização inicialmente, mas esquece a nova restrição ou informação à medida que a geração prossegue, revertendo para o estado anterior.
3. Deslocamento de Objetivo (Objective Displacement): O modelo abandona completamente a tarefa original para responder apenas à interrupção, falhando em completar o pedido inicial do usuário.

3. Resultados Principais

O benchmark foi aplicado a quatro modelos de voz full-duplex de última geração: GPT-realtime, Gemini Live, Grok Voice Agent e Amazon Nova Sonic 2.

• Desempenho Geral: Nenhum dos modelos avaliados superou uma taxa de aprovação (MPR - Mean Pass Rate) de 50%. O melhor desempenho foi do Grok Voice Agent com 48,5%, seguido pelo GPT-realtime (45,0%).
• Análise de Falhas:
  • Gemini Live: Apresentou falhas concentradas em "Amnésia de Interrupção" e "Deslocamento de Objetivo", indicando dificuldade em manter restrições a longo prazo ou foco na tarefa original.
  • Amazon Nova Sonic 2: Teve a maior incidência de "Inércia Contextual", sugerindo que frequentemente ignora ou aplica incorretamente a nova informação.
  • Grok Voice Agent: Mostrou a menor proporção de "Deslocamento de Objetivo", mantendo melhor o objetivo original, mas ainda falhou em outros aspectos.
• Controle Half-Duplex: Em um experimento de controle onde as mesmas conversas foram executadas sem interrupções (modo half-duplex), a taxa de falhas caiu em 40,22%. Isso confirma que a maioria dos erros observados não é devido à dificuldade da tarefa em si, mas sim à incapacidade de revisar o estado durante a geração simultânea.

4. Contribuições Chave

1. Primeiro Benchmark Controlado para Full-Duplex: O EchoChain é a primeira avaliação padronizada que isola o raciocínio de atualização de estado sob interrupções mid-generation, eliminando variáveis de latência e contexto.
2. Taxonomia Diagnóstica: A definição das três categorias de falha (Inércia, Amnésia, Deslocamento) fornece um vocabulário técnico preciso para diagnosticar como os modelos falham, indo além de métricas agregadas de qualidade.
3. Metodologia de Avaliação Rigorosa: O uso de áudio pré-sintetizado e orquestração de tempo fixo permite comparações justas entre modelos, algo que benchmarks anteriores (que dependiam de adaptação mútua ou métricas de tempo apenas) não conseguiam.
4. Evidência Empírica de Lacuna: Demonstra que, mesmo nos modelos mais avançados, a capacidade de revisar o raciocínio em tempo real é uma habilidade fundamental ainda não dominada.

5. Significado e Impacto

O trabalho estabelece que, à medida que a interação por voz full-duplex se torna o padrão, a capacidade de um modelo de revisar o raciocínio em andamento deixa de ser um caso de borda e passa a ser um requisito básico. O EchoChain fornece a infraestrutura necessária para medir o progresso nessa área.

Os resultados indicam que os modelos atuais ainda não são robustos o suficiente para aplicações críticas onde interrupções são comuns (como suporte técnico, coaching ou planejamento complexo). A taxonomia proposta oferece um caminho claro para o desenvolvimento futuro, permitindo que engenheiros de IA foquem em mecanismos específicos de memória e integração de contexto para resolver falhas como a "inércia contextual" e a "amnésia".

Em suma, o EchoChain expõe uma lacuna crítica na inteligência artificial conversacional: a habilidade de "pensar enquanto ouve" e ajustar o curso dinamicamente sem perder o fio da meada da tarefa original.