Resumo Técnico: Listen-Write-Speak (LWS)

Definição do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) baseados em fala enfrentam atualmente um gargalo fundamental: seus outputs são limitados à modalidade falada, o que suprime capacidades nativas de texto, como geração de código, análise estruturada e raciocínio de múltiplas etapas. As abordagens existentes para LLMs de fala tipicamente tratam o texto como um estado intermediário oculto ou uma modalidade subordinada usada apenas para melhorar as respostas faladas. Isso limita os outputs visíveis ao usuário ao que pode ser verbalizado, forçando os usuários a transcrever manualmente dados estruturados complexos (ex: blocos de código, tabelas) ou a linearizar informações estruturadas em listas faladas de difícil revisão. Além disso, os modelos atuais frequentemente carecem de capacidades genuínas de full-duplex (ouvir enquanto fala) ou falham em manter um canal de raciocínio persistente e visível ao usuário durante a interação.

Metodologia: Listen-Write-Speak (LWS)

Os autores propõem o Listen-Write-Speak (LWS), um paradigma de interação de três canais focado primeiro no texto. Diferente de trabalhos anteriores que dependem de modificações arquiteturais complexas ou modelos separados, o LWS implementa este comportamento inteiramente através de um Esquema de Tokens dentro de um Transformer autorregressivo padrão.

Arquitetura Central

O sistema opera em um contexto de atenção causal compartilhado onde três canais rodam simultaneamente dentro de intervalos temporais discretos chamados Unidades (definidas como 1 segundo nos experimentos):

1. Canal de Escuta (Percepção): Ingesta continuamente fluxos de áudio do usuário (representados como tokens de áudio discretos) ao longo da interação, permitindo a capacidade full-duplex.
2. Escrita Visível (Cognição) Canal: Sempre ativo. Ele externaliza a cognição nativa de texto do modelo como texto de forma livre e visível ao usuário.
   • Durante a Escuta: Constrói o raciocínio incremental (ex: compreensão parcial, desambiguação) baseado no áudio ouvido até o momento.
   • Durante a Fala: Emite artefatos estruturados (código, tabelas, derivações) em paralelo com a fala natural.
3. Canal de Fala (Expressão): Gera linguagem falada natural como uma resposta oral em tempo real. Este canal está ativo apenas durante a fase de resposta.

Esquema de Tokens

O LWS utiliza tokens especiais para delinear as fronteiras dos canais dentro de cada Unidade, não exigindo mudanças arquiteturais no LLM subjacente:

• Unidades de Escuta: <unit> $\rightarrow$ audio $\rightarrow$ <|lc|> (início da cognição de escuta) $\rightarrow$ writing $\rightarrow$ <|/lc|> (fim da cognição de escuta) $\rightarrow$ </unit>.
• Unidades de Fala: <unit> $\rightarrow$ audio $\rightarrow$ <|spk|> $\rightarrow$ speak $\rightarrow$ <|eos|> $\rightarrow$ <|rc|> (início da cognição de resposta) $\rightarrow$ writing $\rightarrow$ <|/rc|> (fim da cognição de resposta) $\rightarrow$ </unit>.

A separação da cognição da fase de escuta (ls cogn) e da cognição da fase de resposta (reply cogn) é explícita para evitar vazamento de informação e simplificar a previsão do próximo token, pois elas condicionam em estados de informação diferentes.

Construção de Dados

Como os corpora públicos carecem de anotações cognitivas por segundo alinhadas a cronogramas de áudio, os autores desenvolveram um pipeline de dados de dois estágios:

1. Síntese Cognitiva Offline: Um LLM professor forte sintetiza três fluxos de texto a partir de pares de QA padrão: uma cadeia de raciocínio em streaming (para ls cogn), uma resposta de voz (para speak) e o original de resposta estruturada (para reply cogn). Uma restrição causal estrita garante que o raciocínio no tempo $t$ utilize apenas o input ouvido até $t$.
2. Construção de Linha do Tempo Online: Os fluxos sintetizados são alinhados com gravações de áudio reais e alinhamentos de nível de caractere baseados em CTC para construir sequências de Unidades. Isso inclui intervalos de silêncio aleatórios e aumento de interrupção para simular o ritmo conversacional natural e sobreposições.

Principais Contribuições

1. Mudança de Paradigma: Formulação do LWS como um paradigma de três canais focado primeiro no texto, onde um único LLM autorregressivo escuta, escreve texto visível e fala simultaneamente, tratando a escrita visível como um canal de saída de primeira classe.
2. Implementação de Esquema de Tokens: Realização deste comportamento complexo inteiramente através de tokens especiais em um Transformer padrão, evitando a necessidade de decodificadores adicionais ou módulos de fusão entre canais.
3. Pipeline de Dados: Desenvolvimento de um pipeline de dois estágios que sintetiza anotações cognitivas causalmente consistentes e por segundo para treinar o modelo em interação de streaming.
4. Validação Empírica: Demonstração de interação full-duplex forte e output estruturado de alta qualidade sem sacrificar a responsividade em tempo real.

Resultados Experimentais

O modelo foi avaliado em diversos benchmarks usando uma arquitetos de MiniCPM-V com um backbone Qwen3-8B.

• Compreensão e Raciocínio Falado (URO-Bench): O LWS alcançou as melhores pontuações nos splits Chinese Pro (Média: 84.6) e Chinese Basic understanding/reasoning (92.5/85.9). Ele superou consistentemente suas ablações internas (modelos sem escrita durante a escuta ou fala), validando a utilidade do canal de escrita visível em ambas as fases.
• Qualidade da Resposta (VoiceBench AlpinaEval): O LWS obteve 4.72, superando todos os baselines de código aberto listados e ficando atrás apenas do GPT-4o-Audio (4.78). Esta pontuação reflete a qualidade do canal de Escrita Visível.
• Consistência de Canal: O modelo alcançou uma taxa de consistência de 92.6% entre os outputs falados e escritos, indicando que a abordagem de dois canais não compromete a coerência.
• Interação Full-Duplex (Full-Duplex-Bench): O LWS demonstrou turn-taking competitivo (0.97 Candor TOR com 0.48s de latência) e forte manipulação de interrupção (qualidade 4.02 GPT-4o com 0.65s de latência), recuperando-se de sobreposições sem atrasos significativos.
• Convergência de Treinamento: Todos os três canais (escrita de escuta, fala, escrita de resposta) convergiram suavemente com baixa variância, confirmando a viabilidade do treinamento conjunto de três canais em um único modelo autorregressivo.

Significância e Alegações

O artigo afirma que a escrita visível pode servir como um canal de saída de primeira classe para interação de fala sem sacrificar a responsividade em tempo real. Ao unificar a escuta full-duplex, a escrita visível e a fala em tempo real, o LWS permite que modelos de fala aproveitem todas as suas capacidades nativas de texto (código, análise estruturada) em um cenário multimodal. Os autores enfatizam que esta abordagem não requer modificações arquiteturais, tornando-a escalável e reutilizável.

O estudo conclui que, embora o LWS seja otimizado para responsividade, ele enfrenta atualmente limitações na profundidade de raciocínio (devido às restrições de tempo real) e na modalidade de entrada (apenas entrada de fala). No entanto, estabelece um novo baseline para como os LLMs baseados em fala podem interagir com usuários, indo além da fala linearizada para incluir outputs intermediários persistentes, inspecionáveis e estruturados.