UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction

1. O Problema

A interação por voz em full-duplex (onde o usuário e o sistema podem falar e ouvir simultaneamente, permitindo interrupções naturais) é o padrão mais intuitivo para a comunicação humana. No entanto, os sistemas tradicionais de assistentes de voz enfrentam limitações críticas baseadas em arquiteturas em cascata (pipeline):

• Propagação de Erros e Distorção: Em pipelines tradicionais, módulos separados para cancelamento de eco (AEC), supressão de ruído (ANS), detecção de atividade de voz (VAD) e reconhecimento de voz (ASR) processam o sinal sequencialmente. Erros em etapas iniciais (ex: ruído removido incorretamente que distorce a fala) degradam o desempenho das etapas subsequentes.
• Otimização Desconexa: Módulos como VAD e detecção de troca de turno (TD) são otimizados independentemente, muitas vezes baseando-se apenas em características acústicas (energia, espectro) sem considerar o contexto semântico ou a identidade do falante, levando a falsas interrupções ou falhas em detectar pausas reais.
• Latência Acumulada: A soma das latências de cada módulo individual impede que o sistema atinja a janela de percepção humana ideal (200ms-500ms), tornando a resposta a interrupções (barge-in) lenta e pouco natural.
• Limitação dos Modelos Atuais: Embora modelos de ponta como o GPT-4o unificaram a compreensão e geração de fala, a maioria ainda opera em half-duplex (turnos alternados) ou depende de módulos front-end externos para lidar com ruído, eco e sobreposição de vozes.

2. Metodologia: UAF (Unified Audio Front-End LLM)

Os autores propõem o UAF, o primeiro Modelo de Linguagem Grande (LLM) unificado projetado especificamente para tarefas de front-end de áudio em sistemas full-duplex.

• Reformulação do Problema: O UAF transforma tarefas diversas (VAD, SR, ASR, TD e QA) em um único problema de previsão de sequência auto-regressiva. Em vez de processar o áudio em ondas contínuas para saída de waveform limpa, o modelo gera tokens discretos que codificam tanto o conteúdo semântico quanto os sinais de controle do sistema.
• Arquitetura:
  • Entrada: O modelo recebe chunks de áudio em streaming (ex: 600ms) e um prompt de áudio de referência (3-5 segundos da voz do usuário alvo).
  • Codificação: Um codificador de áudio processa o áudio de referência e os chunks de streaming, projetando-os no espaço de embeddings do LLM.
  • Geração de Tokens: O modelo gera uma sequência de tokens que inclui:
    • Tokens de Estado (Controle): Indicam VAD (<SIL>, <TALK>), detecção de turno (<Complete>, <InComplete>, <Interrupt>, <Backchannel>).
    • Tokens Semânticos: Resultados da ASR (entre <AsrStart> e <AsrEnd>) e respostas do sistema (entre <AnswerStart> e <AnswerEnd>).
• Mecanismo de Ancoragem: O prompt de áudio de referência atua como uma "âncora" no mecanismo de atenção, permitindo que o modelo foque exclusivamente na voz do falante alvo, ignorando eco, ruído de fundo e outras vozes (interferência).
• Estratégia de Treinamento (Multi-stage):
  1. Pré-treinamento Contínuo: Foco em VAD, SR e ASR com 6.000 horas de áudio.
  2. Alinhamento TD e QA: Treinamento para detecção de troca de turno e geração de respostas.
  3. Treinamento de Todas as Tarefas: Ajuste fino conjunto em dados de diálogo multi-turno.
  • Utiliza-se LoRA (Low-Rank Adaptation) para eficiência e preservação das capacidades linguísticas originais do modelo base (Qwen3-Omni).

3. Geração de Dados (Synthesis Pipeline)

Devido à escassez de dados reais de interação full-duplex complexa, os autores criaram um pipeline de síntese de dados híbrido:

• Combina gravações reais e diálogos sintéticos em larga escala.
• Simula cenários de "cocktail party" com ruído ambiental, eco de sistema (simulado via convolução com funções de transferência) e falantes interferentes.
• Utiliza um pipeline de extração de timestamps acústico-aware (baseado no Paraformer-Zh) para criar rótulos precisos de nível de palavra, essenciais para alinhar os tokens de estado com os chunks de áudio.

4. Resultados Principais

O UAF foi avaliado em várias tarefas de front-end e demonstrou desempenho superior (State-of-the-Art) em comparação com modelos especializados e LLMs multimodais existentes:

• VAD (Detecção de Atividade de Voz): Alcançou um F1-score de 97,57%, com uma recall excepcional de 97,99%, superando modelos como Silero-VAD e FSMN-VAD. A alta sensibilidade é crucial para detectar interrupções precisas.
• ASR Padrão e com Referência:
  • Em testes sem referência de voz, o UAF obteve WER (Taxa de Erro de Palavras) competitivo (ex: 2,43 no AISHELL-2).
  • Com Referência de Voz: O desempenho foi dramático. Em condições de ruído extremo (2 dB SNR), o UAF alcançou 5,34 WER, enquanto o modelo Qwen3-Omni-30B-A3B atingiu 38,6 WER. Isso prova a eficácia na supressão de interferentes e eco.
• Detecção de Troca de Turno (TD):
  • Alcançou 100% de precisão na detecção de interrupções (<Interrupt>), um desafio crítico para sistemas full-duplex.
  • Superou significativamente outros modelos na detecção de backchannels (95,7% vs 28% do Qwen3-Omni), mantendo a fluência da conversa sem interromper o sistema indevidamente.
• Ablação: Modelos maiores (30B-A3B) mostraram-se superiores em condições de baixo SNR, e o uso de cabeças dedicadas (Dedicated Task Heads) para VAD/TD foi essencial para evitar o acoplamento indesejado entre a transcrição e o controle de estado.

5. Significado e Contribuições

• Mudança de Paradigma: O trabalho desafia a arquitetura tradicional de "front-end + back-end" em cascata, propondo que a percepção de áudio (limpeza, detecção, identificação) deve ser uma capacidade nativa e integrada do modelo de linguagem generativo.
• Interação Natural: Ao unificar a percepção e a ação em um único framework, o UAF permite sistemas de voz verdadeiramente full-duplex com baixa latência e alta robustez, capazes de lidar com interrupções e sobreposição de fala como humanos fazem.
• Eficiência e Robustez: A abordagem elimina a necessidade de múltiplos modelos especializados e a propagação de erros entre eles, oferecendo uma solução escalável e mais precisa para assistentes de voz em ambientes reais e ruidosos.

Em resumo, o UAF representa um avanço significativo rumo a agentes conversacionais onde a "escuta" não é apenas um passo de pré-processamento, mas uma capacidade inteligente e contextual integrada ao próprio modelo de linguagem.