Resumo Técnico: Correção Interativa de Orador em Reunião com Feedback Humano

Declaração do Problema

Os sistemas de Reconhecimento Automático de Fala (ASR) e de diarização de oradores operam tipicamente em modo "malha aberta", carecendo de mecanismos para intervenção do usuário em tempo real. Embora os sistemas mais avançados tenham progredido, eles ainda lutam contra ruídos de fundo, fala sobreposta e vocabulário de cauda longa. Crucialmente, erros de atribuição de orador — quem disse o quê — podem minar severamente a confiabilidade da transcrição. Os fluxos de trabalho de correção existentes são predominantemente posteriores, exigindo anotação manual custosa após o término da reunião. Há necessidade de uma abordagem prática e leve que permita aos oradores corrigir erros de atribuição durante a conversa, sem interromper o fluxo natural ou exigir que revisem quantidades avassaladoras de texto.

Metodologia

Os autores propõem um sistema de correção interativa em reunião, assistido por LLM, projetado para operar sob três restrições práticas: (1) os usuários não devem ser sobrecarregados por transcrições completas; (2) o feedback deve ser leve (por exemplo, correções verbais simples); e (3) o ASR e a diarização subjacentes devem ser em streaming (tomando decisões imediatas sem contexto futuro).

O fluxo de trabalho consiste nos seguintes componentes:

1. Transcrição e Segmentação em Streaming: O sistema processa áudio ao vivo usando um ASR em streaming (Google Speech-to-Text) e um modelo de incorporação de orador (ECAPA-TDNN) para gerar uma transcrição atribuída a oradores.
2. Refinamento Dividir-Ao-Fundir (SWM): Para abordar o problema em que segmentos de ASR em streaming frequentemente fundem fala de múltiplos oradores, o sistema emprega uma etapa de pós-processamento. O SWM particiona recursivamente segmentos em sub-segmentos menores e consistentes com o orador, usando evidências de orador ao nível de palavra e uma estratégia de votação com janela deslizante. Isso aumenta a "pureza" da atribuição de orador dentro das unidades.
3. Resumo por LLM: Em vez de exibir a transcrição completa, um LLM gera resumos concisos das $L$ últimas falas. Esses resumos destacam as principais contribuições de cada orador, permitindo que os usuários identifiquem rapidamente erros de atribuição sem ler todo o log.
4. Feedback e Correção do Usuário: Os usuários fornecem feedback corretivo breve (por exemplo: "Ei Cobi, não foi Sara quem mencionou overfitting; foi a Rosa").
5. Corretor e Remediação por LLM: Um LLM processa o feedback para:
   • Restringir a Correção: Identificar o trecho de texto específico dentro de um segmento que requer reatribuição, em vez de corrigir todo o segmento.
   • Reatribuir Oradores: Atualizar a transcrição com o rótulo de orador correto para o trecho identificado.
   • Inscrição Online: Extrair uma nova incorporação de orador do trecho corrigido (se atender aos critérios de duração, por exemplo, 5–20 segundos) e adicioná-la ao conjunto de inscrições de oradores. Isso melhora dinamicamente a atribuição futura de oradores, adaptando-se à voz do orador no ambiente acústico atual.

Estratégia de Avaliação

Devido à dificuldade de realizar estudos com usuários em larga escala ao vivo, os autores desenvolveram uma simulação de feedback de usuário impulsionada por LLM. Neste pipeline:

• Um LLM compara o resumo gerado pelo sistema contra a transcrição de verdade (ground-truth) para identificar erros de atribuição.
• Se um erro for encontrado, o LLM gera uma mensagem de correção em linguagem natural imitando um usuário (começando com a palavra de ativação "Hey Cobi").
• Uma etapa de verificação garante que a correção proposta seja razoável antes de ser inserida no sistema.
• Esta simulação foi validada em 8 reuniões do conjunto de treinamento AMI, alcançando 78,9% de precisão de correção.

Principais Resultados

Os experimentos foram conduzidos no conjunto de teste AMI Headset-mix (16 reuniões). O fluxo de trabalho proposto foi comparado a uma linha de base em streaming (Google ASR + ECAPA) e a uma estratégia de "inscrição prévia" oráculo.

• Ganhos de Desempenho: O fluxo de trabalho completo proposto reduziu a Taxa de Erro de Diarização (DER) em 31,99% e o Erro de Orador (SErr) em 52,68% em relação à linha de base não corrigida.
• Análise de Componentes:
  • SWM sozinho reduziu a DER de 36,32% para 31,60%.
  • Inscrição Online sozinha reduziu a DER para 26,82%.
  • Abordagem Combinada: A combinação de SWM e Inscrição Online produziu os melhores resultados (24,70% de DER), demonstrando que os componentes são complementares.
• Comparação com Inscrição Prévia: A estratégia de inscrição online interativa superou uma estratégia em que os oradores forneciam múltiplas amostras de inscrição no início da reunião. Isso sugere que corrigir erros dinamicamente com base em erros reais de atribuição é mais eficaz do que confiar apenas em amostras iniciais, provavelmente porque captura condições acústicas (por exemplo, mudanças de ruído) encontradas mais tarde na reunião.
• Resumo vs. Transcrição Completa: O uso de resumos gerados por LLM para correção foi mais eficaz e eficiente do que exibir a conversa completa, fornecendo contexto suficiente enquanto minimiza a carga cognitiva do usuário.

Significado e Alegações

O artigo afirma demonstrar que feedback preciso e adaptativo pode melhorar substancialmente a transcrição atribuída a oradores em cenários em tempo real. O significado do trabalho reside em:

1. Inovação no Fluxo de Trabalho: Propor um loop de correção prático em reunião que equilibra a conveniência do usuário (feedback leve) com a precisão do sistema (atualizações granulares).
2. Adaptação Dinâmica: Mostrar que a inscrição online, acionada por correções do usuário, é um mecanismo poderoso para superar deslocamentos de domínio e melhorar a precisão futura da diarização sem configuração inicial onerosa.
3. Avaliação Escalável: Introduzir um método de simulação impulsionado por LLM que permite avaliação reprodutível e em larga escala de fluxos de trabalho de correção interativa em conjuntos de dados padrão como o AMI.

Os autores reconhecem limitações, observando que a avaliação depende de feedback de usuário simulado e não ao vivo, e que o sistema atual foca especificamente na atribuição de oradores e não em erros lexicais do ASR. Eles sugerem que trabalhos futuros poderiam estender esta estrutura interativa para lidar com correções ao nível de palavras e erros de fronteira.