RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

Título: RECOVER: Correção Robusta de Entidades via Orquestração Agente de Variantes de Hipóteses para Recuperação Baseada em Evidências

1. Problema Identificado

Os sistemas modernos de Reconhecimento Automático de Fala (ASR), como Whisper e wav2vec 2.0, alcançam baixas taxas de erro de palavra (WER) em benchmarks gerais. No entanto, seu desempenho degrada-se significativamente em frases de entidades (nomes próprios, marcas, terminologia específica de domínio) que são raras ou ausentes nos dados de treinamento.

• Contextos Críticos: Em domínios como finanças, medicina e controle de tráfego aéreo (ATC), erros nessas entidades são custosos e podem levar a falhas críticas (ex.: confundir "cytiva" com "cytiba" ou "linezolid" com "linear zolid").
• Limitações das Abordagens Atuais:
  • Biasing no Decode: Requer acesso aos internals do decodificador, o que muitas vezes não é possível em sistemas de produção (caixas pretas).
  • Correção Pós-ASR com LLMs: Modelos de Linguagem (LLMs) podem corrigir erros, mas tendem a alucinar ou fazer correções excessivas sem restrições. Além disso, se a entidade estiver totalmente ausente ou corrompida na hipótese "1-Best" (a melhor saída única), o LLM carece do sinal necessário para recuperá-la.

2. Metodologia Proposta: RECOVER

O RECOVER é um framework de correção pós-ASR baseado em agentes que atua como um "agente que usa ferramentas". Ele combina a diversidade de múltiplas hipóteses de ASR com a capacidade de edição restrita de LLMs.

O pipeline é dividido em três etapas principais e orquestrado por um agente:

A. Geração de Múltiplas Hipóteses

Em vez de depender de uma única transcrição, o sistema gera N hipóteses (no experimento, N=5) a partir do mesmo áudio.

• Técnica: Amostragem por temperatura (Temperature Sampling) no modelo Whisper-small.
• Objetivo: Criar erros complementares. Uma entidade que foi perdida ou corrompida em uma hipótese pode estar correta em outra, fornecendo evidências para a recuperação.

B. Recuperação Dinâmica de Candidatos a Entidades

Para evitar sobrecarregar o LLM com listas gigantes de entidades (até 6.198 frases), o sistema recupera dinamicamente os Top-K candidatos (K=200) mais relevantes para cada segmento de áudio.

• Função de Pontuação: Combina três sinais:
  1. Correspondência Exata: Contagem de tokens exatos nas hipóteses.
  2. Similaridade Difusa (Fuzzy): Similaridade de Levenshtein normalizada (útil para correções de "quase-acerto", ex.: sitiva → cytiva).
  3. Correspondência Fonética: Prefixo fonético compartilhado.
• As pontuações são ponderadas empiricamente para priorizar correspondências exatas, mas dar peso à similaridade difusa para recuperação de entidades corrompidas.

C. Orquestração Agente (Três Ferramentas)

O agente coordena três ferramentas especializadas:

1. Tool 1: Fusão de Hipóteses (Fuse Hypotheses)
   Combina as N hipóteses em um único texto base. O sistema suporta quatro estratégias:

   • 1-Best: Usa apenas a hipótese greedy original.
   • Entity-Aware Select: Seleciona a hipótese com o maior número de correspondências exatas de entidades.
   • ROVER Ensemble: Alinha todas as hipóteses a um pivô e faz uma fusão por votação majoritária (pode introduzir ruído de inserção).
   • LLM-Select: O LLM escolhe a melhor variante base e pode já propor correções de entidades na mesma chamada.

2. Tool 2: Proposta de Correções (Propose Corrections)
   Um LLM (GPT-4o) recebe o texto fundido e a lista de Top-K candidatos.

   • Restrições Rigorosas: O LLM deve propor apenas edições do tipo "encontrar e substituir" (find/replace).
   • Regras: As substituições devem ser estritamente da lista de entidades fornecida. Não são permitidas reescritas genéricas (gramática, pontuação, maiúsculas/minúsculas), a menos que seja uma correção de "quase-acerto" (near-miss).
   • Saída: JSON estruturado com offsets de caracteres, spans originais, substituições, tipo de entidade e justificativa.

3. Tool 3: Verificação e Aplicação (Verify & Apply)
   Antes de aplicar qualquer edição, o sistema executa verificações determinísticas (guardrails):

   • A substituição deve existir na lista de entidades.
   • Mudanças apenas de caso (case-only) são descartadas.
   • Se os offsets do LLM estiverem errados, o sistema relocaliza o span.
   • A similaridade de Levenshtein entre o original e a substituição deve ser alta (evita substituições não relacionadas).
   • As edições são aplicadas da esquerda para a direita, evitando sobreposições.

3. Contribuições Principais

1. Diversidade de Múltiplas Hipóteses: Demonstra que gerar múltiplas hipóteses via amostragem de temperatura cria erros complementares que podem ser explorados para corrigir entidades que falharam na hipótese única.
2. Arquitetura Agente: Decomposição do pipeline em três ferramentas orquestradas (Fusão, Proposta, Verificação), separando a análise da aplicação de correções.
3. Estratégias de Correção: Implementação e comparação de quatro estratégias (1-Best, Entity-Aware Select, ROVER, LLM-Select) dentro do mesmo pipeline.
4. Edição Restrita por LLM: Uso de um LLM como editor estritamente limitado a uma lista de entidades, com validações determinísticas para prevenir alucinações.

4. Resultados Experimentais

O framework foi avaliado em 5 conjuntos de dados diversos: Finanças (Earnings-21), Controle de Tráfego Aéreo (ATCO2), Medicina (Eka-Medical), Fala Geral (Common Voice) e Diálogo (ContextASR-Bench).

• Redução de Erro (E-WER): O sistema alcançou reduções relativas de 8% a 46% na Taxa de Erro de Palavras de Entidades (E-WER).
• Melhoria no Recall: Houve um aumento no recall de entidades de até 22 pontos percentuais, indicando que o sistema recupera com sucesso entidades que foram deletadas ou substituídas incorretamente pelo ASR original.
• Melhor Estratégia: A estratégia LLM-Select apresentou o desempenho mais consistente, alcançando as melhores taxas de E-WER em 4 dos 5 datasets, mantendo ou melhorando a WER geral (diferentemente do ROVER Ensemble, que às vezes degradou a WER geral devido a inserções de ruído).
• Mecanismo de Correção: A análise de alinhamento mostrou que a redução de substituições (corrigir "quase-acertos") foi o mecanismo dominante de correção (63-93% da redução total de erros).
• Robustez: Mesmo com o modelo menor GPT-4o-mini, houve ganhos consistentes, embora menores, confirmando que o raciocínio do LLM é crucial sob restrições estritas.

5. Significado e Conclusão

O RECOVER demonstra que é possível corrigir robustamente erros de entidades em sistemas ASR de "caixa preta" sem necessidade de re-treinamento do modelo de fala.

• Impacto Prático: Oferece uma solução viável para indústrias onde a precisão de nomes e termos técnicos é crítica, utilizando a diversidade de hipóteses como evidência e LLMs como editores inteligentes, mas controlados.
• Inovação: A abordagem agentic, que separa a fusão de hipóteses da proposta de correção e da verificação determinística, garante que as correções sejam precisas e não introduzam novos erros no texto geral.
• Futuro: Trabalhos futuros incluem a seleção adaptativa de estratégias por segmento e a integração com pontuações de confiança do ASR.

Em resumo, o RECOVER transforma a correção pós-ASR de uma tarefa de edição de texto genérica em um processo de recuperação de evidências estruturado, superando as limitações de alucinação dos LLMs e a falta de evidência dos sistemas ASR tradicionais.