Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

Resumo Técnico: Treinamento Contrastivo com Near-Misses Gerados por LLM para Reconhecimento de Fala Robusto em Code-Switching

Definição do Problema
Sistemas de Reconhecimento Automático de Fala (ASR) enfrentam dificuldades com o code-switching (CS), onde os falantes alternam entre idiomas dentro de uma única emissão. Embora o ajuste fino (fine-tuning) padrão reduza as taxas de erro globais, os erros de reconhecimento permanecem desproporcionalmente concentrados em regiões críticas de CS, especificamente em palavras de linguagem incorporada (embedded-language words) e vizinhanças de fronteira de alternância (switch-boundary neighborhoods). As abordagens existentes frequentemente carecem de sinais explícitos para visar esses intervalos de confusão, e os objetivos padrão falham em distinguir entre a transcrição de referência (ground-truth) e alternativas acusticamente plausíveis, mas incorretas ("near-misses" ou quase-acertos).

Metodologia
Os autores propõem um framework de treinamento contrastivo consciente de Pontos de Interesse (POI-aware) centrado em um pipeline chamado CS-NMG (Code-Switching Near-Miss Generation). A metodologia consiste em três estágios primários:

1. Identificação de POI e Geração de Near-Misses:

   • Detecção de POI: O sistema identifica intervalos de CS (segmentos de linguagem incorporada) e suas vizinhanças imediatas de fronteira de alternância nas transcrições de referência.
   • Construção de Candidatos: Os near-miss hypotheses são construídos perturbando apenas os POIs identificados. Isso envolve:
     • Extração de hipóteses N-best de um modelo ASR semente fixo.
     • Uso de um Modelo de Linguagem de Grande Escala (LLM) externo para gerar candidatos de substituição de POI adicionais, garantindo que a estrutura da sentença seja preservada enquanto introduz confusões fonéticas localizadas no POI.
   • Filtragem de Tri-Nível: Para garantir que os near-misses gerados sejam "difíceis, mas plausíveis", um portão de filtragem é aplicado usando três restrições:
     • Acústica: O near-miss deve ter uma pontuação de log-probabilidade próxima à melhor hipótese N-best.
     • Fonética: A substituição deve ser foneticamente semelhante ao original (medida via distância de Levenshtein em sequências de fonemas).
     • Textual: A substituição deve ser suficientemente diferente em sua forma superficial para constituir um negativo desafiador.

2. Alinhamento de Treinamento Contrastivo:

   • O modelo ASR (Whisper-small ajustado com LoRA) é otimizado usando uma função de perda de objetivo duplo:
     • Objetivo de Âncora: Uma perda de Entropia Cruzada ponderada por POI (WCE) que aumenta o peso dos tokens dentro dos intervalos de POI.
     • Perda de Ranking Contrastivo: Uma perda do tipo InfoNCE que classifica explicitamente a transcrição de referência (ground-truth) com uma pontuação superior aos near-misses negativos difíceis selecionados. Isso incentiva o modelo a preferir os termos de CS corretos sobre transcrições que são acusticamente plausíveis, mas incorretas.

3. Métricas de Avaliação:

   • O desempenho é medido usando a taxa de erro de palavra (WER) padrão e a Taxa de Erro de Ponto de Interesse (PIER), que isola erros ocorrendo especificamente dentro dos intervalos de CS identificados.

Principais Contribuições

• Pipeline CS-NMG: Um mecanismo consciente de acústica para gerar near-misses locais de POI, semeados a partir de listas N-best e expandidos por LLMs, preservando a plausibilidade acústica enquanto introduz confusões direcionadas.
• Objetivo de Treinamento Contrastivo: Uma estratégia de treinamento inovadora que combina entropia cruzada ponderada por POI com ranking contrastivo de múltiplos negativos. Diferente da simples reponderação de tokens, esta abordagem separa explicitamente confusões comuns de POI ao aprender a classificar a referência acima de alternativas plausíveis.
• Validação Empírica: O framework demonstra melhorias consistentes sobre bases fortes (incluindo fine-tuning padrão, WCE e MWER de nível de sequência) em benchmarks de code-switching gerais e específicos de domínio.

Resultos Experimentais
O método foi avaliado em dois benchmarks: CS-FLEURS (Mandarim-Inglês) e ViMedCSS (Vietnamita-Inglês, domínio médico).

• Ganhos de Desempenho: O modelo completo (WCE + Perda Contrastiva com filtragem de tri-nível) alcançou as menores taxas de erro em ambos os conjuntos de dados.
  • No CS-FLEURS, reduziu o WER para 14,06% e o PIER para 15,10%, superando a melhor base (MWER) que apresentou um WER de 15,75% e PIER de 16,41%.
  • No ViMedCSS, reduziu o WER para 21,87% e o PIER para 18,74%, comparado ao WER da base MWER de 23,82% e PIER de 20,84%.
• Insights de Ablação:
  • Simplesmente aumentar o peso dos tokens de POI (WCE) rendeu apenas melhorias marginais.
  • A expansão por LLM sozinha (sem filtragem) aumentou o número de negativos, mas não melhorou consistentemente o desempenho, às vezes degradando o WER ou PIER.
  • O filtro de tri-nível (Acústico + Fonético + Textual) foi crítico; ele selecionou um conjunto menor, porém de maior qualidade, de negativos (~3,8 por emissão), levando aos melhores resultados gerais. Isso confirmou que o aprendizado contrastivo eficaz requer negativos que sejam acusticamente plausíveis, foneticamente similares, porém textualmente distintos.

Significância e Alegações
O artigo alega que a principal fonte de erros de CS reside na incapacidade dos modelos de desambiguar entre os termos incorporados corretos e alternativas acusticamente similares. Ao mudar de um objetivo de verossimilhança padrão para um objetivo de ranking contrastivo focado em near-misses locais de POI, o framework proposto fornece um sinal de treinamento mais informativo.

Os autores enfatizam que sua abordagem melhora a robustez em regiões de CS sem exigir módulos auxiliares durante a inferência, mantendo um processo de decodificação padrão de apenas ASR. Eles reconhecem limitações quanto à dependência de APIs de LLM externos para geração de dados offline e o escopo atual limitado a dois pares de idiomas e um único backbone, sugerindo trabalhos futuros em expansão de candidatos de código aberto e cobertura linguística mais ampla.