Are you speaking my languages? On spoken language adherence in multimodal LLMs

Resumo Técnico: Sobre a Adesão à Língua Falada em LLMs Multimodais

Definição do Problema
Embora o Reconhecimento Automático de Fala (ASR) baseado em Grandes Modelos de Linguagem (LLM) permita uma transcrição multilíngue e de alternância de código (code-switching) flexível e zero-shot, esses modelos frequentemente identificam incorretamente o idioma alvo, particularmente em segmentos curtos ou ruidosos. Essa "falta de adesão linguística" degrada a fidelidade da transcrição, introduzindo erros que distorcem o significado e comprometem tarefas subsequentes, como tradução automática e análise de sentimento. Além dos erros funcionais, o texto em língua estrangeira errôneo cria uma experiência negativa para o usuário, podendo parecer amador ou culturalmente insensível. O desafio central é guiar o modelo em direção ao idioma esperado usando o contexto do usuário (dicas/indícios) sem restringir estritamente a capacidade do modelo de realizar alternância de código ou lidar com sinais imperfeitos.

Metodologia
Os autores propõem uma abordagem sistemática para abordar a adesão linguística, abrangendo formalização, medição e três estratégias de mitigação distintas.

1. Formalização e Métrica (LAVR):
   O artigo define uma "Violação de Adesão Linguística" como ocorrendo quando o conjunto de idiomas ($L_{hyp}$) detectados na saída gerada não é um subconjunto dos idiomas de referência ($L_{ref}$) presentes no áudio. Para quantificar isso, os autores introduzem a Taxa de Violação de Adesão Linguística (LAVR).

   • Definição Operacional: "Idioma" é definido pelo seu script canônico. Uma violação ocorre se a saída do ASR contiver caracteres inconsistentes com a ortografia padrão do idioma alvo (por exemplo, um 'ç' em uma saída em alemão).
   • Escopo: Pontuação ASCII básica e dígitos são tratados como neutros. A métrica prioriza o recall para caracteres inesperados que chamariam a atenção do usuário, aceitando um compromisso onde pode falhar em detectar erros sistemáticos (como a omissão de tremas) se não houver caracteres "surpreendentes" presentes.

2. Estratégias de Mitigação:
   O estudo avalia três estratégias não mutuamente exclusivas para melhorar a adesão mantendo a flexibilidade:

   • Prompting Zero-Shot (ZS): Aproveitando o aprendizado em contexto ao fornecer dicas de idioma no prompt. Os autores testaram três estilos de prompt (P1, P2, P3) e selecionaram o P3 ("Transcreva este segmento de fala. Pode conter uma mistura de e outros idiomas") por sua robustez contra dicas incorretas.
   • Ajuste Fino Supervisionado (SFT): Treinando o modelo com prompts de adesão linguística para incutir o comportamento desejado. Os dados de treinamento incluíram uma mistura de dicas corretas, dicas de distração (idiomas incorretos), dicas mistas e cenários sem dicas para garantir a robustez.
   • Cadeia de Pensamento (CoT): Um passo de raciocínio onde o modelo é compelido a identificar e declarar explicitamente o idioma falado antes de transcrever. Isso estreita o espaço de amostragem para a tarefa de transcrição.

3. Configuração Experimental:

   • Datasets: Datasets monolíngues (consultas reais de usuários) e datasets de alternância de código sintetizados (Inglês pareado com Francês, Hindi ou Coreano).
   • Baseline: Gemini Flash Lite 2.0, um LLM profundo baseado em Transformer.
   • Cenários de Avaliação: Quatro condições de prompt foram testadas: sem dica (no-hint), correta (oráculo ideal), distrator (idioma incorreto) e mista (correta + distrator).
   • Métricas: LAVR e Taxa de Erro de Palavra (WER).

Principais Resultados
A análise comparativa entre Inglês, Francês, Hindi e Coreano (tanto monolíngues quanto de alternância de código) rendeu os seguintes achados:

• Impacto das Dicas de Idioma: A presença de pelo menos uma dica de idioma correta (condições "correta" ou "mista") superou significativamente as condições "sem dica" e "distrator" em todos os métodos e métricas. Isso ressalta a importância crítica de uma estimativa de idioma a montante (upstream) precisa.
• Comparação de Estratégias:
  • Quando fornecidas com dicas de idioma idênticas, as três estratégias (ZS, SFT, CoT) demonstraram níveis de desempenho amplamente comparáveis.
  • Prompting Zero-Shot provou ser tão eficaz quanto as abordagens de SFT e CoT, que são mais intensivas computacionalmente.
  • Degradação de SFT e CoT: Os modelos SFT e CoT exibiram um WER elevado na condição "sem dica" em comparação ao baseline. Os autores atribuem isso ao esquecimento catastrófico, pois o baseline foi fortemente treinado em dados "sem dica", enquanto os modelos ajustados viram uma proporção reduzida (10%) desses dados durante o treinamento.
• Resiliência a Distratores: Incluir um idioma distrator junto com uma dica correta (condição "mista") teve um impacto negativo negligenciável, performando significativamente melhor do que não ter nenhuma dica. Por outro lado, fornecer apenas uma dica distratora geralmente resultou em um desempenho inferior ao cenário "sem dica".

Significância e Alegações
O artigo afirma fornecer a primeira avaliação sistemática da adesão linguística em LLMs multimodais para ASR, introduzindo uma métrica padronizada (LAVR) para quantificar essas violações.

A principal contribuição é a demonstração de que o prompting zero-shot é tão eficaz quanto o ajuste fino ou o raciocínio de Cadeia de Pensamento (CoT) para manter a adesão linguística, desde que sinais de idioma precisos estejam disponíveis. Os autores concluem que o fator mais impactante para otimizar o desempenho do sistema não é a complexidade da estratégia de mitigação, mas sim a precisão da dica de idioma em si. Consequentemente, o artigo defende a implementação de mecanismos a montante (upstream) (como modelos dedicados de Identificação de Idioma ou análise de metadados) para prever os idiomas falados com alta confiança, em vez de depender apenas de mudanças arquiteturais no lado do modelo para corrigir sinais ausentes ou errôneos.