Resumo Técnico: LuxSQA

Declaração do Problema

Os sistemas de Resposta a Perguntas Faladas (SQA - Spoken Question Answering) historicamente dependeram de idiomas de altos recursos e corpora de fala cuidadosamente gravados, limitando sua aplicabilidade em cenários de baixos recursos. As abordagens tradicionais em cascata (ASR seguido de QA baseado em texto) sofrem com a propagação de erros quando a saída do Reconhecimento Automático de Fala (ASR) é ruidosa e descartam pistas prosódicas essenciais para a localização da resposta. Embora as arquiteturas recentes de speech-LLM ofereçam soluções de parâmetros eficientes ao conectar codificadores de fala congelados a Grandes Modelos de Linguagem (LLMs) via projetores leves, esses sistemas ainda requerem dados de treinamento específicos para a tarefa em grande escala. Para idiomas de baixos recursos como o luxemburguês, a escassez de corpora de QA gravados por humanos apresenta uma barreira significativa para o desenvolvimento de sistemas de SQA robustos. Este artigo investiga se a aumentação por Text-to-Speech (TTS) pode preencher essa lacuna, abordando especificamente se a fala sintética pode servir como dados de treinamento eficazes sem exigir gravações humanas em larga escala, e quão sensíveis os sistemas resultantes são à qualidade do TTS, diversidade de voz e tamanho do corpus.

Metodologia

Pipeline de Construção de Dados

Os autores construíram um conjunto de dados de SQA em luxemburguês aproveitando recursos textuais existentes:

1. Tradução de Origem: Perguntas em inglês do corpus SQuAD v1.1 foram traduzidas para o luxemburguês usando o modelo TranslateGemma 12B Instruct.
2. Síntese: As perguntas de texto traduzidas foram convertidas em áudio falado usando múltiplos sistemas de TTS:
   • MMS-TTS: O Massively Multilingual Speech TTS da Meta.
   • Qwen3-TTS: Suportando CustomVoice (CV) cloning e VoiceDesign (VD) generation.
   • OmniVoice: Um modelo de TTS zero-shot que suporta mais de 600 idiomas, também oferecendo modos CV e VD.
3. Corpora: O estudo utilizou um corpus de fonte única de aproximadamente 48k perguntas (SQuAD-LB-TTS) e um mix de múltiplas fontes "4TTS mix", combinando variantes de Qwen3-TTS e OmniVoice para criar um conjunto de dados de aproximadamente 230k perguntas.
4. Conjuntos de Avaliação: O desempenho foi avaliado no LLAMA-LB-Test, um conjunto de 300 perguntas onde as perguntas em luxemburguês foram traduzidas por humanos e gravadas por dois falantes nativos (Speaker 1 e Speaker 2), fornecendo condições de avaliação do mundo real.

Arquitetura do Modelo

O sistema emprega uma arquitetura de estilo SLAM de parâmetros eficientes:

• Codificador de Fala (Speech Encoder): Um codificador Whisper-large-v3-turbo congelado processa a entrada de áudio.
• Projetor: Um projetor linear reduz a amostragem dos embeddings de nível de frame (por um fator de $k=5$) e os mapeia para o espaço de embedding de tokens do LLM.
• Backend do LLM: LLMs multilíngues congelados (EuroLLM-9B ou Apertus-8B) servem como o motor de geração.
• Adaptação: Apenas o projetor e os adaptadores LoRA (rank $r=16$, escala $\alpha=16$) são treinados. O modelo é otimizado para mapear perguntas faladas diretamente para respostas textuais usando perda de entropia cruzada, operando em um regime de seguimento de instrução de fala em vez de transcrição pura.

Estratégias de Treinamento

Os autores compararam várias configurações de treinamento:

• Fonte única: Treinamento em dados de um motor TTS específico (ex: MMS-TTS, Qwen-VD, Omni-C).
• Múltiplas fontes: Treinamento no mix combinado 4TTS.
• Inicialização: Comparação entre o treinamento do zero versus inicialização a partir de um checkpoint adaptado para ASR (treinado em dados LuxASR).

Métricas de Avaliação

Dada a riqueza morfológica do luxemburguês e a tendência de paráfrase, métricas de correspondência exata foram consideradas insuficientes. O artigo utiliza duas métricas conscientes de semântica:

1. Similaridade Semântica (SemSim): Utiliza um codificador de sentença multilíngue para computar a similaridade de cosseno máxima entre a resposta de ouro e qualquer trecho na predição.
2. Média do Juiz LLM (LLM Judge Mean): Uma pontuação média de dois juízes ajustados para instrução (GPT-4o e Gemini-2.5-Flash) avaliando a adequação da resposta em uma escala de 0–1, aceitando traduções e variantes.

Resultados Principais

Ganhos de Desempenho

• Eficácia dos Dados Sintéticos: Modelos treinados em fala luxemburguesa sintética específica de um falante superaram significativamente os modelos adaptados genericamente para o luxembuês. A melhor configuração (EuroLLM-9B com 4TTS mix) alcançou 72,6% de SemSim e 60,1% de LLM Judge Mean para o Speaker 1, e 74,8% de SemSim e 61,8% de LLM Judge Mean para o Speaker 2.
• Fechando a Lacuna: Esses escores aproximaram-se ou excederam a similaridade semântica da linha de base apenas de texto, demonstrando que dados sintéticos cuidadosamente construídos podem compensar a falta de gravações de QA reais.
• Benefícios da Inicialização: Inicializar o projetor a partir de um checkpoint adaptado para ASR melhorou ainda mais o desempenho em ambos os falantes em comparação ao treinamento do zero.

Qualidade do TTS vs. Desempenho Downstream

• Correlação Não-Monotônica: Uma descoberta crítica é que pontuações de qualidade de TTS sem referência (ex: NISQA MOS, DNSMOS) não predizem monotonicamente o desempenho de QA downstream.
  • O Omni-C alcançou a maior pontuação DNSMOS geral (3.38), mas rendeu um desempenho de QA inferior ao 4TTS mix.
  • O MMS-TTS recebeu pontuações perceptivas fortes, mas permaneceu entre as configurações mais fracas em tarefas de QA.
• Importância da Diversidade: Configurações de múltiplas fontes e configurações baseadas em VoiceDesign (que geram vozes diversas a partir de descrições textuais) superaram consistentemente as configurações de fonte única ou de clonagem de voz, sugerindo que a diversidade de voz é mais crítica para a robustez do que as pontuações de naturalidade de áudio bruto.

Comparações de Modelos

• Backbone: O EuroLLM-9B geralmente superou o Apertus-8B em configurações de alto desempenho.
• Estabilidade: As configurações de alto desempenho permaneceram robustas em ambos os falantes de avaliação, indicando que a configuração dos dados de treinamento é o principal motor do sucesso, e não a aleatoriedade específica do falante.

Significância e Alegações

O artigo posiciona o LuxSQA como uma contribuição metodológica em vez de uma comparação de modelos, oferecendo um fluxo de trabalho completo para construir e explorar dados de SQA aumentados por TTS em idiomas de baixos recursos.

1. Viabilidade da Aumentação por TTS: O estudo demonstra que um pipeline de SQA utilizável para idiomas de baixos recursos pode ser construído sem coletar grandes corpora de QA gravados por humanos. O treinamento sintético específico de falante melhora substancialmente o desempenho em entradas faladas reais.
2. Avaliação de Dados Sintéticos Específica para a Tarefa: Os autores argumentam que a fala sintética deve ser avaliada como dados de treinamento específicos para a tarefa, e não apenas como áudio soando natural. A alta qualidade perceptual (MOS) é necessária, mas não suficiente; os dados sintéticos devem preservar as pistas lexicais, fonéticas e prosódicas necessárias para que o codificador de fala e o projetor recuperem o conteúdo da pergunta de forma confiável.
3. Lacuna Persistente entre Fala e Texto: Apesar dos ganhos, permanece uma lacuna entre o desempenho de texto e o de fala. Mesmo os melhores sistemas específicos de falante pontuaram abaixo da linha de base de texto no LLM Judge Mean, sugerindo que o ruído de tradução, incompatibilidades de pronúncia e o alinhamento imperfeito de speech-to-LLM ainda resultam em perda de informação.

O artigo conclui que, embora a aumentação por TTS seja uma ferramenta poderosa para SQA de baixos recursos, os esforços futuros devem equilibrar a coleta de fala manual e sintética e focar em avaliar os dados sintéticos com base em sua utilidade para a tarefa específica de downstream, em vez de métricas de qualidade de áudio genéricas.