Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities

Resumo Técnico: LLMs de Fala Zero-Shot para Avaliação Multidimensional de L2

Definição do Problema
A avaliação precisa da pronúncia do inglês como segunda língua (L2) é essencial para fornecer feedback personalizado e garantir a avaliação justa do progresso do aluno. Embora os sistemas de Treinamento de Pronúncia Assistido por Computador (CAPT) tenham se tornado vitais, as abordagens tradicionais baseadas em pontuação ao nível de fonema (ex: Goodness of Pronunciation) frequentemente falham em capturar fluência, prosódia e completude ao nível da sentença. Além disso, a avaliação humana consome muitos recursos e carece de escalabilidade. Embora os Grandes Modelos de Linguagem (LLMs) tenham transformado a avaliação baseada em texto, sua aplicação à avaliação da linguagem falada — especificamente para pontuação multidimensional alinhada a rubricas em um cenário zero-shot — permanece um campo emergente. Este artigo aborda o desafio de avaliar se LLMs de fala ajustados por instrução podem realizar uma avaliação de pronúncia holística e multidimensional sem ajuste fino (fine-tuning) específico para a tarefa.

Metodologia
O estudo avalia o desempenho zero-shot do Qwen2-Audio-7B-Instruct, um LLM de fala multimodal ajustado por instrução. A arquitetura do modelo integra um codificador de áudio baseado no Whisper-large-v3 (convertendo formas de onda brutas em espectrogramas de Mel) com um decodificador de texto Qwen-7B, permitindo a interação direta entre áudio e texto.

• Conjunto de Dados: A avaliação utiliza o corpus Speechocean762, composto por 5.000 enunciados em inglês de 250 aprendizes falantes de mandarim. O conjunto de dados inclui anotações ao nível de sentença de cinco avaliadores especialistas em quatro dimensões: Precisão (Accuracy), Fluência (Fluency), Prosódia (Prosody) e Completude (Completeness) (escala 0–10).
• Estratégia de Prompting: O modelo opera em um cenário zero-shot, o que significa que nenhum ajuste fino foi realizado para a tarefa de avaliação. Cada enunciado foi pareado com um prompt multimodal contendo o áudio bruto e o texto de referência esperado. O prompt instruiu explicitamente o modelo a agir como um especialista em pronúncia, avaliando o falante com base nas quatro rubricas específicas com critérios de pontuação definidos (ex: 9–10 para "Excelente", 0–2 para "Ininteligível").
• Processamento de Saída: O modelo foi instruído a retornar as pontuações em um formato JSON estruturado. Um parser baseado em expressões regulares extraiu os fragmentos de texto no estilo dicionário para mapear as saídas do modelo às quatro categorias da rubrica, lidando com pequenas variações de formatação enquanto descartava campos inválidos.
• Protocolo de Avaliação: As previsões do modelo foram comparadas com o ground truth (GT) anotado por humanos. As métricas incluíram taxas de correspondência exata, concordância dentro das margens de ±1 e ±2 pontos, Coeficientes de Correlação de Pearson (PCC) e análise de sensibilidade em relação a enunciados de baixa qualidade.

Principais Resultados
O estudo revela um perfil de desempenho matizado para o modelo Qwen-Audio-Instruct:

• Concordância com Avaliações Humanas: O modelo demonstrou forte concordância com os avaliadores humanos dentro de uma tolerância de ±2 pontos, alcançando taxas de correspondência de 87,4% (Precisão), 89,5% (Fluência) e 87,5% (Prosódia). No entanto, as taxas de correspondência exata foram relativamente baixas (23,3%–26,1% para precisão, fluência e prosódia), e a Completude mostrou um alinhamento significativamente menor (0,7% de correspondência exata, 55,9% dentro de ±2).
• Correlação: As correlações diretas de pontuação (PCC) foram geralmente fracas (ex: 0,140 para Precisão, 0,053 para Fluência). Contudo, ao utilizar correspondências baseadas em tolerância (±1 e ±2), as correlações melhoraram, particularmente para Precisão (0,671 em ±2) e Prosódia (0,422 em ±2).
• Viés e Sensibilidade: O modelo exibiu um viés de superestimação sistemática, particularmente para fala de baixa qualidade. Para enunciados com pontuações de precisão de ground truth ≤6, o modelo não conseguiu atribuir qualquer pontuação nessa faixa. Da mesma forma, ele superpreviu as pontuações de fluência e prosódia em 95,7% e 89,3% dos casos de baixo GT, respectivamente.
• Desempenho Específico da Rubrica:
  • Prosódia: A distribuição das pontuações de prosódia espelhou visualmente as anotações humanas mais de perto do que outras rubricas, sugerindo que o modelo captura características suprassegmentais (entonação, ritmo) de forma eficaz.
  • Completude: Esta rubrica apresentou o pior desempenho. Os autores atribuem isso à ambiguidade na definição de completude do conjunto de dados e à falta de orientação detalhada da rubrica no prompt, levando a discrepâncias significativas entre as pontuações humanas e do modelo.

Significância e Alegações
O artigo afirma ser o primeiro trabalho a avaliar um LLM de fala ajustado por instrução em um cenário zero-shot para avaliação de pronúncia multidimensional usando pontuação baseada em rubricas.

• Potencial: As descobertas demonstram que LLMs de fala ajustados por instrução podem realizar avaliações de granularidade grossa e multifacetadas sem adaptação. Essa capacidade é destacada como particularmente valiosa para prototipagem rápida, implementações de baixo recurso e cenários onde dados rotulados para ajuste fino são escassos.
• Limitações: Os autores observam modestamente que, embora o modelo mostre promessa para alinhamento geral, carece da precisão necessária para uma pontuação calibrada e fina, especialmente para detectar erros em falas de menor qualidade. A superestimação sistemática e a dificuldade em avaliar a "completude" indicam que as abordagens zero-shot atuais ainda não são um substituto completo para a avaliação humana ou sistemas especializados.
• Direções Futuras: O artigo sugere que o avanço do Treinamento de Pronúncia Assistido por Computador (CAPT) com esses modelos exigirá ajuste fino específico de domínio, estratégias de prompting aprimoradas para diferenciar melhor o desempenho de baixo nível e a integração de representações de nível fonético ou mecanismos de alinhamento para aumentar a precisão da detecção de erros.