A Finetuned SpeechLLM for Joint Multi-Granular L2 Assessment and Natural-Language Rationales

Resumo Técnico: Um SpeechLLM Ajustado para Avaliação L2 Conjunta Multigranular e Justificativas em Linguagem Natural

1. Definição do Problema

Sistemas automatizados de avaliação de fala de Segunda Língua (L2) avançaram na detecção de erros de pronúncia e atribuição de escores de proficiência, mas frequentemente carecem de interpretabilidade. Abordagens tradicionais tipicamente produzem métricas numéricas opacas ou rótulos isolados ao nível de token, falhando em fornecer insights pedagógicos acionáveis. Embora os Large Language Models (LLMs) tenham introduzido a capacidade de gerar justificativas em linguagem natural, os pipelines cascateados padrão (ASR seguido por LLM) falham em fundamentar essas justificativas no sinal acústico. Além disso, os atuais End-to-End (E2E) SpeechLLMs enfrentam três lacunas críticas:

1. Falta de Avaliação Conjunta: Sistemas raramente abordam a avaliação abrangente de múltiplos aspectos (precisão, fluência, prosódia) e múltiplos níveis de granularidade (sentença, palavra, fonema) dentro de um único framework E2E.
2. Desequilíbrio de Dados: O treinamento de modelos confiáveis para pontuação ordinal é dificultado pelo severo desvio de rótulos em dados de L2, onde produções corretas e categorias de alta classificação superam vastamente os erros.
3. Confiabilidade da Justificativa: As justificativas geradas podem parecer plausíveis, mas frequentemente carecem de fidelidade aos rótulos atribuídos, particularmente em níveis de granularidade fina (token-level).

2. Metodologia

Os autores propõem um novo framework E2E SpeechLLM que prevê conjuntamente rótulos L2 multi-aspecto e multi-granular e gera uma justificativa em linguagem natural consistente com o rótulo em uma única resposta.

Arquitetura do Modelo:

• Backbone: O modelo de estado da arte Qwen2-Audio-7B-Instruct é utilizado como a base do SpeechLLM.
• Eficiência: Para preservar as representações acústicas pré-treinadas e minimizar a memória, os pesos base são congelados sob quantização de 4 bits.
• Ajuste Fino (Fine-tuning): A técnica de Low-Rank Adaptation (LoRA) é aplicada aos módulos de query, value, output, up-projection e down-projection das camadas do decoder (rank $r=64$, fator de escala $\alpha=128$), resultando em aproximadamente 115M de parâmetros treináveis (~1,6% do modelo total).

Objetivo de Otimização Híbrida:
Para lidar com o desequilíbrio de rótulos e garantir a adesão à rubrica, os autores utilizam um objetivo híbrido combinando Supervised Fine-Tuning (SFT) com alinhamento baseado em preferência:

• Construção de Preferência: Para cada entrada, um conjunto "escolhido" de rótulos ordinais de referência ($y_c$) e um conjunto "rejeitado" ($y_r$) são construídos. Os rótulos rejeitados são sintetizados perturbando a verdade fundamental (ex: rebaixando "Excelente" para "Bom"), com uma distribuição assimétrica (~88% rebaixados) para combater o "viés de gentileza" (niceness bias).
• Bounded Direct Preference Optimization (BDPO): O Direct Preference Optimization (DPO) padrão pode induzir atualizações excessivamente agressivas quando os rótulos rejeitados são muito próximos (ex: classificações ordinais adjacentes). Os autores utilizam o BDPO, que limita a influência das respostas rejeitadas ao limitar a razão de log-verossimilhança. Isso evita que o modelo reduza arbitrariamente o peso de alternativas plausíveis sob supervisão enviesada.
• Função de Perda: A perda total é definida como $L_{total} = L_{BDPO} + \lambda \cdot L_{SFT}$, onde $\lambda=1.0$. $L_{SFT}$ é computada via teacher forcing na resposta de avaliação alvo, enquanto $L_{BDPO}$ otimiza o alinhamento de preferência.

Dataset e Prompting:

• Dados: O dataset SpeechOcean762 (SO762) é utilizado, contendo 5.000 enunciados de fala de leitura em inglês de falantes nativos de Mandarim (L1). A tarefa envolve cinco dimensões: precisão de nível de sentença, fluência e prosódia, além de precisão de nível de palavra e fonema. Os rótulos são discretizados em cinco categorias ordinais (Excelente a Pior).
• Prompting: Um único prompt baseado em rubrica elicita todas as cinco dimensões e uma justificativa de texto livre. O formato de saída é fixo para garantir o parsing determinístico dos rótulos (ex: PALAVRA/Rótulo) seguido pela justificativa.

3. Principais Contribuições

• Framework Unificado Multi-Granular: O artigo apresenta o primeiro estudo sistemático de um E2E SpeechLLM que prevê simultaneamente proficiência em nível de sentença, precisão em nível de palavra e precisão em nível de fonema, juntamente com uma justificativa em linguagem natural.
• BDPO para Avaliação Ordinal: A aplicação do Bounded Direct Preference Optimization à avaliação de fala L2 para lidar com o severo desequilíbrio de classes e classificações ordinais adjacentes, melhorando a adesão à rubrica e a consistência entre rótulo e justificativa.
• Análise de Confiabilidade da Justificativa: Uma avaliação de dois eixos das justificativas geradas medindo:
  • Plausibilidade: Autoconsistência entre o sentimento da justificativa e os rótulos previstos pelo modelo.
  • Fidelidade (Faithfulness): Alinhamento entre as menções específicas (palavras/fonemas) da justificativa e tanto as previsões do modelo quanto as anotações humanas de referência.

4. Resultados

Os experimentos foram conduzidos no conjunto de teste SO762 utilizando o Coeficiente de Correlação de Pearson (PCC), o Erro Quadrático Médio (RMSE) e o Coeficiente de Correlação de Matthews (MCC).

• Desempenho: O modelo multi-granular alcançou um forte desempenho em nível de sentença (PCC de Fluência: 0,73; Prosódia: 0,71). Embora a correlação em nível de token (PCC) tenha diminuído para a precisão de Palavra (0,52) e Fonema (0,42), o modelo manteve capacidades de categorização eficazes, evidenciadas por um MCC mais alto para Precisão de Palavra (0,39) em comparação com a Precisão de Sentença (0,35).
• Comparação: A abordagem multi-granular superou os modelos de granularidade única em Precisão de Sentença e igualou ou excedeu abordagens SOTA anteriores (incluindo GOPT e Azure PA) na maioria das métricas, exceto para pontuação de nível de fonema, onde métodos especializados baseados em ASR (GOPT) ainda mantêm vantagem.
• Análise de Justificativa:
  • Plausibilidade: O modelo demonstrou alta autoconsistência; as justificativas raramente contradiziam os rótulos previstos (ex: um rótulo "Negativo" com uma justificativa "Positiva"). No entanto, observou-se um "viés de positividade" em relação à verdade fundamental, onde o modelo tendeu a produzir justificativas neutras para falas que anotadores humanos classificaram negativamente.
  • Fidelidade: As justificativas de nível de sentença mostraram forte concordância com as previsões (PCC ~0,87). Contudo, a fidelidade degradou significativamente no nível de token. As referências a palavras e fonemas específicos foram escassas e, quando presentes, mostraram fraca concordância tanto com as previsões do modelo quanto com a verdade fundamental (PCC de Fonema: 0,07 vs. 0,20). A análise qualitativa sugere que o modelo frequentemente se baseia em heurísticas ortográficas em vez de evidências acústicas para localização de erro de granularidade fina.

5. Significância e Alegações

O artigo alega que o E2E SpeechLLM proposto equilibra com sucesso a avaliação holística e a de granularidade fina sem degradação substancial, ofereando uma alternativa mais interpretável às métricas numéricas opacas. Os autores afirmam que o BDPO melhora efetivamente a adesão à rubrica e a consistência entre rótulo e justificativa, particularmente no contexto de distribuições de classificação enviesadas.

Entretanto, os autores mantêm uma postura modesta em relação às limitações do sistema. Eles concluem que, embora os SpeechLLMs demonstrem maior confiabilidade para avaliação holística e suporte diagnóstico de alto nível, eles atualmente ficam aquém na localização precisa de erros em nível de token. O artigo enfatiza que a fidelidade observada no nível de palavra/fonema é aproximada e que o avanço na estimativa de fidelidade de granularidade fina permanece uma direção crítica para sistemas de avaliação de fala generativos pedagogicamente úteis.