The NTNU System at the S&I Challenge 2025 SLA Open Track

Resumo Técnico: O Sistema NTNU no S&I Challenge 2025

Definição do Problema
A Avaliação de Linguagem Falada (SLA) para aprendizes de segunda língua (L2) enfrenta um compromisso fundamental entre a modelagem da entrega acústica e o conteúdo linguístico. Abordagens tradicionais baseadas em texto, como as que utilizam BERT em transcrições de Reconhecimento Automático de Fala (ASR), capturam efetivamente o conteúdo semântico, mas falham em modelar pistas prosódicas e fonéticas críticas devido à dependência de transcrições propensas a erros. Por outro vez, modelos de autossupervisão acústica como o wav2vec 2.0 (W2V) são excelentes no processamento de áudio bruto para capturar pronúncia e fluência, mas frequentemente carecem da interpretabilidade semântica necessária para uma avaliação linguística de nível superior. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) ofereçam uma unificação potencial dessas modalidades, sua aplicação para a pontuação holística de SLA permanece pouco explorada. O desafio é desenvolver um sistema que integre robustamente características acústicas e semânticas sob as restrições de dados limitados e recursos computacionais, conforme apresentado no Speak & Improve (S&I) Challenge 2025.

Metodologia
Os autores propõem um sistema de duplo avaliador, o NTNU SMIL V, que integra dois componentes de avaliação distintos através de uma estratégia de fusão de pontuação:

1. Avaliador Acústico (W2V): Este componente utiliza um codificador wav2vec 2.0 pré-treinado para extrair representações acústicas de nível de quadro a partir de formas de onda de fala bruta. Ele emprega agrupamento por atenção (attention pooling) para gerar vetores de nível de enunciado, que são então processados através de um módulo de incorporação prototípica. Este módulo calcula a similaridade de cosseno contra protótipos aprendíveis que representam níveis CEFR (A2 a C1+), alimentando o resultado em um Perceptron Multicamadas (MLP) para prever uma pontuação de proficiência contínua.
2. Avaliador Multimodal (MLLM): O segundo componente é construído sobre a arquitetura Phi-4-multimodal, um Transformer de decodificação apenas (decoder-only) com 3,8 bilhões de parâmetros. Este modelo é ajustado via Low-Rank Adaptation (LoRA) com um adaptador de áudio dedicado para processar sinais de áudio bruto junto com transcrições de ASR, descrições de tarefas e comandos (prompts) de perguntas.
   • Os autores investigaram duas configurações: um Avaliador Multimodal Generalizado para Múltiplas Tarefas (Phi4-CTG) treinado com dados combinados de todas as partes da tarefa, e Avaliadores Específicos por Tarefa (Phi4-STG), onde modelos separados são ajustados para cada parte específica de avaliação (Entrevista, Opinião, Apresentação, Atividade de Comunicação).
   • A abordagem Phi4-STG prioriza o processamento direto de formas de onda de áudio bruto para mitigar a propagação de erros de ASR, aproveitando a capacidade do modelo de raciocinar conjuntamente sobre nuances da fala (pronúncia, fluência, prosódia) e conteúdo linguístico.
3. Fusão de Pontuação: O sistema final combina as previsões do avaliador W2V e do avaliador Phi4-STG. A pontuação contínua do MLLM é primeiro discretizada em oito intervalos alinhados ao CEFR. Para cada intervalo, um peso de interpolação ideal ($w_k$) é determinado via busca em grade (grid search) no conjunto de desenvolvimento para minimizar o Erro Quadrático Médio (RMSE) em relação às pontuações de referência. A pontuação fundida é calculada como $\hat{y} = (1 - w_k)\hat{y}_{w2v} + w_k\hat{y}_{mllm}$.

Principais Contribuições

• Integração de Modalidades: O artigo demonstra uma fusão bem-sucedida de um codificador de fala autossupervisionado (W2V) com um modelo de linguagem de grande escala multimodal (Phi-4), combinando efetivamente a modelagem acústica detalhada com o raciocínio contextual profundo.
• Adaptação de MLLM Específica por Tarefa: O estudo destaca que o ajuste fino específico por tarefa (Phi4-STG) supera os modelos generalizados de múltiplas tarefas (Phi4-CTG) em contextos de SLA, sugerindo que partes distintas de avaliação beneficiam-se de modelagem especializada.
• Robustez a Erros de ASR: Ao incorporar o processamento de áudio bruto diretamente no pipeline do MLLM, o sistema reduz a dependência de transcrições de ASR potencialmente falhas, abordando uma limitação fundamental das bases puramente textuais.
• Estratégia de Fusão ao Nível de Pontuação: A implementação de um mecanismo de fusão condicionado à pontuação, onde os pesos são ajustados dinamicamente com base no intervalo de pontuação previsto, permite a integração otimizada dos dois avaliadores complementares.

Resultados
O sistema proposto, NTNU SMIL V, alcançou um Erro Quadrático Médio (RMSE) de 0,375 no conjunto de teste oficial do Speak & Improve Challenge 2025.

• Classificação: Este desempenho garantiu o segundo lugar na competição.
• Comparação: O sistema superou a base oficial (RMSE 0,444) e a terceira entrada classificada (RMSE 0,384). Ficou por pouco atrás do sistema em primeiro lugar (RMSE 0,364).
• Análise de Componentes:
  • O modelo W2V isolado alcançou um RMSE de 0,394.
  • O modelo Phi4-STG isolado alcançou um RMSE de 0,389.
  • O sistema fundido (W2V + Phi4-STG) alcançou o melhor resultado (0,375), demonstrando que a combinação da modelagem acústica e semântica produz um desempenho superior em comparação a qualquer componente isolado.
  • A fusão do W2V com o modelo generalizado Phi4-CTG resultou em um RMSE de 0,377, ligeiramente inferior à variante específica por tarefa, reforçando o valor da adaptação específica por tarefa.

Significância e Alegações
Os autores afirmam que seu trabalho valida a eficácia da combinação de codificadores de fala autossupervisionados com MLLMs para a avaliação de linguagem falada. Os resultados sugerem que, embora as características acústicas sejam fundamentais para capturar características de entrega, as capacidades de raciocínio semântico de MLLMs específicos por tarefa aumentam significativamente a precisão geral da pontuação. O artigo conclui modestamente que, embora os MLLMs ofereçam um caminho promissor para unificar paradigmas anteriores, sua aplicação em SLA requer escolhas arquiteturais cuidadosas, como o ajuste fino específico por tarefa e o processamento direto de áudio, para realizar plenamente seu potencial. O trabalho enfatiza que melhorias futuras devem focar no refinamento das estratégias de fusão e no tratamento da eficiência do modelo e da equidade entre diversos grupos de aprendizes.