An Effective Strategy for Modeling Score Ordinality and Non-uniform Intervals in Automated Speaking Assessment

Resumo Técnico: Uma Estratégia Eficaz para Modelagem de Ordinalidade de Pontuação e Intervalos Não Uniformes em Avaliação Automatizada de Fala

Declaração do Problema
Os sistemas de Avaliação Automatizada de Fala (ASA) enfrentam duas limitações primárias na pesquisa atual. Primeiro, as abordagens atuais de Aprendizado Auto-Supervisionado (SSL) sofrem de restrições específicas de modalidade: modelos de SSL baseados em fala (ex: wav2vec 2.0) capturam traços acústicos, mas frequentemente perdem o conteúdo semântico, enquanto modelos de SSL baseados em texto (ex: BERT) dependem de saídas de Reconhecimento Automático de Fala (ASR), tornando-se suscetíveis a erros de transcrição e incapazes de codificar nuances prosódicas. Segundo, a maioria dos métodos anteriores trata os níveis de proficiência (ex: CEFR A1, A2, B1) como classes nominais. Esta abordagem ignora a estrutura ordinal inerente da proficiência linguística e o fato de que os intervalos entre os níveis são não uniformes (ou seja, a progressão de B1 para B2 não é equivalente a A1 para A2). Tratar esses níveis como equidistantes ou não ordenados leva a objetivos de treinamento subótimos e redução no desempenho de calibração.

Metodologia
Os autores propõem um novo framework de ASA que aborda essas questões por meio de uma estratégia de modelagem de múltiplos aspectos e uma função de perda especializada.

1. Arquitetura de Múltiplos Aspectos:
   O modelo integra características manuais (handcrafted) com embeddings derivados de SSL usando codificadores Transformer distintos para três aspectos de pontuação:

• Módulo de Conteúdo: Combina embeddings de prompt (de um modelo BERT pré-treinado) com características de fala ao nível de quadro (frame-level) (de um wav2vec 2.0) para capturar o alinhamento semântico entre a resposta do aprendiz e o prompt.
• Codificador de Entrega (Delivery Encoder): Processa segmentos alinhados por palavras a partir de saídas de ASR usando características prosódicas manuais (tom, energia, duração, confiança) para modelar características de entrega temporal.
• Módulo de Uso da Linguagem: Codifica anotações linguísticas ao nível de palavra (Classe Gramatical, relações de dependência, características morfológicas) derivadas de transcrições de ASR para capturar estruturas léxicas e sintáticas.
  Essas representações específicas de cada aspecto são concatenadas, projetadas e enviadas para uma cabeça de predição.

2. Perda de Múltiplos Margens Ordinais (MMO):
   Para modelar explicitamente a estrutura ordinal e os intervalos não uniformes dos rótulos de proficiência, os autores introduzem uma perda de Múltiplos Margens Ordinais (MMO) baseada em logits. Diferente de métodos ordinais anteriores que impõem restrições no nível de representação oculta, esta abordagem aplica restrições de par a par diretamente no nível de logit.

• A função de perda impõe uma separação maior no espaço de logit para pares de rótulos que estão mais distantes na escala CEFR.
• Ela utiliza uma margem cumulativa ($d_{y,y_k}$) representando a distância ordinal entre o rótulo de verdade fundamental (ground-truth) e os rótulos negativos.
• A função objetivo final combina a perda MMO com a perda de entropia cruzada padrão, equilibrada por um hiperparâmetro $\lambda$.

Principais Contribuições
O artigo reivindica duas contribuições primárias:

1. Um Framework de Múltiplos Aspectos: Um sistema que integra características manuais com embeddings de SSL para capturar características específicas de modalidade, ao mesmo tempo em que aborda as propriedades ordinais e não uniformes da escala CEFR.
2. A Função de Perda MMO: Uma nova função de perda totalmente orientada a dados, sendo a primeira a modelar conjuntamente a estrutura ordinal e os intervalos de níveis não uniformes do CEFR no contexto de ASA.

Resultos Experimentais
Experimentos foram conduzidos no corpus TEEMI, um conjunto de dados de respostas de fala espontânea em inglês anotadas com pontuações holísticas e analíticas (Conteúdo, Entrega, Uso da Linguagem) alinhadas aos níveis CEFR (Pre-A1 a B2).

• Desempenho no Conjunto de Teste: O framework de Múltiplos Aspectos (MA) proposto superou bases fortes, incluindo modelos puramente baseados em fala (W2V), baseados em texto (BERT) e fundidos (W2V-BERT). A adição da perda MMO (MA+MMO) gerou novos incrementos, alcançando o maior F1 holístico (35,55%) e ganhos significativos no F1 médio macro para Conteúdo (+3,17) e Uso da Linguagem (+8,39) em comparação com o modelo base MA.
• Generalização para Prompts Não Vistos: O modelo MA+MMO demonstrou generalização robusta em tarefas não vistas (A02, B02, C01). Notavelmente, na tarefa C01 (Q&A temático), o modelo mostrou melhorias substanciais em F1 de Entrega (+21,19%) e F1 geral (+9,87%) em comparação com a linha de base MA, indicando maior adaptabilidade a variações de tarefa.
• Análise Ordinal: A análise da matriz de confusão revelou que a perda MMO reduziu erros entre níveis distantes e clarificou a concentração diagonal. Além disso, a análise de distância confirmou que as lacunas semânticas entre os níveis CEFR são não uniformes (ex: a lacuna entre Pre-A1 e A1 é significamente maior do que entre B1 e B1+), validando a necessidade da abordagem de modelagem não uniforme proposta.

Significância
O artigo afirma que seu framework proposto oferece uma abordagem mais interpretável e eficaz para ASA ao ir além da simplificação dos níveis de proficiência como categorias nominais. Ao modelar explicitamente a natureza ordinal e os intervalos não uniformos da proficiência linguística, o método melhora tanto a precisão da predição quanto a calibração das pontuações. Os autores sugerem que esta estratégia é particularmente valiosa para cenários reais de ASA, onde a generalização para prompts e falantes não vistos é crítica. Trabalhos futuros visam explorar estratégias de treinamento conjunto entre prompts e a integração de modelos de linguagem de grande escala multimodais (MLLMs) para aumentar ainda mais a abrangência.