Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

Resumo Técnico: Mitigação de Viés em Sistemas de Avaliação Automatizada para Alunos de ESL

Declaração do Problema
À medida que os sistemas de Avaliação Automática de Redações (AES), particularmente aqueles baseados em arquiteturas Transformer como BERT e DeBERTa, são implementados em ambientes educacionais de alto risco, eles exibem um viés algorítmico significativo contra alunos de Inglês como Segunda Língua (ESL). O artigo identifica que esses modelos frequentemente incorrem em "aprendizado de atalho" (shortcut learning), baseando-se em heurísticas linguísticas de superfície em vez de um raciocínio semântico profundo. Especificamente, as cabeças de atenção do Transformer atendem desproporcionalmente a marcadores L2 distintos (ex: uso incorreto de preposições, inconsistências de tempo verbal) como proxies para baixa qualidade. Isso resulta em um "efeito de pontuação restrita", onde redações de ESL de alta proficiência são sistematicamente subavaliadas em comparação com redações de falantes nativos de qualidade humana idêntica. A análise inicial dos autores de um modelo DeBERTa-v3 ajustado revelou que redações de ESL de alta proficiência receberam pontuações aproximadamente 10,3% menores do que seus equivalentes nativos, apesar de possuírem avaliações humanas equivalentes.

Metodologia
Para abordar essa lacuna de representação sem sacrificar a precisão geral da avaliação, os autores propõem uma intervenção específica de domínio: Aprendizado Contrastivo com Pares de Redações Correspondentes.

1. Construção de Dados: O estudo utilizou um benchmark unificado fundindo o conjunto de dados ASAP 2.0 (contendo redações de nativos e de ESL) e o conjunto de dados ELLIPSE (específico para ESL). As pontuações de ambos os conjuntos de dados foram normalizadas para o intervalo [0, 1].
2. Formação de Tripletos: O núcleo da metodologia envolve a geração algorítmica de "Tripletos de Equidade" $(A, P, N)$:
   • Âncora (A): Uma redação de um falante nativo com uma pontuação normalizada $S$.
   • Positivo (P): Uma redação de ESL com uma pontuação humana dentro de um intervalo estreito da âncora ($[S - 0,02, S + 0,02]$).
   • Negativo (N): Uma redação (nativa ou ESL) com uma pontuação significativamente diferente da âncora ($[S \pm 0,20]$).
     Esta construção força o modelo a tratar redações de ESL e nativas de qualidade equivalente como "gêmeos de qualidade", exigindo matematicamente que seus embeddings latentes sejam mais próximos entre si do que de redações de qualidades diferentes.
3. Arquitetura do Modelo e Treinamento:
   • Modelo Base: DeBERTa-v3-base da Microsoft, ajustado via Low-Rank Adaptation (LoRA) com rank $r=16$.
   • Função de Perda: A cabeça de regressão foi removida, e o backbone foi ajustado usando Perda de Margem de Tripletos (Triplet Margin Loss): $L = \max(0, d(A, P) - d(A, N) + \alpha)$, onde $d$ é a distância euclidiana e $\alpha$ é a margem.
   • Hiperparâmetros: Estudos de ablação preliminares determinaram uma margem ótima $\alpha = 1,0$. O modelo foi treinado por 2 épocas para alinhar o espaço latente preservando o conhecimento pré-treinado.
   • Pontuação: Após o alinhamento, o backbone foi congelado, e uma cabeça de regressão linear leve foi treinada por 5 épocas para mapear os embeddings justos de volta para pontuações escalares.

Resultados Principais
A abordagem proposta demonstrou uma redução significativa no viés, mantendo uma precisão de avaliação aceitável:

• Redução de Viés: A disparidade de pontuação (lacuna) para redações de alta proficiência foi reduzida de 10,3% no modelo base para 6,2% no modelo contrastivo, representando uma redução de 39,9% na lacuna de viés.
• Manutenção da Precisão: O modelo alcançou um Kappa de Peso Quadrático (QWK) de 0,756, que permanece acima do limiar de 0,70 tipicamente exigido para "acordo substancial" em avaliação educacional. Isso indica que o modelo aprendeu uma representação mais justa sem colapsar o espaço de embedding ou degradar severamente o desempenho.
• Descobertas de Ablação: Uma configuração "agressiva" com $\alpha = 2,0$ reduziu o viés ligeiramente mais, mas causou uma queda mais significativa no QWK (0,718), sugerindo que $\alpha = 1,0$ representa a fronteira de Pareto ideal entre equidade e precisão.
• Análise Linguística: Uma análise post-hoc usando spaCy e textstat revelou que o modelo base penalizava incorretamente a complexidade de sentenças na escrita de ESL, confundindo estruturas sintáticas L2 válidas com erros. O modelo contrastivo conseguiu desvincular a complexidade de sentenças de erros gramaticais, deixando de penalizar características estilísticas comuns na escrita L2 de alta proficiência.

Significância e Alegações
O artigo afirma que o tradicional trade-off entre equidade e precisão em AES pode ser menos severo do que anteriormente assumido. Ao utilizar pares de tripletos correspondentes, os autores demonstram que o aprendizado contrastivo pode visar efetivamente representações latentes específicas de qualidade, em vez de depender de técnicas adversariais amplas ou aumento de dados (data augmentation), que frequentemente degradam o desempenho do modelo.

O estudo conclui que esta abordagem oferece um arcabouço viável para mitigar o viés demográfico em modelos baseados em codificadores (encoders). No entanto, os autores mantêm-se modestos quanto à implementação imediata, observando que o modelo atualmente exibe uma tendência de subavaliação sistemática para ambos os grupos (sugerindo uma política de pontuação mais conservadora) e que o modelo requer retreinamento para generalizar para outras demografias ou arquiteturas (ex: RoBERTa, ELECTRA). Trabalhos futuros são propostos para explorar técnicas de recalibração de pontuação e aprendizado multitarefa para refinar ainda mais o equilíbrio entre equidade e precisão absoluta.