Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring

Resumo Técnico: Metadados Demográficos como Ruído Irrelevante ao Construto em Avaliação Automática de Redações Baseada em DistilBERT

Problema
Sistemas de Avaliação Automática de Redações (AES, na sigla em inglês) são cada vez mais implementados para apoiar educadores e garantir a confiabilidade em avaliações de larga escala. Embora a correção humana seja conhecida por ser influenciada pelas características demográficas dos estudantes (ex.: nível socioeconômico, deficiência, etnia), a eficácia da integração de metadados demográficos em modelos de AES permanece pouco explorada. Existe uma lacuna crítica sobre se uma estratégia de fusão multimodal "naïve" (ingênua) — concatenando diretamente os metadados demográficos com a entrada textual tokenizada — melhora a precisão preditiva, auxilia na convergência do treinamento ou mitiga o viés. Há uma preocupação de que tratar características demográficas como sinais de pontuação, sem um tratamento arquitetural sofisticado, possa inadvertidamente amplificar as desigualdades educacionais existentes.

Metodologia
Este estudo avaliou empiricamente o impacto da concatenação de metadados naïve em um modelo de AES baseado em DistilBERT utilizando o conjunto de dados ASAP 2.0, que contém aproximadamente 24.278 redações com rótulos demográficos abrangentes (desvantagem econômica, status de deficiência, status de ELL [aprendiz de inglês como segunda língua], gênero e raça/etnia).

• Design Experimental: Dois modelos foram comparados:
  1. Modelo Baseline (Base): Treinado exclusivamente em entrada textual tokenizada.
  2. Modelo Experimental: Treinado em entrada textual tokenizada concatenada com metadados demográficos (formatados como strings "chave: valor") usando uma estratégia de fusão precoce (early fusion).
• Pré-processamento de Dados: O estudo empregou anonimização, normalização de texto e estratégias específicas de imputação, onde valores categóricos ausentes foram substituídos pelo token "Unknown" em vez de NaNs numéricos, para manter a compatibilidade de tokens. Para lidar com o desequilíbrio de classes nas pontuações das redações, aplicou-se o peso de classe inverso (inverse class weighting).
• Arquitetura e Treinamento: Ambos os modelos utilizaram uma arquitetura DistilBERT com as duas primeiras camadas congeladas para preservar os padrões linguísticos pré-treinados. Os modelos foram treinados usando perda de entropia cruzada ordinal e otimização AdamW. Uma estratégia de validação cruzada de 10 dobras baseada em grupos foi utilizada para evitar o vazamento de dados (data leakage) proveniente da segmentação das redações.
• Métricas de Avaliação: O desempenho foi avaliado por meio de Kappa de Peso Quadrático (QWK) e Kappa de Peso Linear (LWK). A convergência do treinamento foi medida via perda de validação. A equidade (fairness) foi avaliada usando o teste de Mann-Whitney U sobre os resíduos de predição entre subgrupos demográficos para determinar a paridade de pontuação.

Resultados Principais
O estudo descobriu que a integração naïve de metadados demográficos degradou significativamente o desempenho e a equidade do modelo:

• Precisão Preditiva: O modelo baseline alcançou um QWK de 0,727. Ao integrar os metadados demográficos, o QWK do modelo experimental caiu para 0,656 (uma diminuição de 0,071). Da mesma forma, o Kappa de Peso Linear (LWK) deteriorou-se de 0,564 para 0,481.
• Convergência de Treinamento: O modelo experimental exibiu uma perda de validação mais alta (1,29) em comparação ao baseline (1,25), indicando uma convergência pior e maior sobreajuste (overfitting).
• Paridade de Pontuação: O modelo baseline demonstrou paridade em 15 de 19 testes de subgrupos demográficos. Em contraste, o modelo experimental mostrou um viés exacerbado, alcançando paridade em apenas 12 de 19 testes. Especificamente, características demográficas que eram imparciais no baseline (ex.: status socioeconômico, status de ELL, gênero) tornaram-se enviesadas no modelo experimental.
• Análise de Erro: Deslocamentos médios de predição por subgrupo revelaram que o modelo experimental introduziu uma inflação sistemática de pontuação para cima, afetando desproporcionalmente grupos historicamente marginalizados (ex.: estudantes com deficiências, estudantes economicamente desfavorecidos e aprendizes de inglês como segunda língua).
• Análise de Entropia: A análise de entropia de Shannon da cabeça de classificação mostrou um aumento estatisticamente significativo na incerteza preditiva para o modelo experimental (entropia média de 1,5041 vs. 1,4781), sugerindo um descompasso de modalidade (modality mismatch) entre os metadados categóricos estruturados e o texto não estruturado.

Principais Contribuições

1. Avaliação Empírica da Fusão Naïve: Este estudo fornece a primeira avaliação empírica da concatenação naïve de metadados demográficos em um modelo de AES baseado em DistilBERT treinado no conjunto de dados ASAP 2.0. Ele demonstra que essa estratégia específica degrada simultaneamente a precisão preditiva e a equidade.
2. Identificação de Ruído Irrelevante ao Construto: Os achados caracterizam os metadados demográficos, quando concatenados de forma naïve, como "ruído irrelevante ao construto". O estudo postula que esse ruído cria um espaço de características esparso e um descompasso de modalidade, interrompendo a capacidade do modelo de extrair padrões linguísticos confiáveis.
3. Alerta sobre Viés Sistêmico: A pesquisa destaca que a integração naïve de metadados não apenas falha em auxiliar; ela introduz ativamente uma inflação de pontuação para cima sistemática para subgrupos marginalizados. Isso serve como um alerta crítico de que, sem estratégias de fusão arquiteturalmente apropriadas, incorporar dados demográficos corre o risco de amplificar as desigualdades educacionais em vez de mitigá-las.

Significância
O artigo conclui que, para modelos de AES baseados em DistilBERT que utilizam fusão precoce naïve, os metadados demográficos atuam como um fator prejudicial. O estudo argumenta que, embora os dados demográficos sejam relevantes para contextos de correção humana, sua concatenação direta com o texto em modelos de transformadores cria correlações espúrias e descompassos de modalidade. Consequentemente, os autores sugerem que profissionais e formuladores de políticas devem exercer extrema cautela em relação à implementação de AES consciente de dados demográficos. Os achados não excluem a utilidade de metadados demográficos em arquiteturas mais sofisticadas (ex.: fusão intermediária com atenção cruzada ou mecanismos de portão/gated mechanisms), mas enfatizam que abordagens naïve são contraproducentes. O trabalho futuro é direcionado para estratégias de fusão avançadas e aumento de dados direcionado para abordar os vieses específicos identificados.