Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

Resumen Técnico: Mitigación del Sesgo en Sistemas de Calificación Automatizada para Estudiantes de ESL

Planteamiento del Problema
A medida que los sistemas de Calificación Automática de Ensayos (AES, por sus siglas en inglés), particularmente aquellos basados en arquitectias Transformer como BERT y DeBERTa, se despliegan en entornos educativos de alto riesgo, exhiben un sesgo algorítmico significativo contra los estudiantes de Inglés como Segunda Lengua (ESL). El artículo identifica que estos modelos suelen incurrir en el "aprendizaje de atajos" (shortcut learning), apoyándose en heurísticas lingüísticas superficiales en lugar de un razonamiento semántico profundo. Específicamente, las cabezas de atención de los modelos Transformer atienden desproporcionadamente a marcadores L2 distintivos (por ejemplo, uso incorrecto de preposiciones, inconsistencias en los tiempos verbales) como indicadores de baja calidad. Esto resulta en un "efecto de calificación restringida" donde los ensayos de ESL de alta competencia son sistemáticamente subcalificados en comparación con los ensayos de hablantes nativos de una calidad humana idéntica. El análisis inicial de los autores de un modelo DeBERTa-v3 ajustado reveló que los ensayos de ESL de alta competencia recibieron puntuaciones aproximadamente un 10.3% menores que sus contrapartes nativas, a pesar de tener calificaciones humanas equivalentes.

Metodología
Para abordar esta brecha de representación sin sacrificar la precisión general de la calificación, los autores proponen una intervención específica de dominio: Aprendizaje Contrastivo con Pares de Ensayos Emparejados.

1. Construcción de Datos: El estudio utilizó un benchmark unificado que fusiona el conjunto de datos ASAP 2.0 (que contiene ensayos tanto de nativos como de ESL) y el conjunto de datos ELLIPSE (específico para ESL). Las puntuaciones de ambos conjuntos de datos se normalizaron en un rango de [0, 1].
2. Formación de Tripletes: El núcleo de la metodología consiste en la generación algorítmica de "Tripletes de Equidad" $(A, P, N)$:
   • Ancla (A): Un ensayo de un hablante nativo con una puntuación normalizada $S$.
   • Positivo (P): Un ensayo de ESL con una puntuación humana dentro de un rango estrecho del ancla ($[S - 0.02, S + 0.02]$).
   • Negativo (N): Un ensayo (nativo o ESL) con una puntuación significativamente diferente de la del ancla ($[S \pm 0.20]$).
     Esta construcción obliga al modelo a tratar los ensayos de ESL y nativos de calidad equivalente como "gemelos de calidad", requiriendo matemáticamente que sus incrustaciones (embeddings) latentes estén más cerca entre sí que de ensayos de diferente calidad.
3. Arquitectura del Modelo y Entrenamiento:
   • Modelo Base: DeBERTa-v3-base de Microsoft, ajustado mediante Adaptación de Bajo Rango (LoRA) con un rango $r=16$.
   • Función de Pérdida: Se eliminó la cabeza de regresión y el núcleo (backbone) se ajustó utilizando la Pérdida de Margen de Triplete (Triplet Margin Loss): $L = \max(0, d(A, P) - d(A, N) + \alpha)$, donde $d$ es la distancia euclidiana y $\alpha$ es el margen.
   • Hiperparámetros: Los estudios de ablación preliminares determinaron un margen óptimo $\alpha = 1.0$. El modelo se entrenó durante 2 épocas para alinear el espacio latente preservando el conocimiento preentrenado.
   • Calificación: Tras el alineamiento, el núcleo se congeló y se entrenó una cabeza de regresión lineal ligera durante 5 épocas para mapear las incrustaciones justas de nuevo a puntuaciones escalares.

Resultos Clave
El enfoque propuesto demostró una reducción significativa del sesgo manteniendo una precisión de calificación aceptable:

• Reducción del Sesgo: La disparidad de puntuación (brecha) para ensayos de alta competencia se redujo del 10.3% en el modelo base al 6.2% en el modelo contrastivo, lo que representa una reducción del 39.9% en la brecha de sesgo.
• Mantenimiento de la Precisión: El modelo alcanzó un Kappa de Peso Cuadrático (QWK) de 0.756, el cual permanece por encima del umbral de 0.70 típicamente requerido para un "acuerdo sustancial" en la evaluación educativa. Esto indica que el modelo aprendió una representación más justa sin colapsar el espacio de incrustación ni degradar severamente el rendimiento.
• Hallazgos de Ablación: Una configuración "agresiva" con $\alpha = 2.0$ redujo la brecha de sesgo ligeramente más, pero causó una caída más significativa en el QWK (0.718), lo que sugiere que $\alpha = 1.0$ representa la frontera de Pareto óptima entre equidad y precisión.
• Análisis Lingüístico: Un análisis post-hoc utilizando spaCy y textstat reveló que el modelo base penalizaba incorrectamente la complejidad de las oraciones en la escritura de ESL, confundiendo estructuras sintácticas L2 válidas con errores. El modelo contrastivo logró desvincular la complejidad de las oraciones de los errores gramaticales, dejando de penalizar características estilísticas comunes en la escritura L2 de alta competencia.

Significancia y Reivindicaciones
El artículo sostiene que el compromiso tradicional entre equidad y precisión en la calificación automática de ensayos (AES) puede ser menos severo de lo que se asumía anteriormente. Al utilizar pares de tripletes emparejados, los autores demuestran que el aprendizaje contrastivo puede dirigirse eficazmente a representaciones latentes específicas de calidad, en lugar de depender de técnicas adversarias amplias o aumentación de datos, que a menudo degradan el rendimiento del modelo.

El estudio concluye que este enfoque ofrece un marco viable para mitigar el sesgo demográfico en modelos basados en codificadores. Sin embargo, los autores se mantienen cautos respecto a su implementación inmediata, señalando que el modelo actualmente exhibe una tendencia a la subcalificación sistemática para ambos grupos (lo que sugiere una política de calificación más conservadora) y que el modelo requiere reentrenamiento para generalizarse a otras demografías o arquitecturas (por ejemplo, RoBERTA, ELECTRA). Se propone trabajo futuro para explorar técnicas de recalibración de puntuación y aprendizaje multitarea para refinar aún más el equilibrio entre la equidad y la precisión absoluta.