Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring

Resumen Técnico: Los metadatos demográficos como ruido irrelevante para el constructo en la calificación automatizada de ensayos basada en DistilBERT

Planteamiento del problema
Los sistemas de Calificación Automatizada de Ensayos (AES, por sus siglas en inglés) se despliegan cada vez más para apoyar a los educadores y garantizar la fiabilidad en las evaluaciones a gran escala. Si bien se sabe que la calificación humana está influenciada por las características demográficas de los estudiantes (p. ej., estatus socioeconómico, discapacidad, etnia), la eficacia de la integración de metadatos demográficos en los modelos AES sigue siendo poco explorada. Existe una brecha crítica sobre si una estrategia de fusión multimodal "naíf" —concatenación directa de metadatos demográficos con la entrada textual tokenizada— mejora la precisión predictiva, ayuda a la convergencia del entrenamiento o mitiga el sesgo. Existe la preocupación de que tratar las características demográficas como señales de calificación sin un manejo arquitectónico sofisticado podría amplificar inadvertidamente las inequidades educativas existentes.

Metodología
Este estudio evaluó empíricamente el impacto de la concatenación naíf de metadatos demográficos en un modelo AES basado en DistilBERT utilizando el conjunto de datos ASAP 2.0, que contiene aproximadamente 24,278 ensayos con etiquetas demográficas exhaustivas (desventaja económica, estatus de discapacidad, estatus de aprendiz de inglés/ELL, género y raza/etnia).

• Diseño Experimental: Se compararon dos modelos:
  1. Modelo Base: Entrenado únicamente con la entrada textual tokenizada.
  2. Modelo Experimental: Entrenado con la entrada de texto tokenizada concatenada con metadatos demográficos (formulados como cadenas de texto "clave: valor") utilizando una estrategia de fusión temprana.
• Preprocesamiento de Datos: El estudio empleó anonimización, normalización de texto y estrategias específicas de imputación donde los valores categóricos faltantes se reemplazaron con el token "Unknown" (Desconocido) en lugar de NaNs numéricos para mantener la compatibilidad de tokens. Para abordar el desequilibrio de clases en las puntuaciones de los ensayos, se aplicó un pesaje de clase inversa.
• Arquitectura y Entrenamiento: Ambos modelos utilizaron una arquitectura DistilBERT con las dos primeras capas congeladas para preservar los patrones lingüísticos preentrenados. Los modelos fueron entrenados utilizando pérdida de entropía cruzada ordinal y optimización AdamW. Se utilizó una estrategia de validación cruzada de 10 pliegues basada en grupos para evitar la fuga de datos de la segmentación de ensayos.
• Métricas de Evaluación: El rendimiento se evaluó mediante Kappa de Peso Cuadrático (QWK) y Kappa de Peso Lineal (LWK). La convergencia del entrenamiento se midió mediante la pérdida de validación. La equidad fue evaluada utilizando la prueba U de Mann-Whitney sobre los residuales de predicción entre subgrupos demográficos para determinar la paridad de puntuación.

Resultos Clave
El estudio encontró que la integración naíf de metadatos demográficos degradó significativamente el rendimiento y la equidad del modelo:

• Precisión Predictiva: El modelo base alcanzó un QWK de 0.727. Al integrar los metadatos demográficos, el QWK del modelo experimental cayó a 0.656 (una disminución de 0.071). Del mismo modo, el Kappa de Peso Lineal (LWK) se deterioró de 0.564 a 0.481.
• Convergencia del Entrenamiento: El modelo experimental exhibió una pérdida de validación más alta (1.29) en comparación con el modelo base (1.25), lo que indica una peor convergencia y un mayor sobreajuste.
• Paridad de Puntuación: El modelo base demostró paridad en 15 de 19 pruebas de subgrupos demográficos. En contraste, el modelo experimental mostró un sesgo exacerbado, logrando paridad en solo 12 de 19 pruebas. Específicamente, las características demográficas que eran imparciales en el modelo base (p. ej., estatus socioeconómico, estatus de ELL, género) se volvieron sesgadas en el modelo experimental.
• Análisis de Errores: Los desplazamientos de la media de predicción a nivel de subgrupo revelaron que el modelo experimental introdujo una inflación sistemática de la puntuación hacia arriba que afectó desproporcionadamente a los grupos históricamente marginados (p. ej., estudiantes con discapacidades, estudiantes económicamente desfavorecidos y aprendices de inglés).
• Análisis de Entropía: El análisis de la entropía de Shannon de la cabeza de clasificación mostró un aumento estadísticamente significativo en la incertidumbre predictiva para el modelo experimental (entropía media 1.5041 frente a 1.4781), lo que sugiere un desajuste de modalidad entre los metadatos categóricos estructurados y el texto no estructurado.

Contribuciones Clave

1. Evaluación Empírica de la Fusión Naíf: Este estudio proporciona la primera evaluación empírica de la concatenación naíf de metadatos demográficos en un modelo AES basado en DistilBERT entrenado con el conjunto de datos ASAP 2.0. Demuestra que esta estrategia específica degrada simultáneamente tanto la precisión predictiva como la equidad.
2. Identificación de Ruido Irrelevante para el Constructo: Los hallazgos caracterizan los metadatos demográficos, cuando se concatenan de forma naíf, como "ruido irrelevante para el constructo". El estudio postula que este ruido crea un espacio de características disperso y un desajuste de modalidad, interrumpiendo la capacidad del modelo para extraer patrones lingüísticos fiables.
3. Advertencia sobre el Sesgo Sistémico: La investigación destaca que la integración naíf de metadatos no solo falla en ayudar, sino que introduce activamente una inflación de puntuación hacia arriba sistemática para los subgrupos marginados. Esto sirve como una advertencia crítica de que, sin estrategias de fusión arquitectónicamente apropiadas, la incorporación de datos demográficos corre el riesgo de amplificar las inequidades educativas en lugar de mitigarlas.

Significancia
El artículo concluye que, para los modelos AES basados en DistilBERT que utilizan fusión temprana naíf, los metadatos demográficos actúan como un factor perjudicial. El estudio argumenta que, si bien los datos demográficos son relevantes en los contextos de calificación humana, su concatenación directa con el texto en modelos de transformadores crea correlaciones espurias y desajustes de modalidad. En consecuencia, los autores sugieren que los profesionales y los responsables de la formulación de políticas deben ejercer extrema cautela con respecto al despliegue de AES con conciencia demográfica. Los hallazgos no excluyen la utilidad de los metadatos demográficos en arquitecturas más sofisticadas (p. ej., fusión intermedia con atención cruzada o mecanismos de compuerta), pero enfatizan que los enfoques naíf son contraproducentes. El trabajo futuro se dirige hacia estrategias de fusión avanzada y aumentación de datos dirigida para abordar los sesgos específicos identificados.