A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata

Resumen Técnico: Un Análisis Multinivel de los Factores Asociados al Rendimiento Estudiantil

Planteamiento del Problema
Identificar los determinantes del éxito académico en la educación básica brasileña es un desafío complejo debido a la vasta heterogeneidad socioeconómica del país. Los enfoques estadísticos tradicionales suelen tener dificultades para capturar la interacción no lineal y multinivel entre las características individuales de los estudiantes, los perfiles docentes, la infraestructura escolar y las prácticas de gestión. Si bien la Minería de Datos Educativos (EDM, por sus siglas en inglés) ofrece herramientas para el reconocimiento de patrones, persiste una brecha en la aplicación de enfoques de aprendizaje automático sistémicos y multinivel al conjunto de datos nacionales más exhaustivo para la educación básica (SAEB) con el fin de informar políticas públicas equitativas. El problema central abordado es la distinción entre factores individuales aislados y determinantes sistémicos a nivel de escuela que impulsan el rendimiento estudiantil.

Metodología
El estudio emplea un flujo de trabajo de minería de datos estructurado utilizando microdatos del Sistema de Evaluación de la Educación Básica (SAEB), administrado por el INEP. La metodología se caracteriza por cuatro fases distintas:

1. Integración de Datos Multinivel: Los investigadores construyeron un conjunto de datos jerárquico mediante la unión de cuatro fuentes de datos distintas a través de identificadores de escuela y clase:

   • Estudiante: Perfiles socioeconómicos y puntajes de competencia (Matemáticas y Portugués).
   • Docente: Antecedentes profesionales, prácticas pedagógicas y percepciones del clima escolar.
   • Escuela: Indicadores agregados, incluyendo niveles socioeconómicos y tasas de formación docente.
   • Director: Perfiles de gestión, experiencia y prácticas de compromiso comunitario.
     El conjunto de datos final comprendió 6,482,168 registros de estudiantes válidos (9º grado y secundaria).

2. Preprocesamiento y Selección de Características:

   • La limpieza de datos consistió en la eliminación por lista (listwise deletion) de valores faltantes y la conversión de porcentajes basados en cadenas de texto a valores flotantes.
   • Las variables categóricas se codificaron mediante One-Hot Encoding, y las características se estandarizaron mediante StandardScaler.
   • Se aplicó el algoritmo Boruta a un conjunto inicial de 98 características para identificar estadísticamente los predictores relevantes, confirmando 44 características. Se seleccionó un subconjunto final de 17 características basadas en la significancia estadística y la relevancia teórica para la política educativa.

3. Modelado y Evaluación:

   • El estudio enmarcó la tarea como un problema de clasificación binaria: predecir si un estudiante tiene un desempeño "Por Encima del Promedio" o "Por Debajo del Promedio" basándose en puntajes de competencia compuestos.
   • Se compararon cuatro algoritmos de ensamblaje basados en árboles: Random Forest, XGBoost, LightGBM y CatBoost.
   • Los modelos se entrenaron con una división de entrenamiento/prueba de 80/20. El desempeño se evaluó utilizando Exactitud (Accuracy), Precisión, Sensibilidad (Recall), F1-Score y el Área Bajo la Curva Característica Operativa del Receptor (AUC-ROC).

4. IA Explicable (XAI):

   • Para ir más allá de la predicción de "caja negra", el estudio aplicó SHAP (SHapley Additive exPlanations) al modelo con mejor desempeño. Esto permitió tanto el análisis de importancia global de las características como la interpretación local de las predicciones individuales.

Contribuciones Clave
El artículo realiza cuatro contribuciones primordiales a los campos de la Minería de Datos Educativos y el análisis de políticas públicas:

1. Modelo Multinivel Novedoso: El diseño e implementación de un modelo predictivo que integra sistemáticamente cuatro capas de datos distintas (estudiante, docente, escuela, director) a partir de la evaluación nacional SAEB.
2. Evaluación Comparativa Rigurosa: Un benchmarking exhaustivo de cuatro poderosos modelos de ensamblaje, demostrando que un modelo Random Forest supera a las variantes de gradient boosting (XGBoost, LightGBM, CatBoost) en este contexto específico sin necesidad de un ajuste de hiperparámetros extensivo.
3. Identificación de Características Sistémicas: Un análisis basado en datos que identifica inequívocamente el nivel socioeconómico promedio de la escuela como el predictor dominante, superando en poder predictivo a las características individuales del estudiante o del docente.
4. Perspectivas de Política Accionables: La traducción de los complejos resultados del modelo en conocimientos basados en evidencia para los responsables de la formulación de políticas, cuantificando la naturaleza sistémica del logro académico y resaltando el potencial de las intervenciones dirigidas para reducir las disparidades entre escuelas.

Resultos

• Desempeño del Modelo: El clasificador Random Forest alcanzó un desempeño superior con una Exactitud de 90.17% y un AUC de 0.9669. En contraste, los modelos de gradient boosting (XGBoost, LightGBM, CatBoost) arrojaron precisiones significativamente menores (que oscilaron entre 62.48% y 64.17%) y puntuaciones AUC (0.67–0.69) cuando se ejecutaron con parámetros por defecto.
• Equilibrio de Clasificación: El modelo Random Forest demostró un desempeño equilibrado en ambas clases ("Por Encima del Promedio" y "Por Debajo del Promedio"), con puntuaciones de precisión y sensibilidad consistentemente alrededor de 0.90–0.92, lo que indica una falta de sesgo hacia cualquiera de los grupos.
• Importancia de las Características: El análisis SHAP reveló una clara jerarquía de influencia:
  • Factor Dominante: El Nivel Socioeconómico Promedio de la Escuela fue el predictor más poderoso por sí solo. Los niveles socioeconómicos más altos (ej. Nivel VI) se correlacionaron fuertemente con las predicciones "Por Encima del Promedio".
  • Factores Secundarios: Las variables institucionales, como el porcentaje de docentes con formación adecuada y las tasas de participación estudiantil, fueron altamente influyentes.
  • Factores Individuales: Aunque las variables a nivel de estudiante (ej. educación de los padres, número de dormitorios) fueron significativas, su impacto fue secundario frente al ecosistema escolar más amplio.
  • Variables de Docente/Director: La experiencia individual del docente y la permanencia del director fueron relevantes, pero menos dominantes que los indicadores agregados de la escuela.

Significancia y Reivindicaciones
El artículo sostiene que el rendimiento académico en la educación básica brasileña es un fenómeno sistémico profundamente ligado al ecosistema de la escuela, en lugar de ser el resultado de intervenciones individuales aisladas. El estudio argumenta que el fuerte poder predictivo del contexto socioeconómico de la escuela valida la necesidad de políticas que aborden las disparidades entre escuelas en lugar de centrarse únicamente en la remediación individual del estudiante.

Al aprovechar la IA Explicable, los autores afirman que su modelo sirve como una herramienta de diagnóstico capaz de desplazar la política educativa de enfoques de "talla única" hacia intervenciones dirigidas y basadas en evidencia. Específicamente, los hallazgos sugieren que la asignación de recursos (financiamiento, docentes calificados, infraestructura) debe dirigirse hacia las escuelas con perfiles socioeconómicos más bajos para fomentar la equidad educativa. El estudio concluye que, si bien las características individuales importan, estas están profundamente influenciadas por el contexto colectivo de la escuela, un hallazgo que se alinea con las teorías sociológicas de la reproducción social y el capital cultural.

Los autores mantienen la modestia respecto a la causalidad, enfatizando que el modelo identifica asociaciones estadísticas en lugar de una causalidad determinante. Reconocen limitaciones, como el uso de eliminación por lista para los datos faltantes y la naturaleza transversal del análisis, sugiriendo que trabajos futuros podrían incorporar datos longitudinales y técnicas de imputación avanzadas.