Multidimensional Exploration of Influencing Factors of College Students' Academic Performance: An Empirical Study Based on 18 Machine Learning Algorithms

Resumen Técnico: Exploración Multidimensional de los Factores Influyentes en el Rendimiento Académico de Estudiantes Universitarios

Planteamiento del Problema
El rendimiento académico es un resultado complejo moldeado por la interacción de las características individuales, el entorno familiar y la educación escolar. Si bien la literatura existente ha explorado extensamente estas dimensiones, persisten limitaciones significativas. Los estudios tradicionales suelen basarse en métodos estadísticos clásicos (p. ej., análisis de regresión) o en algoritmos de aprendizaje automático únicos, los cuales tienen dificultades para capturar correlaciones complejas y no lineales entre múltiples factores. Además, la naturaleza de "caja negra" de muchos modelos de aprendizaje automático impide la interpretabilidad, lo que dificulta que los gestores educativos confíen en los resultados del modelo o formulen estrategias de intervención dirigidas. Existe una necesidad crítica de un marco que no solo prediga el rendimiento académico con alta precisión, sino que también explique los mecanismos subyacentes de los factores influyentes para apoyar intervenciones educativas prácticas.

Metodología
Este estudio emplea un enfoque empírico integral utilizando datos de 145 estudiantes universitarios (Facultad de Ingeniería y Facultad de Ciencias de la Educación) del conjunto de datos de la Universidad de California, Irvine (UCI). La investigación integra 30 indicadores que cubren información personal, antecedentes familiares y estado educativo.

1. Preprocesamiento de Datos: La variable objetivo, "GRADE" (CALIFICACIÓN), se convirtió en una tarea de clasificación binaria (0 para "Reprobado", 1 para "Aprobado") para abordar la complejidad inicial de la clasificación múltiple. Para mitigar el severo desequilibrio de clases (una relación aproximada de 17:1 entre aprobados y reprobados), se aplicó la Técnica de Sobremuestreo de la Clase Minoritaria Sintética (SMOTE) para generar muestras sintéticas para la clase minoritaria.
2. Comparación de Modelos: El estudio evaluó sistemáticamente 18 algoritmos de aprendizaje automático, incluyendo Naive Bayes, Gradient Boosting Machine, XGBoost, Regresión Logística, Redes Neuronales, Proceso Gaussiano, Bagging Decision Trees, LightGBM y varios modelos de regresión y discriminante lineal.
3. Métricas de Evaluación: El rendimiento del modelo se evaluó mediante Exactitud (Accuracy), AUC (Área Bajo la Curva), Kappa, Sensibilidad, Especificidad, Valor Predictivo Positivo (PPV), Valor Predictivo Negativo (NPV), Precisión, Recall y F1-score. Se utilizó una estrategia de validación cruzada de 5 pliegues y 10 repeticiones para asegurar la robustez.
4. Interpretabilidad: El modelo LightGBM, identificado como el de mejor desempeño, fue analizado posteriormente mediante el marco SHAP (Explicaciones Aditivas de Shapley). Este método cuantifica la contribución de cada característica a la predicción del modelo, permitiendo una exploración profunda de la importancia y la direccionalidad de las características.
5. Desarrollo de la Aplicación: Se desarrolló un sistema de predicción en línea utilizando el marco Shiny para visualizar las predicciones del modelo y las interpretaciones de las características, facilitando el uso práctico por parte de los educadores.

Resultos Clave

• Rendimiento del Modelo: Entre los 18 algoritmos probados, el algoritmo LightGBM alcanzó resultados óptimos. Demostró una Exactitud de 0.985, una desviación estándar de AUC de 0 (indicando alta estabilidad), un Kappa de 0.951, Sensibilidad de 0.949, Especificidad de 1 y un F1-score de 0.974. Otros modelos con un fuerte desempeño incluyeron Bagging Decision Trees y XGBoost, pero LightGBM superó consistentemente a modelos tradicionales como Clasificación y Regresión de Árboles (Exactitud 0.896) y la Regresión Logística (que mostró una mayor desviación estándar de AUC).
• Importancia de las Características: El análisis SHAP reveló que los factores personales y los factores de educación escolar son los impulsores dominantes del rendimiento académico, mientras que los factores familiares (p. ej., educación de los padres, estatus laboral) tienen un impacto relativamente débil.
• Variables Significativas Clave: Las variables más influyentes identificadas fueron:
  • Dimensión Personal: Género, Edad, tener pareja (HasPartner) y realizar trabajos a tiempo parcial.
  • Comportamiento de Aprendizaje: Estado de escucha en clase (ClassListening).
  • Expectativas: Promedio acumulado esperado al graduarse (ExpectedGradCGPA).
• Hallazgos Específicos:
  • Los estudiantes sin pareja mostraron mejores predicciones de rendimiento que aquellos con pareja.
  • Los estudiantes de entre 22 y 25 años demostraron el mejor rendimiento predictivo, lo que sugiere un periodo de enfoque de aprendizaje óptimo.
  • Las calificaciones de graduación esperadas altas se asociaron con efectos predictivos negativos, probablemente debido a la ansiedad.
  • El trabajo a tiempo parcial mostró un efecto predictivo positivo, potencialmente vinculado a una mejor gestión del tiempo y la aplicación práctica de conocimientos.

Contribuciones Clave

1. Refinamiento de las Dimensiones Influyentes: El estudio clarifica la jerarquía de impacto, verificando que los factores personales y de educación escolar predominan sobre los factores familiares en el contexto universitario. Identifica indicadores específicos y accionables (p. ej., escucha en clase, estado de relación) en lugar de categorías amplias.
2. Optimización Metodológica: Al comparar 18 algoritmos e integrar la interpretación SHAP, el estudio supera la limitación de la "caja negra" del aprendizaje automático tradicional. Reemplaza los enfoques de un solo algoritmo con un marco comparativo que asegura tanto una alta precisión de predicción como interpretabilidad.
3. Estrategias de Intervención Orientadas a la Práctica: Más allá de las sugerencias a nivel macro, el estudio propone intervenciones específicas basadas en datos derivados de los hallazgos de SHAP. Estas incluyen estrategias para aliviar la ansiedad por el fracaso, guiar las visiones sobre las relaciones románticas, establecer conceptos de aprendizaje permanente y cultivar capacidades prácticas mediante la integración industria-educación.

Significancia
El artículo sostiene que su investigación proporciona una base de toma de decisiones cuantitativa "basada en datos" para los gestores educativos. Al construir un ciclo cerrado desde la "selección del modelo" hasta el "análisis de factores" y la "implementación de la intervención", el estudio ofrece un paradigma práctico para aplicar la ciencia de datos educativa. El desarrollo de la aplicación en línea Shiny reduce el umbral técnico para los educadores, permitiéndoles identificar intuitivamente los riesgos académicos y diseñar programas de intervención personalizados e inteligentes. En última instancia, el estudio busca mejorar el rendimiento académico de los estudiantes universitarios y la calidad general de la educación superior al cerrar la brecha entre el modelado predictivo complejo y las políticas educativas accionables.