Multidimensional Exploration of Influencing Factors of College Students' Academic Performance: An Empirical Study Based on 18 Machine Learning Algorithms

Resumo Técnico: Exploração Multidimensional dos Fatores Influenciadores do Desempenho Acadêmico de Estudantes Universitários

Definição do Problema
O desempenho acadêmico é um resultado complexo moldado pela interação entre características individuais, ambiente familiar e educação escolar. Embora a literatura existente tenha explorado extensivamente essas dimensões, permanecem limitações significativas. Estudos tradicionais frequentemente dependem de métodos estatísticos clássicos (ex: análise de regressão) ou algoritos de aprendizado de máquina únicos, que têm dificuldade em capturar correlações não lineares complexas entre múltiplos fatores. Além disso, a natureza de "caixa preta" de muitos modelos de aprendizado de máquina dificulta a interpretabilidade, tornando difícil para os gestores educacionais confiarem nos resultados do modelo ou formularem estratégias de intervenção direcionadas. Há uma necessidade crítica de um framework que não apenas preveja o desempenho acadêmico com alta precisão, mas também explique os mecanismos subjacentes dos fatores influenciadores para apoiar intervenções educacionais práticas.

Metodologia
Este estudo emprega uma abordagem empírica abrangente utilizando dados de 145 estudantes universitários (Faculdade de Engenharia e Faculdade de Ciências da Educação) do conjunto de dados da University of California, Irvine (UCI). A pesquisa integra 30 indicadores abrangendo informações pessoais, contexto familiar e status educacional.

1. Pré-processamento de Dados: A variável alvo, "GRADE", foi convertida em uma tarefa de classificação binária (0 para "Reprovado", 1 para "Aprovado") para lidar com a complexidade inicial de múltiplas classes. Para mitigar o desequilíbrio severo de classes (proporção de aproximadamente 17:1 entre aprovados e reprovados), a Técnica de Sobreamostragem de Sintéticos de Minorias (SMOTE) foi aplicada para gerar amostras sintéticas para a classe minoritária.
2. Comparação de Modelos: O estudo avaliou sistematicamente 18 algoritmos de aprendizado de máquina, incluindo Naive Bayes, Gradient Boosting Machine, XGBoost, Regressão Logística, Redes Neurais, Processo Gaussiano, Bagging Decision Trees, LightGBM e vários modelos de regressão e discriminante linear.
3. Métricas de Avaliação: O desempenho do modelo foi avaliado usando Acurácia, AUC (Área Sob a Curva), Kappa, Sensibilidade, Especificidade, Valor Preditivo Positivo (VPP), Valor Preditivo Negativo (VPN), Precisão, Recall e F1-score. Uma estratégia de validação cruzada de 5 dobras e 10 repetições foi utilizada para garantir a robustez.
4. Interpretabilidade: O modelo LightGBM, identificado como o melhor executor, foi analisado adicionalmente através do framework SHAP (Shapley Additive exPlanations). Este método quantifica a contribuição de cada característica para a previsão do modelo, permitindo uma exploração aprofundada da importância e da direcionalidade das características.
5. Desenvolvimento de Aplicação: Um sistema de previsão online foi desenvolvido utilizando o framework Shiny para visualizar as previsões do modelo e as interpretações das características, facilitando o uso prático por educadores.

Principais Resultados

• Desempenho do Modelo: Entre os 18 algoritmos testados, o algoritmo LightGBM alcançou resultados ótimos. Ele demonstrou uma Acurácia de 0,985, um desvio padrão de AUC de 0 (indicando alta estabilidade), um Kappa de 0,951, Sensibilidade de 0,949, Especificidade de 1 e um F1-score de 0,974. Outros fortes executores incluíram Bagging Decision Trees e XGBoost, mas o LightGBM superou consistentemente modelos tradicionais como Árvores de Classificação e Regressão (Acurácia 0,896) e Regressão Logística (que apresentou maior desvio padrão de AUC).
• Importância das Características: A análise SHAP revelou que fatores pessoais e fatores de educação escolar são os impulsionadores dominantes do desempenho acadêmico, enquanto fatores familiares (ex: escolaridade dos pais, status ocupacional) têm um impacto relativamente fraco.
• Variáveis Significativas Chave: As variáveis mais influentes identificadas foram:
  • Dimensão Pessoal: Gênero, Idade, ter um parceiro (HasPartner) e engajar-se em trabalho de meio período.
  • Comportamento de Aprendizagem: Status de escuta em aula (ClassListening).
  • Expectativas: Média cumulativa esperada ao graduar-se (ExpectedGradCGPA).
• Achados Específicos:
  • Estudantes sem parceiros mostraram melhores previsões de desempenho do que aqueles com parceiros.
  • Estudantes com idade entre 22 e 25 anos demonstraram as melhores previsões de desempenho, sugerindo um período de foco de aprendizagem ideal.
  • Altas notas de graduação esperadas foram associadas a efeitos preditivos negativos, provavelmente devido à ansiedade.
  • O trabalho de meio período mostrou um efeito preditivo positivo, potencialmente ligado à melhoria na gestão do tempo e aplicação prática do conhecimento.

Principais Contribuições

1. Refinamento das Dimensões Influenciadoras: O estudo esclarece a hierarquia de impacto, verificando que os fatores pessoais e de educação escolar dominam sobre os fatores familiares no contexto universitário. Identifica indicadores específicos e acionáveis (ex: escuta em aula, status de relacionamento) em vez de categorias amplas.
2. Otimização Metodológica: Ao comparar 18 algoritmos e integrar a interpretação SHAP, o estudo supera a limitação de "caixa preta" do aprendizado de máquina tradicional. Substitui abordagens de algoritmo único por um framework comparativo que garante tanto alta precisão de previsão quanto interpretabilidade.
3. Estratégias de Intervenção Orientadas à Prática: Indo além de sugestões macro, o estudo propõe intervenções específicas baseadas em dados via insights do SHAP. Estas incluem estratégias para aliviar a ansiedade de reprovação, orientar visões sobre relacionamentos românticos, estabelecer conceitos de aprendizagem ao longo da vida e cultivar habilidades práticas através da integração entre indústria e educação.

Significância
O artigo afirma que sua pesquisa fornece uma base de tomada de decisão quantitativa "orientada por dados" para gestores educacionais. Ao construir um ciclo fechado de "seleção de modelo" para "análise de fatores" e "implementação de intervenção", o estudo oferece um paradigma prático para a aplicação da ciência de dados educacionais. O desenvolvimento da aplicação online Shiny reduz o limiar técnico para educadores, permitindo que identifiquem intuitivamente riscos acadêmicos e personalizem programas de intervenção inteligentes. Em última análise, o estudo visa melhorar o desempenho acadêmico dos estudantes universitários e a qualidade geral do ensino superior ao reduzir a lacuna entre a modelagem preditiva complexa e as políticas educacionais acionáveis.