A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata

Resumo Técnico: Uma Análise Multinível dos Fatores Associados ao Desempenho Estudantil

Definição do Problema
Identificar os determinantes do sucesso acadêmico na educação básica brasileira é um desafio complexo devido à vasta heterogeneidade socioeconômica do país. Abordagens estatísticas tradicionais frequentemente têm dificuldade em capturar a interação não linear e multinível entre características individuais dos alunos, perfis de professores, infraestrutura escolar e práticas de gestão. Embora a Mineração de Dados Educacionais (EDM) ofereça ferramentas para o reconhecimento de padrões, ainda existe uma lacuna na aplicação de abordagens de aprendizado de máquina sistêmicas e multiníveis ao conjunto de dados nacional mais abrangente para a educação básica (SAEB), a fim de informar políticas públicas equitativas. O problema central abordado é a distinção entre fatores individuais isolados e determinantes sistêmicos de nível escolar que impulsionam o desempenho dos estudantes.

Metodologia
O estudo emprega um pipeline estruturado de mineração de dados utilizando microdados do Sistema de Avaliação da Educação Básica (SAEB), administrado pelo INEP. A metodologia é caracterizada por quatro fases distintas:

1. Integração de Dados Multinível: Os pesquisadores construíram um conjunto de dados hierárquico unindo quatro fontes de dados distintas por meio de identificadores de escola e de turma:

   • Estudante: Perfis socioeconômicos e escores de proficiência (Matemática e Português).
   • Professor: Formação profissional, práticas pedagógicas e percepções sobre o clima escolar.
   • Escola: Indicadores agregados, incluindo níveis socioeconômicos e taxas de formação docente.
   • Diretor: Perfis de gestão, experiência e práticas de engajamento comunitário.
     O conjunto de dados final compreendeu 6.482.168 registros válidos de estudantes (9º ano e ensino médio).

2. Pré-processamento e Seleção de Atributos (Features):

   • A limpeza de dados envolveu a exclusão de registros com valores ausentes (listwise deletion) e a conversão de porcentagens baseadas em strings para valores de ponto flutuante (floats).
   • As variáveis categóricas foram codificadas via One-Hot Encoding, e os atributos foram padronizados através de StandardScaler.
   • O algoritmo Boruta foi aplicado a um conjunto inicial de 98 atributos para identificar estatisticamente os preditores relevantes, confirmando 44 atributos. Um subconjunto final de 17 atributos foi selecionado com base na significância estatística e relevância teórica para a política educacional.

3. Modelagem e Avaliação:

   • O estudo enquadrou a tarefa como um problema de classificação binária: prever se um aluno apresenta desempenho "Acima da Média" ou "Abaixo da Média" com base em escores compostos de proficiência.
   • Quatro algoritmos de floresta de árvores (ensemble) foram comparados: Random Forest, XGBoost, LightGBM e CatBoost.
   • Os modelos foram treinados com uma divisão de 80/20 para treino e teste. O desempenho foi avaliado utilizando Acurácia, Precisão, Recall, F1-Score e a Área Sob a Curva de Característica de Operação do Receptor (AUC-ROC).

4. IA Explicável (XAI):

   • Para ir além da predição de "caixa preta", o estudo aplicou SHAP (SHapley Additive exPlanations) ao melhor modelo de desempenho. Isso permitiu tanto a análise de importância global de atributos quanto a interpretação local de predições individuais.

Principais Contribuições
O artigo apresenta quatro contribuições primárias para os campos da Mineração de Dados Educacionais e análise de políticas públicas:

1. Modelo Multinível Inédito: O design e implementação de um modelo preditivo que integra sistematicamente quatro camadas distintas de dados (estudante, professor, escola, diretor) a partir da avaliação nacional do SAEB.
2. Avaliação Comparativa Rigorosa: Um benchmarking abrangente de quatro poderosos modelos de ensemble, demonstrando que um modelo Random Forest supera as variantes de gradient boosting (XGBoost, LightGBM, CatBoost) neste contexto específico sem a necessidade de ajuste extensivo de hiperparâmetros.
3. Identificação de Atributos Sistêmicos: Uma análise orientada por dados que identifica inequívocamente o nível socioeconômico médio da escola como o preditor dominante, superando as características individuais de alunos ou professores em poder preditivo.
4. Insights de Políticas Acionáveis: A tradução de saídas complexas de modelos em insights baseados em evidências para formuladores de políticas, quantificando a natureza sistêmica do aproveitamento acadêmico e destacando o potencial de intervenções direcionadas para reduzir disparidades entre escolas.

Resultos

• Desempenho do Modelo: O classificador Random Forest alcançou um desempenho superior com uma Acurácia de 90,17% e um AUC de 0,9669. Em contraste, os modelos de gradient boosting (XGBoost, LightGBM, CatBoost) apresentaram acurácias significativamente menores (variando de 62,48% a 64,17%) e escores de AUC (0,67–0,69) quando executados com parâmetros padrão.
• Equilíbrio de Classificação: O modelo Random Forest demonstrou um desempenho equilibrado entre ambas as classes ("Acima da Média" e "Abaixo da Média"), com precisão e recall consistentemente em torno de 0,90–0,92, indicando ausência de viés para qualquer um dos grupos.
• Importância de Atributos: A análise SHAP revelou uma clara hierarquia de influência:
  • Fator Dominante: O Nível Socioeconômico Médio da Escola foi o preditor mais poderoso. Níveis socioeconômicos mais altos (ex: Nível VI) correlacionaram-se fortemente com predições "Acima da Média".
  • Fatores Secundários: Variáveis institucionais, como a porcentagem de professores com formação adequada e taxas de participação estudantil, foram altamente influentes.
  • Fatores Individuais: Embora variáveis de nível estudantil (ex: escolaridade dos pais, número de quartos) fossem significativas, seu impacto foi secundário ao ecossistema escolar mais amplo.
  • Variáveis de Professor/Diretor: A experiência individual do professor e o tempo de gestão do diretor foram relevantes, mas menos dominantes do que os indicadores agregados da escola.

Significância e Alegações
O artigo alega que o desempenho acadêmico na educação básica brasileira é um fenômeno sistêmico profundamente ligado ao ecossistema escolar, em vez de ser o resultado de intervenções individuais isoladas. O estudo argumenta que o forte poder preditivo do contexto socioeconômico da escola valida a necessidade de políticas que abordem as disparidades entre escolas, em vez de focar apenas na remediação individual do aluno.

Ao utilizar IA Explicável, os autores afirmam que seu modelo serve como uma ferramenta de diagnóstico capaz de deslocar a política educacional de abordagens de "tamanho único" para intervenções direcionadas e baseadas em evidências. Especificamente, os achados sugerem que a alocação de recursos (financiamento, professores qualificados, infraestrutura) deve ser direcionada às escolas com perfis socioeconômicos mais baixos para promover a equidade educacional. O estudo conclui que, embora as características individuais importem, elas são profundamente influenciadas pelo contexto coletivo da escola, um achado que se alinha às teorias sociológicas de reprodução social e capital cultural.

Os autores mantêm a modéstia quanto à causalidade, enfatizando que o modelo identifica associações estatísticas em vez de causalidade determinante. Eles reconhecem limitações, como o uso de exclusão de registros com dados ausentes e a natureza transversal da análise, sugerindo que trabalhos futuros possam incorporar dados longitudinais e técnicas avançadas de imputação.