Resumo Técnico: IA Explicável Calibrada para Predição de Risco de Estudantes com Intervenção com Restrição de Recursos e Desaprendizado de Máquina

Declaração do Problema

Os métodos atuais para prever estudantes em risco no ensino superior, particularmente em cursos online abertos massivos (MOOCs) e ambientes virtuais de aprendizagem (VLEs), sofrem de limitações significativas. Embora os modelos existentes frequentemente alcancem alta precisão preditiva, eles frequentemente carecem de eficiência de decisão, ignoram restrições de recursos e falham em abordar a privacidade de dados. Especificamente, a literatura revela várias lacunas:

• Capacidade de Ação (Actionability): A maioria dos modelos foca apenas na predição sem integrar processos de tomada de decisão ou estratégias de intervenção.
• Calibração: Saídas de probabilidade bruta são frequentemente mal calibradas, tornando-as não confiáveis para pontuação de risco e alocação de recursos.
• Cold Start (Início a Frio): Muitos modelos exigem dados históricos completos, tornando-os ineficazes para novos alunos com histórico de interação limitado.
• Privacidade: Poucos estudos abordam o "direito ao esquecimento" ou a capacidade de remover pontos de dados específicos de um modelo treinado sem o retreinamento completo (desaprendizado de máquina/machine unlearning).
• Explicabilidade: Há uma falta de transparência em como as predições são feitas, dificultando a confiança e a adoção por educadores.

Metodologia

O framework proposto integra modelagem preditiva, calibração de probabilidade, IA explicável (XAI), inteligência de decisão e mecanismos de preservação de privacidade utilizando o Open University Learning Analytics Dataset (OULAD).

1. Pré-processamento de Dados e Engenharia de Atributos

O estudo utiliza quatro tabelas primárias do OULAD: studentInfo, studentVle, assessments e studentAssessment. O conjunto de dados (32.593 estudantes) é dividido em conjuntos de treinamento (26.074) e teste (6.519) via amostragem estratificada.

• Imputação: Valores medianos para atributos numéricos e valores de moda para atributos categóricos.
• Construção de Atributos: Três categorias distintas de atributos foram projetadas:
  • Engajamento: Cliques totais, dias ativos, amplitude de atividade, cliques por dia.
  • Avaliação: Pontuação média, variância da pontuação, padrões de submissão, razão de submissão tardia.
  • Tendências Comportamentais: Tendências de engajamento, razões de dias de inatividade e indicadores de engajamento precoce.

2. Modelagem Preditiva

O estudo avalia Regressão Logística (LR), Random Forest (RF) e XGBoost.

• Seleção: O XGBoost é selecionado como o algoritmo principal devido à sua capacidade superior de capturar interações não lineares e sua forte capacidade de ranking.
• Hiperparâmetros: O modelo utiliza 300 estimadores, uma profundidade máxima de 5, uma taxa de aprendizado de 0,05 e subsampling de 0,9 para equilibrar complexidade e generalização.

3. Calibração de Probabilidade e Pontuação de Risco

Para garantir que as probabilidades preditas reflitam fielmente os níveis reais de risco, a Regressão Isotônica é aplicada à saída do XGBoost.

• Pontuação de Risco: Definida como a probabilidade calibrada $P(at\_risk = 1 | X_i)$.
• Benefício: Isso permite um limiar (thresholding) flexível e priorização, em vez de uma classificação binária rígida.

4. Camada de Decisão Agêntica

Uma camada baseada em regras converte pontuações de risco calibradas em intervenções sensíveis ao contexto.

• Lógica: As intervenções são atribuídas com base em limiares de risco (ex: Risco $\ge$ 0,80 aciona assistência imediata de mentor; 0,60–0,80 aciona ações de suporte).
• Integração: Esta camada combina saídas preditivas com indicadores comportamentais (ex: razões de inatividade) para determinar a ação mais eficaz.

5. Política de Intervenção Consciente de Orçamento

Reconhecendo que as instituições possuem recursos limitados, o framework implementa uma abordagem com restrição de orçamento.

• Pontuação: Uma pontuação de intervenção final é calculada: $FinalScore = 0,7 \times RiskScore + 0,3 \times PriorityWeight$.
• Seleção: Os estudantes são classificados por esta pontuação, e os $K$ principais estudantes são selecionados para intervenção com base no orçamento disponível, garantindo alta precisão na alocação de recursos.

6. Cold-Start e Desaprendizado de Máquina

• Modelo Cold-Start: Um modelo separado é treinado usando apenas atributos de estágio inicial (demografia e engajamento inicial) para prever o risco de novos estudantes com dados limitados.
• Desaprendizado de Máquina (Machine Unlearning): Para garantir a conformidade com a privacidade, o framework avalia a remoção de um subconjunto de dados de treinamento (simulando o "direito ao esquecimento"). O modelo é retreinado nos dados restantes para avaliar a estabilidade do desempenho.

7. Explicabilidade

SHAP (SHapley Additive exPlanations) é utilizado para fornecer interpretabilidade global e local, identificando quais atributos (ex: engajamento, recência de atividade) impulsionam predições específicas.

Principais Resultados

Desempenho Preditivo

• Desempenho do XGBoost: O XGBoost não calibrado alcançou uma Acurácia de 0,920, F1-score de 0,922 e ROC-AUC de 0,976.
• XGBoost Calibrado: Após a aplicação da regressão isotônica, o modelo alcançou uma Acurácia de 0,941, F1-score de 0,943 e ROC-AUC de 0,985.
• Comparação: Métodos de ensemble superaram significativamente a Regressão Logística, com o XGBoost calibrado demonstrando o mais forte poder discriminativo.

Calibração e Explicabilidade

• Curva de Calibração: O modelo calibrado seguiu de perto a linha diagonal, confirmando que as probabilidades preditas são confiáveis para a tomada de decisão.
• Análise SHAP: Identificou que atributos de engajamento (cliques, amplitude de atividade) e métricas de avaliação são os preditores mais fortes de risco estudantil.

Intervenção Consciente de Orçamento

• Compromisso Precisão-Recall (Precision-Recall Trade-off): Sob restrições de orçamento pequenas (5%–20% da população estudantil), o sistema manteve uma precisão quase perfeita, garantindo que os casos mais críticos sejam atendidos primeiro. À medida que o orçamento aumentava, o recall melhorava, capturando mais estudantes em risco.

Cold-Start e Unlearning

• Cold-Start: O modelo de estágio inicial alcançou um ROC-AUC de aproximadamente 0,79, demonstrando um desempenho aceitável para intervenção proativa, apesar da escassez de dados.
• Desaprendizado de Máquina: A remoção de 5% dos dados de treinamento resultou em uma degradação insignificante do desempenho:
  • Queda no ROC-AUC: 0,0002 (queda relativa de 0,0204%).
  • Queda no F1-Score: 0,0005 (queda relativa de 0,0527%).
  • Isso confirma a robustez do modelo e sua independência de pontos de dados individuais específicos.

Significância e Contribuições

O artigo afirma preencher a lacuna entre a modelagem preditiva e a implementação prática em ambientes educacionais. Suas principais contribuições incluem:

1. Framework Integrado: Diferente de trabalhos anteriores que focam apenas na predição, este estudo apresenta um sistema de ponta a ponta combinando predição, calibração, explicabilidade e tomada de decisão.
2. Otimização de Recursos: A política consciente de orçamento aborda a realidade dos recursos institucionais limitados, priorizando estudantes de alto risco para maximizar o impacto da intervenção.
3. Conformidade de Privacidade: A demonstração de desaprendizado de máquina com perda mínima de desempenho fornece um caminho para o gerenciamento de dados estudantis em conformidade com o GDPR na análise de aprendizagem.
4. Intervenção Precoce: A capacidade de cold-start permite a identificação de risco logo no início da jornada acadêmica do estudante, uma capacidade frequentemente ausente em modelos de deep learning ávidos por dados.
5. Insights Acionáveis: Ao utilizar SHAP e uma camada de agente baseada em regras, o sistema traduz saídas de modelos complexos em estratégias de intervenção claras e sensíveis ao contexto para educadores.

O estudo conclui que, embora os métodos tradicionais priorizem a precisão, um caminho viável para uma análise de aprendizagem eficaz requer uma abordagem holística que equilibre a precisão da predição com a inteligência de decisão, restrições de recursos e preservação da privacidade.