Decision-aware machine learning improves academic early warning

Resumo Técnico: Aprendizado de Máquina Consciente de Decisão para Alerta Precoce Acadêmico

Definição do Problema
Os atuais sistemas de alerta precoce acadêmico no ensino superior são predominantemente avaliados como ferramentas de predição focadas na identificação de estudantes em risco de violar limiares regulatórios formais (ex: GPA mínimo, limites de créditos). No entanto, esses sistemas enfrentam um "hiato de predição-ação". Em ambientes regulados, os atores institucionais não podem agir continuamente sobre sinais preditivos; eles devem operar dentro de estruturas regulatórias estritas e ex-post, onde a intervenção é frequentemente desencadeada apenas após o aluno já ter falhado. Esse desalinhamento temporal significa que mesmo predições precisas podem chegar tarde demais para um suporte eficaz e proporcionado. Além disso, políticas de intervenção uniformes podem falhar ao não considerar condições de aprendizagem heterogêneas, potencialmente reforçando desigualdades estruturais ao atrasar o suporte para estudantes de origens desfavorecidas que exibem sinais de risco iniciais mais ruidosos ou fracos. O problema central abordado é como traduzir estimativas de risco preditivo em decisões institucionais oportunas, equitativas e eficientes em termos de recursos antes que os limiares regulatórios formais sejam atingidos, sem contornar ou violar as estruturas de governança acadêmica existentes.

Metodologia
O estudo propõe uma estrutura de aprendizado de máquina consciente de decisão que reformula o alerta precoce como um problema de suporte à decisão pré-regulatória, em vez de uma tarefa de pura predição. A metodologia consiste em duas camadas distintas:

1. Camada de Estimativa de Risco (Pipeline de IA):

   • Dados: Registros administrativos longitudinais de seis coortes de graduação de uma universidade pública regional no Vietnã, cobrindo instâncias estudante-semestre.
   • Recursos (Features): Construídos estritamente a partir de dados disponíveis antes da avaliação final (ex: GPA parcial, GPA cumulativo, acumulação de créditos, créditos reprovados e trajetórias de ingresso).
   • Modelos: Três algoritmos de aprendizado supervisionado (Regressão Logística, Random Forest, XGBoost) são treinados para estimar a probabilidade de violação de condições regulatórias específicas no futuro próximo.
   • Calibração: As probabilidades preditas são calibradas usando Platt scaling para garantir confiabilidade para a tomada de decisão.

2. Camada de Decisão (Política Pré-Regulatória):

   • Custo Esperado de Violação Regulatória (ERVC): Em vez de agir apenas com base em limiares de probabilidade, a estrutura calcula um ERVC para cada estudante. Esta métrica combina a probabilidade de risco calibrada com uma função de custo sensível ao contexto ($C_k(g_i)$). Os custos são maiores para estudantes em grupos estruturalmente desfavorecidos (ex: rurais, minorias étnicas) para refletir as consequências desproporcionais do atraso na intervenção para essas populações.
   • Regra de Decisão: Uma regra baseada em limiares inicia o suporte discricionário (ex: aconselhamento, monitoramento) quando o ERVC excede um limiar de restrição de recursos ($\tau$). Esta camada opera a montante dos avisos formais, preservando a integridade das regulamentações oficiais enquanto permite uma governança antecipatória.

Principais Contribuições

• Reenquadramento do Paradigma: O estudo desloca o foco da maximização da precisão preditiva (AUC, Brier score) para a otimização da qualidade da decisão sob restrições regulatórias e de recursos. Demonstra que o valor da IA neste contexto reside na tradução do risco em ação, não apenas na estimativa do risco em si.
• Custeio Sensível ao Contexto: A estrutura introduz um mecanismo para incorporar condições de aprendizagem heterogêneas diretamente na regra de decisão por meio de parâmetros de custo variáveis, em vez de depender apenas de restrições de equidade post-hoc ou ajustes ao nível do modelo.
• Design Consciente da Regulação: O sistema é explicitamente desenhado para funcionar como uma camada "pré-regulatória" que apoia a discrição humana sem automatizar sanções, garantindo o alinhamento com a responsabilidade institucional e os marcos legais.

Resultos
A avaliação empírica comparou a política proposta baseada em ERVC contra quatro bases de comparação: Somente Regulação (RO), Regra Uniforme (UR), Limiar de Predição (PT) e Políticas Insensíveis ao Custo (CI).

• Taxa de Intervenção Perdida (MIR): A política baseada em ERVC proposta alcançou consistentemente a menor MIR em todas as estruturas preditivas (Regressão Logística, Random Forest, XGBoost). Ela reduziu as intervenções perdidas significativamente mais do que as políticas PT e CI, indicando que o direcionamento baseado no custo esperado é mais eficaz do que o direcionamento baseado apenas na probabilidade.
• Eficiência de Recursos: Sob cobertura de intervenção precoce equivalente (EIC), a política ERVC gerou a menor Perda de Decisão Ponderada pelo Custo (CDL), demonstrando uma alocação mais eficiente de recursos de suporte limitados.
• Resultados de Equidade: A estrutura reduziu substancialmente o Hiato de Equidade na Intervenção Perdida (EGMI). Ao atribuir custos mais altos para violações de estudantes estruturalmente desfavorecidos, a política priorizou o suporte precoce para esses grupos, reduzendo as disparidades em intervenções perdidas em comparação com abordagens uniformes ou de limiar de probabilidade.
• Robustez: Os ganhos de desempenho foram estáveis entre diferentes coortes e modelos preditivos, sugerindo que as melhorias são impulsionadas pela formulação da decisão, e não por arquiteturas de modelos específicos.

Significância e Alegações
O artigo afirma que os sistemas de alerta precoce acadêmico devem ser avaliados não meramente por métricas de discriminação ou calibração, mas pela qualidade da decisão, eficiência de recursos e equidade do suporte institucional.

• Governança Institucional: O estudo postula que a análise consciente de decisão pode ajudar as universidades a agir antes que os limiares formais sejam atingidos, transformando o alerta precoce de um status administrativo reativo em um mecanismo de governança proativo.
• Equidade como Responsabilidade Institucional: Os achados sugerem que a justiça na educação não é apenas uma propriedade dos modelos preditivos, mas é mediada pelos parâmetros de decisão institucional. Ao operacionalizar a equidade através de regras de decisão sensíveis ao custo, as instituições podem abordar desigualdades estruturais sem comprometer a autonomia regulatória.
• Inteligência Aumentada: A estrutura exemplifica a "tomada de decisão institucional aumentada", onde a IA aumenta a consistência e a previsão enquanto preserva a supervisão humana e a integridade regulatória. Os autores enfatizam que esses sistemas não são ferramentas técnicas neutras, mas componentes de governança que moldam a oportunidade educacional e a mobilidade social, particularmente em contextos universitários regionais e diversos.

O estudo conclui que, embora a predição seja necessária, ela é insuficiente; o principal motor para a melhoria dos resultados institucionais é o vínculo explícito das informações preditivas com processos de decisão que consideram as restrições regulatórias e as necessidades heterogêneas dos estudantes.