Resumo Técnico: Rumo à Aprendizagem Sustentável na Educação Online: Uma Abordagem de Aprendizado por Reforço

1. Declaração do Problema

A educação online enfrenta uma tensão fundamental: embora ofereça uma escalabilidade sem precedentes, ela luta contra o baixo engajamento do aluno, altas taxas de abandono e baixa retenção de conhecimento a longo prazo. As abordagens existentes geralmente se dividem em duas categorias com distinções limitantes:

• Modelos Preditivos: Estes focam frequentemente em objetivos de curto prazo, como maximizar a probabilidade de sucesso no próximo módulo de aprendizagem, mas falham em otimizar o engajamento de longo prazo ou a retenção duradoura.
• Modelos de Aprendizado por Reforço (RL): Embora desloquem o foco para recompensas de longo prazo, eles tipicamente assumem que os alunos seguirão as recomendações persistentemente (ignorando riscos de abandono) e priorizam a expansão do conhecimento em vez da revisão sistemática, negligenciando o equilíbrio entre a aquisição de novos conceitos e a reforço do conhecimento prévio.

Os autores identificam a necessidade de um sistema que otimize conjuntamente o engajamento sustentado (prevenindo o abandono) e a eficácia a longo prazo (garantindo a retenção do conhecimento), abordando os trade-offs inerentes entre impulsionar os alunos adiante e permitir a revisão necessária.

2. Metodologia: O Framework AI-Tutor

O artigo propõe o AI-Tutor, um sistema recomendador de trilhas de aprendizagem personalizadas construído sobre um framework de Aprendizado por Reforço Baseado em Modelo (Model-Based RL). O sistema é projetado para alinhar-se aos dois objetivos principais de aprendizagem sustentável através de três componentes técnicos centrais:

A. Representação por Grafo de Conhecimento (KG)

Para lidar com as dependências estruturais do conhecimento, os autores constroem um Grafo de Conhecimento direcionado $G=(V, E)$, onde os nós representam itens de conhecimento e as arestas representam relacionamentos.

• Tipos de Arestas: O grafo integra Arestas Dirigidas pelo Currículo (pré-requisitos definidos por especialistas) e Arestas Dirigidas Empiricamente (inferidas de dados históricos usando mineração de regras de associação para identificar relações de suporte latentes).
• Codificação de Estado: Uma Rede Neural de Grafo (especificamente Deep Graph Infomax) aprende embeddings tanto para itens de conhecimento individuais quanto para o estado de conhecimento atual do aluno (representado como um subgrafo de itens aprendidos).
• Mascaramento do Espaço de Ação: O espaço de ação do agente de RL é restrito a nós adjacentes ao subgrafo de conhecimento atual do aluno. Isso garante que as recomendações sejam pedagogicamente apropriadas (aderindo à teoria construtivista da aprendizagem) e computacionalmente eficientes.

B. Simulador de Aluno (LearnSim)

Para evitar a ineficiência de dados e os riscos de segurança de treinar agentes de RL diretamente em usuários reais, os autores empregam uma abordagem de RL Baseada em Modelo utilizando um Simulador de Aluno (LearnSim).

• Arquitetura: O LearnSim utiliza uma arquitetura Transformer para processar a trajetória histórica do aluno.
• Predição Multitarefa: Ele prevê simultaneamente três quantidades críticas para o loop de treinamento de RL:
  1. Probabilidade de Engajamento ($p_{t}^{eng}$): A probabilidade de o aluno persistir após a interação atual.
  2. Probabilidade de Recall ($p_{t}^{rec}$): A probabilidade de o aluno conseguir recordar o item antes da interação.
  3. Força da Meia-Vida ($h_{post}(t)$): A força de memória atualizada após a interação, usada para modelar a curva de esquecimento.
• Treinamento: O LearnSim é treinado em dados históricos usando perdas de entropia cruzada binária para engajamento/recall e uma função de perda especializada para estimativa de meia-vida baseada em resultados de recall futuros.

C. Otimização de Política de RL com Teoria Cognitiva

O agente AI-Tutor utiliza um framework Actor-Critic com modificações específicas na equação de Bellman padrão para abordar as lacunas identificadas:

1. Design da Função de Recompensa: A recompensa imediata $r_t$ é uma soma ponderada de dois componentes fundamentados na teoria cognitiva:

   • Ganho de Aquisição de Conhecimento ($r_{t}^{acq}$): Baseado na melhoria na probabilidade de recall (1 - recall previsto pré-interação).
   • Ganho de Retenção de Conhecimento ($r_{t}^{ret}$): Baseado no aumento da força de memória da meia-vida ($h_{post} - h_{pre}$), derivado da teoria da Curva de Esquecimento.
   • Fórmula: $r_t = r_{t}^{acq} + \beta r_{t}^{ret}$.

2. Estimativa de Valor Consciente do Engajamento: Os autores revisam a função Q clássica para considerar a natureza estocástica do abandono do aluno. Em vez de um fator de desconto $\gamma$ fixo, eles incorporam a probabilidade dinâmica de engajamento $p_{t}^{eng}$:

   • Equação de Bellman Modificada: $Q^\pi(s_t, a_t) = r_t + p_{t}^{eng} \mathbb{E}[Q^\pi(s_{t+1}, a_{t+1})]$.
   • Isso força o agente a equilibrar as recompensas futuras potenciais contra o risco de desengajamento do aluno, atuando efetivamente como um "gestor de risco" para a trilha de aprendizagem.

3. Principais Contribuições

O artigo reivindica duas contribuições primárias:

1. Um Novo Framework de RL para Aprendizagem Sustentável: Diferente de trabalhos anteriores, este framework equilibra explicitamente a expansão do conhecimento com a retenção e incorpora o engajamento comportamental na estimativa de recompensa de longo prazo. Ele aborda o trade-off entre o progresso acadêmico e a motivação do aluno.
2. Design de Modelo Baseado em Teoria: A abordagem está entre as primeiras a incorporar teorias de domínio (teoria da aprendizagem construtivista para mascaramento de ação; Curva de Esquecimento e teorias de Força de Memória para formulação de recompensa) diretamente na formulação do modelo de RL, em vez de tratá-las como heurísticas post-hoc.

4. Resultados Empíricos

O modelo foi avaliado em um conjunto de dados de 23,6 milhões de registros de aprendizagem de 33.700 alunos da plataforma de aprendizagem de idiomas MaiMemo (vocabulário de inglês para o Exame de Graduação).

• Baselines: O AI-Tutor foi comparado contra:

  • Myopic Greedy: Prioriza a dificuldade imediata.
  • FSRSv1/v2: Sistemas de repetição espaçada padrão da indústria (usando HLR e LearnSim, respectivamente).
  • DRL-SRS: Uma abordagem de Deep Q-learning para repetição espaçada.
  • Variantes de Ablação: AI-Tutor sem modelagem de engajamento (v1), sem mascaramento de KG (v2), e sem recompensas de retenção (v3).

• Métricas de Desempenho:

  • Taxa de Conclusão do Curso: O AI-Tutor alcançou uma taxa de conclusão de 31,1%, superando significativamente o DRL-SRS (11,2%) e todos os outros baselines. Isso representa um aumento de 177,7% sobre o melhor baseline de não-ablação.
  • Desempenho no Exame Final: O AI-Tutor alcançou uma pontuação de 55,9%, uma melhoria de 149,6% sobre o DRL-SRS (22,4%).
  • Simulador de Aluno: O LearnSim superou os baselines padrão (Regressão Logística, Random Forest, Gradient Boosting) na predição de engajamento (melhorando a acurácia balanceada em >35%) e nas tarefas de predição de memória.

• Insights de Ablação:

  • A remoção da modelagem de engajamento (AI-Tutorv1) causou a queda de desempenho mais significativa, confirmando a necessidade de modelar o risco de abandono.
  • A remoção do mascaramento de ação baseado em KG (AI-Tutorv2) levou a maiores taxas de abandono sem ganhos de aprendizagem.
  • A remoção das recompensas de retenção (AI-Tutorv3) resultou em pontuações mais baixas no exame final, destacando a importância da revisão sistemática.

5. Significância e Alegações

O artigo conclui que o AI-Tutor tem sucesso em avançar os dois objetivos da aprendizagem sustentável na educação online: retenção de conhecimento eficaz a longo prazo e engajamento sustentado do aluno.

• Adaptação Centrada no Humano: Análises de trilhas de aprendizagem revelam que o AI-Tutor se adapta dinamicamente aos perfis dos alunos (ex: atribuindo menor dificuldade e mais revisão para alunos de baixo desempenho) e equilibra o desafio com a motivação, prevenindo a "sobrecarga" vista em estratégias gananciosas (greedy) agressivas.
• Generalização: Os autores afirmam que o framework é adaptável a outros domínios além do aprendizado de idiomas. Eles postulam que qualquer disciplina com um grafo de conhecimento estruturado, ciclos de revisão periódicos e avaliações finais pode utilizar este framework treinando um LearnSim e um AI-Tutor específicos para o domínio.
• Alinhamento Teórico: O estudo demonstra que integrar teorias da psicologia cognitiva (curvas de esquecimento, construtivismo) diretamente nas estruturas de recompensa e representações de estado de RL produz resultados práticos superiores em comparação com abordagens puramente baseadas em dados ou regras.