A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization

Este artigo apresenta uma abordagem baseada em bandit contextual, utilizando amostragem de Thompson, para otimizar a sequência personalizada de exercícios em sistemas de recomendação educacional, demonstrando que tal método maximiza o ganho de habilidades dos alunos em plataformas de tutoria online em larga escala.

O essencial

Imagine que você é um professor de matemática com uma turma gigante, cheia de alunos com níveis de conhecimento muito diferentes. Alguns já dominam o assunto, outros estão perdidos, e a maioria está em algum lugar no meio. O problema? Você não consegue dar uma aula personalizada para cada um deles ao mesmo tempo.

É aqui que entra a história deste artigo, que propõe uma solução inteligente usando a tecnologia para criar um "Tutor Digital Personalizado".

Vamos explicar como isso funciona usando algumas analogias simples:

1. O Problema: A "Lista de Tarefas" Padronizada

Atualmente, muitos cursos online funcionam como uma esteira rolante. Todos os alunos passam pelos mesmos exercícios, na mesma ordem, independentemente de quem eles são.

• O que acontece: O aluno que já sabe tudo fica entediado (porque os exercícios são fáceis demais). O aluno que tem dificuldade fica frustrado (porque os exercícios são impossíveis).
• A solução antiga (Filtragem Colaborativa): Os sistemas atuais tentam adivinhar o que você precisa olhando para o que outras pessoas parecidas com você fizeram. É como se um amigo dissesse: "Ei, você gosta de rock, então vou te recomendar essa banda que todo mundo que gosta de rock ouve". O problema é que isso ignora o seu momento atual de aprendizado. Se você já sabe o básico, ouvir a mesma música de novo não vai te ensinar nada novo.

2. A Solução: O "Detetive de Habilidades" (Bandits Contextuais)

Os autores propõem um sistema mais inteligente, baseado em algo chamado Thompson Sampling (uma técnica de aprendizado de máquina). Vamos chamar esse sistema de "O Detetive".

Imagine que o Detetive tem um objetivo único: fazer o aluno aprender o máximo possível a cada exercício.

• Como ele funciona:
  1. Observa o contexto: O Detetive não olha apenas para o que você fez no passado. Ele olha para quem você é agora. Ele sabe seu histórico, se você está confuso, se está entediado, se você é bom em álgebra mas ruim em geometria, etc.
  2. O Jogo de Adivinhação (Exploração vs. Exploração): O Detetive está sempre jogando um jogo de "tentativa e erro" inteligente.
     • Exploração: Às vezes, ele arrisca e te dá um exercício que ele não tem certeza se vai funcionar, só para ver se você aprende algo novo com ele.
     • Exploração: Na maioria das vezes, ele escolhe o exercício que, baseado no que ele já sabe sobre você, tem a maior chance de te fazer dar um "salto" no aprendizado.
  3. A Recompensa (O Segredo): A maioria dos sistemas mede sucesso pelo número de acertos (se você acertou a conta, o sistema fica feliz). Mas esse sistema mede sucesso pelo ganho de habilidade.
     • Analogia: Se um aluno que já sabe tudo acerta uma conta fácil, o sistema não ganha pontos. Mas se um aluno que estava travado em um conceito difícil finalmente entende e acerta, o sistema ganha muitos pontos. O foco é a evolução, não apenas a nota.

3. O Resultado: O "GPS do Aprendizado"

O estudo testou esse sistema usando dados reais de um tutor de matemática online. Os resultados foram impressionantes:

• O Detetive (LinTS) venceu: O sistema que usava o contexto (quem é o aluno + o que ele precisa agora) foi muito melhor do que os sistemas antigos que apenas olhavam para o histórico de acertos.
• Ajuste Fino: O sistema aprendeu a identificar quais exercícios eram os "campeões de aprendizado" para cada tipo de aluno.
• Eficiência: Em vez de espalhar os alunos por todos os exercícios disponíveis, o sistema focou em um conjunto menor de exercícios que realmente funcionavam para cada perfil, economizando tempo e aumentando o aprendizado.

Por que isso é importante para o futuro?

Imagine um curso de Estatística ou Pesquisa Operacional (matérias difíceis) com 1.000 alunos.

• Sem o sistema: O professor tenta dar a mesma aula para todos. Os avançados dormem, os atrasados desistem.
• Com o sistema: Cada aluno recebe um caminho de aprendizado único. O sistema atua como um assistente invisível que sabe exatamente qual exercício o aluno precisa fazer agora para evoluir.

Resumo da Ópera:
Este artigo apresenta uma maneira de transformar a educação online de uma "fábrica de tarefas padronizadas" em uma "oficina de aprendizado personalizada". Em vez de forçar todos a correrem na mesma esteira, o sistema cria uma trilha de montanha personalizada para cada alpinista, garantindo que todos cheguem ao topo, cada um no seu ritmo, mas todos subindo da maneira mais eficiente possível.

Resumo técnico

Resumo Técnico: Abordagem Baseada em Bandits para Sistemas de Recomendação Educacional

1. Problema e Motivação

O artigo aborda o desafio de fornecer práticas de aprendizado personalizadas em larga escala em ambientes digitais de Educação em Pesquisa Operacional (PO), Ciência da Gestão (CG) e Analytics.

• Limitações Atuais: A maioria dos cursos digitais (como MOOCs) utiliza caminhos de aprendizado padronizados e sequências fixas de exercícios. Isso ignora a heterogeneidade das habilidades quantitativas dos alunos e não se adapta às necessidades individuais.
• Falhas dos Sistemas Atuais: Os Sistemas de Recomendação Educacional (SRE) tradicionais baseiam-se frequentemente em Filtragem Colaborativa (CF). A CF possui limitações pedagógicas críticas:
  1. Não é inerentemente personalizada (baseia-se em padrões agregados, não no perfil único do aluno).
  2. É estática (não captura a evolução temporal do conhecimento).
  3. Falta um mecanismo de exploração, tendendo a reforçar exercícios populares em vez de identificar aqueles que melhor promovem o aprendizado contínuo.
• Objetivo: Desenvolver um framework que gere sequências personalizadas de exercícios, selecionando, a cada passo, o exercício mais provável de maximizar o ganho de habilidade cognitiva do aluno, utilizando o conceito de "andaime" (scaffolding) pedagógico.

2. Metodologia

O estudo propõe um framework baseado em Bandits Contextuais (Contextual Multi-Armed Bandits - CMAB), onde a seleção de exercícios é tratada como um problema de decisão sequencial.

• Definição de Recompensa (Inovação Chave):
  Diferente de métricas comuns (como acerto/erro ou satisfação do usuário), a recompensa é definida como o Ganho de Habilidade (Skill Gain).

  • Utiliza-se o modelo de Rastreamento de Conhecimento Bayesiano (BKT) para estimar o estado de conhecimento latente do aluno.
  • A recompensa $r_{t,a_t}$ é calculada como a diferença entre a estimativa de domínio da habilidade após a interação ($K_t$) e antes ($K_{t-1}$):
    $$r_{t,a_t} = K_t^{(s)} - K_{t-1}^{(s)}$$
  • Isso alinha a otimização diretamente com o progresso pedagógico real, e não apenas com a performance imediata.

• Algoritmos Propostos e Comparação:
  O estudo compara quatro abordagens:

  1. UserCF e ItemCF (Baselines): Métodos de Filtragem Colaborativa baseados em similaridade (usuário-usuário e item-item).
  2. Thompson Sampling (TS) Padrão: Um algoritmo bayesiano não contextual que modela a recompensa como uma distribuição Gaussiana (usando prior Normal-Inverse-Gamma).
  3. Linear Thompson Sampling (LinTS): A proposta principal. É um algoritmo de bandit contextual que assume que a recompensa esperada de um exercício é uma função linear das características do aluno (contexto).
     • O contexto ($x_t$) inclui: dados sociodemográficos, proficiência acadêmica (histórico, notas MCAS), estado afetivo (confusão, frustração, tédio) e comportamentos de desengajamento.
     • O algoritmo mantém uma distribuição posterior sobre os parâmetros do modelo linear para cada exercício, equilibrando exploração (tentar exercícios incertos) e exploração (escolher os melhores conhecidos).

• Conjunto de Dados e Pré-processamento:

  • Dados: ASSISTments 2017 (1.708 alunos, 3.162 exercícios, ~935k interações).
  • Pré-processamento: Filtragem de interações com recompensa zero ou negativa, remoção de duplicatas (mantendo apenas a tentativa final), exclusão de alunos com <50 interações e divisão temporal (70% treino, 15% validação, 15% teste) para evitar vazamento de dados.

3. Contribuições Principais

1. Primeira Avaliação Empírica de TS em SRE: O artigo é, segundo os autores, o primeiro a avaliar empiricamente o Thompson Sampling (especificamente LinTS) para recomendação educacional.
2. Métrica de Recompensa Pedagógica: Substitui métricas de "clique" ou "acerto" pelo Ganho de Habilidade derivado do BKT, focando no desenvolvimento cognitivo real.
3. Validação do Contexto: Demonstra que incorporar características do aluno (contexto) no algoritmo de bandit é superior a abordagens não contextuais ou baseadas apenas em similaridade histórica.
4. Framework Escalável: Oferece uma solução para personalização em massa em cursos de PO/CG/Analytics, onde a supervisão humana individualizada é inviável.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados ASSISTments, comparando o desempenho dos algoritmos em termos de recompensa acumulada média (ganho de habilidade).

• Desempenho Geral:
  • O LinTS obteve o melhor desempenho, alcançando uma recompensa média final de 0.198.
  • Melhorias Relativas:
    • +15,2% em relação ao TS padrão (0,172).
    • +16,5% em relação ao ItemCF (0,170).
    • +20,7% em relação ao UserCF (0,164).
• Dinâmica de Exploração-Exploração:
  • UserCF: Convergiu prematuramente para poucos exercícios (super-exploração), ignorando a diversidade de necessidades.
  • ItemCF: Distribuiu as escolhas de forma muito difusa, sem priorização adaptativa.
  • LinTS: Demonstrou uma dinâmica superior. Inicialmente, explorou amplamente o espaço de exercícios. Com o tempo, concentrou-se de forma inteligente em um subconjunto menor de exercícios de alto valor para cada perfil de aluno, equilibrando a descoberta de novos recursos eficazes com a exploração dos melhores conhecidos.

5. Significado e Implicações

O estudo tem implicações práticas significativas para instrutores e designers de cursos em PO, CG e Analytics:

1. Personalização em Escala: Permite que cursos com grandes turmas ofereçam trajetórias de aprendizado adaptativas, ajustando a dificuldade e o ritmo automaticamente sem intervenção manual massiva.
2. Insights para Design Instrucional: O modelo identifica quais exercícios geram consistentemente o maior ganho de aprendizado. Isso ajuda instrutores a selecionar exemplos de trabalho, exercícios de aula e materiais de avaliação mais eficazes.
3. Identificação de Alunos em Risco: Ao condicionar as recomendações ao perfil do aluno, o sistema pode identificar estudantes que precisam de suporte adicional (remediação) em habilidades pré-requisito, permitindo intervenções direcionadas.
4. Superação de Limitações da CF: Confirma que, em ambientes educacionais dinâmicos, modelos que aprendem a partir de características individuais e evoluem com o tempo (Bandits Contextuais) superam métodos baseados em similaridade estática.

Conclusão: A abordagem baseada em LinTS oferece um avanço metodológico robusto para Sistemas de Recomendação Educacional, provando que a otimização direta do ganho de habilidade, combinada com modelagem contextual bayesiana, resulta em trajetórias de aprendizado mais eficazes e adaptativas.