Resumo Técnico: Incorporando Feedback em Rastreamento de Conhecimento Baseado em Elo para Resolução Iterativa de Problemas

Declaração do Problema

Em ambientes de aprendizagem digital, os alunos frequentemente resolvem tarefas complexas por meio de tentativas iterativas apoiadas por feedback automatizado. Embora os Sistemas de Classificação Elo (ERS) padrão sejam amplamente utilizados para estimar a habilidade do aluno e a dificuldade do item devido à sua eficiência computacional e escalabilidade, eles sofrem de uma limração crítica nesses contextos: tratam todos os resultados bem-sucedidos de forma equivalente. Consequentemente, o ERS falha em distinguir o sucesso independente do sucesso alcançado com assistência. Essa negligência pode levar a estimativas de conhecimento enviesadas, pois o desempenho de um aluno pode refletir a qualidade do feedback recebido, em vez de sua competência subjacente. O artigo aborda o desafio de modelar com precisão o conhecimento do aluno quando o feedback automatizado é parte integrante do processo de resolução de problemas iterativo.

Metodologia

Dados e Contexto

O estudo utiliza um conjunto de dados de 47.224 interações aluno-item de 296 estudantes universitários na plataforma LabNBook. A tarefa envolve o design de um protocolo de titulação ácido-base, uma atividade complexa que exige a seleção, parametrização e ordenação de ações. O sistema emprega Modelagem Baseada em Restrições (CBM) para avaliar as submissões contra 42 restrições definidas por especialistas (itens). O feedback é fornecido após submissões errôneas, visando erros específicos com níveis variados de assistência (codificados como uma variável ordinal de 0 a 5, onde 0 é nenhum feedback e 5 é a solução correta explícita).

Estrutura de Modelagem

Os autores propõem uma hierarquia de modelos, movendo-se de um baseline padrão para extensões sensíveis ao feedback.

1. Modelos de Baseline:

   • ERS Padrão (ST): Modela o conhecimento do aluno ($\theta_k$) e a dificuldade do item ($d_i$) usando um único parâmetro global por aluno e uma função logística padrão.
   • ERS Melhorado (EN): Serve como o principal baseline para comparação. Ele melhora o ST ao:
     • Conhecimento Específico por Tipo de Tarefa: Substituir o conhecimento global por parâmetros específicos de tipos de tarefas (componentes de conhecimento).
     • Taxas de Atualização Dinâmicas: Introduzir um fator de decaimento para as atualizações de dificuldade do item para refletir a diminuição da incerteza conforme os dados se acumulam.
     • Estimativa de Conhecimento Prévio: Aumentar a taxa de atualização durante as interações iniciais para melhor estimar o conhecimento prévio.

2. Extensões Sensíveis ao Feedback:
   O artigo introduz dois modelos distintos para incorporar o feedback, ambos distinguindo entre tentativas não assistidas ($l=0$) e assistidas ($l>0$):

   • Modelo Novo Item (NI): Opera sob a premissa de que o feedback altera fundamentalmente a natureza da tarefa. Ele trata cada par $(item, nível\_de\_feedback)$ como um item distinto. O espaço de itens expande-se de $I$ para $(L+1) \times I$, onde $L$ é o nível máximo de feedback. Cada variante possui seu próprio parâmetro de dificuldade ($d_{i,l}$).
   • Modelo Modificador de Probabilidade (PM): Opera sob a premissa de que o feedback não altera a tarefa em si, mas aumenta a probabilidade de sucesso de maneira graduada. Utiliza uma distinção binária para o espaço de itens (não assistido vs. assistido), mas introduz um deslocamento dependente do nível ($c_l$) para a função de probabilidade de sucesso. A probabilidade é modelada como $\sigma(\theta_{k,t(i)} - d_{i,f(l)} + c_l)$, onde $c_l$ representa o deslocamento na probabilidade de sucesso devido ao nível de feedback $l$.

Estratégia de Avaliação

Os modelos foram avaliados utilizando Raiz do Erro Quadrático Médio (RMSE) e Área Sob a Curva ROC (AUC). Para garantir conclusões robustas, os autores empregaram três estratégias de avaliação complementares:

• Robustez à Variação do Aluno: Um procedimento de bootstrap amostrando trajetórias de alunos para testar a estabilidade sob perturbações populacionais.
• Consistência Entre Alunos: Um teste de Wilcoxon signed-rank para determinar se um modelo supera consistentemente outro ao nível do aluno individual.
• Generalização para Alunos Não Vistos: Um teste de hold-out onde modelos treinados em metade dos alunos são avaliados na outra metade para avaliar a capacidade de generalização.

Principais Resultados

• Precisão Preditiva: Ambos os modelos sensíveis ao feedback (NI e PM) superaram significativamente o modelo Melhorado (EN) agnóstico ao feedback e o modelo Padrão (ST) em todas as métricas de avaliação.
  • Comparado ao EN, os modelos NI e PM alcançaram ganhos de RMSE de aproximadamente 5,2% a 5,5% em testes de robustez e generalização.
  • Os intervalos de confiança para as diferenças de desempenho foram estritamente positivos, e os valores de p de Wilcoxon foram extremamente pequenos ($< 10^{-20}$), indicando melhorias estatisticamente significativas e consistentes.
• Dinâmica do Modelo:
  • O modelo NI demonstrou que tratar níveis de feedback como itens distintos leva a uma convergência mais estável das estimativas de dificuldade, provavelmente porque os pares $(item, nível\_de\_feedback)$ são mais homogêneos em termos de dificuldade.
  • O modelo PM alcançou um desempenho comparável ao NI com uma parametrização mais compacta (menos parâmetros de dificuldade), embora tenha exigido a estimativa de hiperparâmetros adicionais ($c_l$) para os deslocamentos de probabilidade.
  • Ambos os modelos mostraram que abordagens sensíveis ao feedback requerem relativamente poucos dados para superar os baselines, com as lacunas de desempenho aparecendo após apenas algumas centenas de previsões.
• Estabilidade e Discriminação: Crucialmente, as melhorias na precisão preditiva foram alcançadas sem sacrificar a interpretabilidade dos modelos. Tanto o NI quanto o PM preservaram a discriminação significativa entre perfis de conhecimento do aluno e produziram estimativas estáveis de dificuldade de item, que são essenciais para sistemas de aprendizagem adaptativos.

Significância e Alegações

O artigo alega que modelar explicitamente o feedback é essencial para um rastreamento de conhecimento preciso em ambientes de aprendizagem iterativos. Os autores argumentam que ignorar a distinção entre sucesso independente e sucesso assistido leva a estimativas enviesadas da competência do aluno.

A principal contribuição é a demonstração de que extensões simples e leves ao Sistema de Classificação Elo podem capturar efetivamente as nuances do aprendizado rico em feedback. Ao propor os modelos Novo Item (NI) e Modificador de Probabilidade (PM), o estudo fornece alternativas computacionalmente eficientes às abordagens de deep learning mais complexas ou extensões de Rastreamento de Conhecimento Bayesiano (BKT). Os achados sugerem que:

1. O feedback não deve ser tratado como um mero ajuste post-hoc, mas como uma variável fundamental que altera a condição de aprendizagem.
2. É possível integrar o feedback ao ERS mantendo a escalabilidade e a adaptabilidade em tempo real do sistema.
3. A escolha entre modelar o feedback como uma transformação da tarefa (NI) ou um deslocamento de probabilidade (PM) depende do equilíbrio específico entre expressividade do modelo e complexidade, já que ambos produziram resultados empíricos altamente comparáveis neste contexto.

Os autores concluem que essas abordagens oferecem uma alternativa atraente para a mineração de dados educacionais, preenchendo a lacuna entre a necessidade de modelagem sofisticada de suporte instrucional e as restrições práticas de sistemas adaptativos escaláveis em tempo real.