A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use

Na sala de aula moderna, a tecnologia tornou-se uma companheira constante, oferecendo sistemas que rastreiam como os alunos aprendem e adaptam as lições em tempo real. Esses sistemas, conhecidos como rastreamento de conhecimento (knowledge tracing), atuam como um tutor digital que observa a sequência de respostas de um aluno a problemas de matemática ou questões de leitura. Eles são extraordinariamente bons em prever se um aluno acertará ou errará a próxima questão. No entanto, esses tutores digitais frequentemente operam como caixas pretas. Eles podem sinalizar que um aluno está com dificuldades em um conceito específico, mas não conseguem explicar o porquê. Podem sinalizar que um aluno está falhando em "dividir frações", mas não podem dizer ao professor qual conceito anterior o aluno perdeu que causou essa falha. Para um professor humano, saber a causa raiz é essencial; é a diferença entre reensinar o tópico atual e voltar para consertar a base. Sem essa clareza, as previsões mais poderosas permanecem inúteis para uma intervenção real.

Pesquisadores há muito esperam resolver isso ensinando computadores a descobrir automaticamente o mapa oculto de como os conceitos se conectam. A ideia era que, ao analisar milhões de respostas de alunos, um algoritmo poderia descobrir que "multiplicar frações" é um passo necessário antes de "dividir frações", sem que nenhum humano precisasse desenhar o mapa. Se isso fosse possível, o sistema poderia escalar sem esforço para qualquer disciplina, gerando suas próprias explicações a partir apenas dos dados. Um novo estudo, porém, desafia essa premissa otimista. Ao testar rigorosamente se esses mapas automáticos podem ser construídos a partir de registros de alunos, os pesquisadores descobriram que os dados simplesmente não contêm as pistas necessárias. Em vez de um computador descobrir as regras, o estudo conclui que esses mapas devem ser fornecidos por especialistas humanos, e o verdadeiro avanço reside em construir um sistema transparente que utilize esses mapas de especialistas para explicar as previsções do computador.

Os pesquisadores começaram testando três métodos diferentes que um computador poderia usar para aprender essas conexões por conta própria. Eles alimentaram os algoritmos com vastas quantidades de registros de interação de uma popular plataforma de matemática online, procurando padrões onde o domínio de uma habilidade parecia levar ao sucesso em outra. O primeiro método buscou o fluxo de informação, o segundo tentou filtrar a tendência natural de alunos inteligentes de acertarem tudo, e o terceiro usou alguns exemplos conhecidos para adivinhar o restante. Apesar de utilizarem diferentes abordagens matemáticas, todos os três métodos falharam. Quando os pesquisadores compararam as suposições do computador contra um mapa conhecido e verificado por especialistas de dezesseis conceitos matemáticos, os resultados foram indistinguíveis do acaso. Os algoritmos não conseguiram distinguir entre um pré-requisito verdadeiro e duas habilidades não relacionadas que apenas foram respondidas pelos mesmos alunos.

A razão para esse fracasso é uma armadilha sutil, mas poderosa, nos dados. Em qualquer sala de aula, os alunos variam em sua habilidade geral; alguns são naturalmente aprendizes rápidos, enquanto outros têm dificuldades com tudo. Isso cria um sinal confuso onde quase toda habilidade parece estar relacionada a todas as outras. Um aluno forte acertará tanto "somar frações" quanto "subtrair frações", não porque uma cause a outra, mas simplesmente porque o aluno é bom em matemática. Um aluno fraco errará ambos pelo mesmo motivo. Essa "armadilha da habilidade" abafa os verdadeiros elos causais, tornando impossível para um computador aprender o mapa apenas a partir dos registros. Os pesquisadores confirmaram isso testando o mesmo problema em outros dois conjuntos de dados massivos, um com quase um milhão de interações e outro com mais de vinte e cinco milhões. Em todos os casos, a armadilha se manteve firme, provando que a limitação não é uma falha nos algoritmos específicos, mas uma propriedade fundamental dos próprios dados.

Como o computador não consegue construir o mapa, os pesquisadores mudaram o foco para uma pergunta diferente: se dermos ao computador um mapa verificado por especialistas, ele pode usar esse mapa para explicar suas previsões de uma forma que seja clara e confiável? Eles construíram uma nova camada sobre o mecanismo de previsão padrão, um sistema que atua como um tradutor. Este tradutor pega a estimativa interna do computador sobre o nível de habilidade de um aluno e a verifica contra o mapa de especialistas. Se o computador prevê que um aluno falhará em um conceito difícil, o tradutor consulta o mapa para ver quais conceitos anteriores são necessários. Ele então gera uma afirmação simples e legível: "O aluno está em risco porque sua compreensão da habilidade pré-requisito é fraca". Crucialmente, este tradutor não aprende nem muda; é um conjunto fixo de regras que qualquer pessoa pode inspecionar. Esse design garante que a explicação esteja sempre ligada a uma regra específica e auditável, em vez de ser um output misterioso de uma rede neural complexa.

A equipe então testou se essa abordagem realmente funcionava melhor do que os métodos padrão usados para explicar decisões de IA hoje em dia. Eles compararam seu novo tradutor contra técnicas populares que tentam fazer engenharia reversa do pensamento de um computador, destacando quais interações passadas foram mais importantes. Os resultados foram impressionantes. Os métodos padrão eram pouco confiáveis; eles frequentemente apontavam para interações passadas erradas ou dispersavam sua atenção por muitos detalhes irrelevantes, falhando em identificar a verdadeira causa mesmo quando a previsão do computador estava correta. Em contraste, o novo tradutor, por ter sido construído sobre o mapa de especialistas, identificou consistentemente o pré-requisito correto. Ele fez isso independentemente da arquitetura subjacente do computador, funcionando tão bem quanto em diferentes tipos de modelos. O estudo mostrou que, embora a lógica interna do computador fosse muitas vezes opaca para as ferramentas de explicação padrão, o mapa de especialistas forneceu um guia confiável que o tradutor pôde seguir sem falhas.

Os pesquisadores também examinaram como melhor combinar as diferentes partes da informação para criar essas explicações. Eles testaram quatro formas matemáticas diferentes de decidir quando um pré-requisito é verdadeiramente a causa de um problema. Um método era muito rigoroso, outro era muito permissivo, e dois estavam em um ponto intermediário. Ao comparar suas escolhas contra o comportamento real do modelo de computador, descobriram que um método específico, conhecido como regra do produto, alinhava-se melhor com a realidade. Este método só sinalizava um problema quando tanto o pré-requisito era fraco quanto a habilidade atual estava em risco, encontrando o equilíbrio ideal entre ser excessivamente sensível e excessivamente rigoroso. Essa descoberta sugere que a maneira como combinamos esses passos lógicos importa, e que uma escolha cuidadosa pode tornar a explicação mais precisa.

Em última análise, o estudo oferece um caminho claro para a tecnologia educacional. Ele demonstra que tentar descobrir automaticamente a estrutura do conhecimento a partir de registros de alunos é um beco sem saída; os dados são muito ruidosos e as conexões são muito obscurecidas pela habilidade geral do aluno. Em vez disso, a abordagem mais eficaz é aceitar que especialistas humanos devem fornecer o mapa de como os conceitos se conectam. Uma vez que esse mapa esteja estabelecido, um sistema transparente baseado em regras pode usá-lo para transformar previsões opacas em conselhos claros e acionáveis para professores. Isso não significa que o computador seja menos poderoso; significa que o computador agora está trabalhando com um guia humano para fornecer explicações que não são apenas estatisticamente prováveis, mas logicamente sólidas e confiáveis. O valor deste trabalho não está em um novo algoritmo que aprende mais rápido, mas em um novo princípio de design que prioriza a clareza e a correção sobre a ilusão da descoberta automática.