Resumo Técnico: Rastreando a Proficiência Matemática através de Processos de Resolução de Problemas

Definição do Problema

Os métodos tradicionais de Rastreamento de Conhecimento (KT - Knowledge Tracing) visam modelar o estado de conhecimento de um aluno para prever o desempenho futuro em Sistemas de Tutoria Inteligente. No entanto, as abordagens existentes enfrentam limitações fundamentais de explicabilidade e profundidade. Elas dependem primordialmente de uma supervisão centrada no resultado (correção binária: correto/incorreto) e de metadados limitados (ex: dificuldade do problema, tempo de resposta ou conceitos de conhecimento). Essa dependência da resposta final falha em capturar as nuances da compreensão real de um aluno, pois trata o processo de resolução de problemas (PSP - Problem-Solving Process) como uma "caixa preta".

Em contraste, educadores do mundo real avaliam a compreensão através do processo de resolução de problemas, observando etapas de raciocínio, computações intermediárias e escolhas estratégicas. Os conjuntos de dados e modelos de KT atuais negligenciam amplamente essa informação rica, particularmente em domínios matemáticos onde capturar o PSP em escala é desafiador. Consequentemente, os modelos existentes têm dificuldade em fornecer insights interpretáveis sobre por que um aluno tem sucesso ou falha, e frequentemente apresentam desempenho insatisfatório em cenários de partida a frio (cold-start), onde existem poucos dados de interação histórica.

Metodologia: KT-PSP e STATUSKT

Para abordar essas lacunas, os autores propõem uma nova formulação de tarefa e um framework correspondente.

1. Rastreamento de Conhecimento com Processo de Resolução de Problemas (KT-PSP)

Os autores redefinem a tarefa de KT para incorporar explicitamente o processo de resolução de problemas do aluno na sequência de interação.

• KT Tradicional: Sequência de entrada $S_{conv} = \{(q_t, c_t, r_t)\}$, onde $r_t$ é a correção binária.
• KT-PSP: Sequência de entrada $S_{new} = \{(q_t, c_t, r_t, p_t)\}$, onde $p_t$ representa o PSP detalhado (raciocínio passo a passo, computações intermediárias, etc.).
  O objetivo permanece a previsão da correção futura $P(r_{t+1}=1 | \dots)$, mas agora aproveita tanto o desempenho histórico quanto as estratégias de resolução subjacentes.

2. O Conjunto de Dados KT-PSP-25

Para facilitar a pesquisa neste novo domínio, os autores lançaram o KT-PSP-25, um novo conjunto de dados contendo:

• 22.289 interações aluno-problema de uma plataforma de matemática baseada em tablet.
• 1.343 alunos resolvendo 2.696 problemas em 490 componentes de conhecimento.
• PSP Manuscrito: Diferente de conjuntos de dados anteriores, este inclui os traços reais de solução manuscritos, que foram processados via um pipeline de OCR (usando GPT-5) para converter imagens em texto estruturado preservando a lógica matemática.
• Privacidade: Os IDs de alunos e de questões foram anonimizados, e as saídas do OCR foram refinadas para garantir a qualidade dos dados e a privacidade.

3. O Framework STATUSKT

A contribuição central é o STATUSKT, um framework de KT consciente do processo que extrai sinais de Proficiência Matemática (MP - Mathematical Proficiency) do PSP bruto usando um pipeline de LLM Professor-Aluno-Professor. Este pipeline converte texto não estruturado em sinais intermediários estruturados e interpretáveis.

O pipeline opera em três estágios:

1. Extração de Indicadores (LLM Professor): Dado um texto de problema e seus componentes de conhecimento, o LLM Professor gera um conjunto de indicadores de MP. Estes são perguntas específicas direcionadas a quatro dimensões observáveis da proficiência matemática (baseadas em Findell et al., 2001):
   • Compreensão Conceitual (CU)
   • Competência Estratégica (SC)
   • Fluência Procedimental (PF)
   • Raciocínio Adaptativo (AR)
     (Nota: A Disposição Produtiva é excluída por ser difícil de avaliar via texto.)
2. Geração de Resposta (LLM Aluno): O LLM Aluno atua como um substituto para o aluno real. Ele analisa o PSP manuscrito do aluno e gera respostas aos indicadores de MP. Crucialmente, ele preserva o raciocínio original do aluno (incluindo erros) em vez de corrigi-los.
3. Avaliação de Proficiência (LLM Professor): O LLM Professor avalia as respostas do LLM Aluno em relação aos indicadores originais para determinar se o aluno demonstrou domínio de cada dimensão específica.

Integração:
A saída deste pipeline é uma Razão de MP para cada dimensão (a proporção de indicadores satisfeitos). Essas razões servem como entradas auxiliares para o modelo de base de KT. O modelo é treinado com uma função de perda composta:
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
Esta abordagem de objetivo duplo força o modelo a aprender tanto a correção final quanto os padrões de proficiência subjacentes, aumentando tanto a precisão preditiva quanto a interpretabilidade.

Principais Contribuições

1. Nova Formulação de Tarefa (KT-PSP): Uma definição formal de KT que integra processos de resolução de problemas na sequência de interação, permitindo a modelagem consciente do processo.
2. Conjunto de Dados KT-PSP-25: O primeiro conjunto de dados de KT matemático em larga escala contendo processos de resolução de problemas manuscritos transcritos por OCR para cada interação.
3. Framework STATUSKT: Uma arquitetura inovadora que utiliza um pipeline de três estágios de LLM para destilar o PSP bruto em sinais de MP interpretáveis, que são então integrados a modelos de KT padrão.
4. Validação Empírica: Experimentos abrangentes demonstrando que o STATUSKT supera as linhas de base de Rastreamento de Conhecimento de Aprendizado Profundo (DLKT) e fornece insights granulares e interpretáveis sobre a aprendizagem do aluno.

Resultados Experimentais

Os experimentos foram conduzidos no KT-PSP-25 utilizando várias arquiteturas de linha de base (DKT, DKVMN, SAKT, SAINT, AKT, etc.).

• Desempenho Geral (RQ1): O STATUSKT melhorou consistentemente o desempenho de previsão (AUC e Acurácia) em quase todas as arquiteturas comparado tanto às linhas de base padrão quanto a uma variante "Baseline+PSP" (que simplesmente concatena embeddings de texto bruto). Os autores observam que o embedding de texto bruto sozinho frequentemente introduz ruído ou falha em melhorar o desempenho, enquanto a destilação estruturada de MP no STATUSKT aproveita efetivamente a informação do processo.
• Robustez em Partida a Frio (RQ2): Em cenários com dados limitados (apenas as primeiras 5 interações por aluno), o STATUSKT superou significativamente as linhas de base. Os sinais de MP forneceram priors informativos que estabilizaram a estimativa do estado de conhecimento quando os dados de correção histórica eram escassos.
• Análise de Efeitos de MP (RQ3): Estudos de caso revelaram que os sinais de MP ajudam a corrigir previsões em casos de "ajuda de MP" ao alinhar a correção com habilidades subjacentes específicas. No entanto, os autores também identificaram casos de "prejuízo de MP", onde indicadores excessivamente enriquecidos ou desalinhados podem degradar o desempenho, destacando a importância do controle de escopo na geração de indicadores.

Significância e Alegações

O artigo afirma que incorporar o raciocínio refletido nos processos de resolução de problemas dos alunos é essencial para avançar o KT em direção a uma modelagem mais precisa, interpretável e pedagogicamente significativa.

• Interpretabilidade: Ao contrário das previsões de "caixa preta", o STATUSKT fornece sinais de proficiência explícitos (ex: "O aluno possui alta Fluência Procedimental, mas baixo Raciocínio Adaptativo"), oferecendo insights granulares sobre o progresso da aprendizagem.
• Alinhamento Pedagógico: O framework imita a maneira como professores humanos avaliam os alunos — observando o processo, não apenas a resposta —, preenchendo a lacuna entre sistemas automatizados e teoria educacional.
• Limitações: Os autores reconhecem modestamente as limitações, incluindo a escala relativamente pequena do conjunto de dados, a restrição ao domínio da matemática e a dependência de OCR, que pode introduzir erros de reconhecimento ou perder elementos de raciocínio visual (diagramas). Eles não alegam que o framework seja universalmente aplicável a todas as disciplinas sem adaptação adicional.