Resumo Técnico: FoundationalASSIST

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) para testes adaptativos e tutoria personalizada baseia-se na premissa de que esses modelos conseguem compreender a cognição do estudante. No entanto, os conjuntos de dados educacionais existentes são fundamentalmente incompatíveis com as capacidades de raciocínio em linguagem natural dos LLMs. Benchmarks tradicionais, como ASSISTments, EdNet e Junyi Academy, representam as interações dos alunos como tuplas de identificadores opacos e rótulos binários de correção. Este formato remove o conteúdo semântico necessário para que os LLMs raciocinem sobre por que um aluno tem dificuldades, qual equívoco específico ele possui ou qual resposta errada ele selecionou. Consequentemente, é impossível avaliar rigorosamente se os LLMs podem realizar tarefas educacionais fundamentais, como rastreamento de conhecimento (predição do desempenho do aluno) ou fundamentação pedagógica (compreensão das propriedades da avaliação), sem um conjunto de dados que preserve toda a riqueza textual do processo de aprendizagem.

Metodologia

Os autores introduzem o FoundationalASSIST, o primeiro conjunto de dados em língua inglesa projetado para preencher essa lacuna. O conjunto de dados é derivado da plataforma ASSISTments, abrangendo interações de janeiro de 2019 a julho de 2024.

Construção do Conjunto de Dados

O FoundationalASSIST compreende 1,7 milhão de interações de 5.000 alunos únicos em 3.395 problemas de matemática. Diferente de conjuntos de dados anteriores, ele fornece:

1. Texto Completo da Questão: Enunciados completos de problemas com notação matemática convertida para texto legível.
2. Respostas Reais dos Alunos: Em vez de rótulos binários, o conjunto de dados registra a opção específica selecionada (para múltipla escolha) ou a resposta numérica/textual exata escrita (para preenchimento de lacunas).
3. Dados de Seleção de Distratores: Registros de quais respostas erradas específicas os alunos escolheram, permitindo a análise de padrões de equívocos.
4. Alinhamento Curricular: Todos os problemas são mapeados para o Common Core State Standards (K-12), fornecendo códigos e descrições estruturadas de componentes de conhecimento.

O conjunto de dados inclui 64,4% de problemas de preenchimento de lacunas e 23,4% de problemas de seleção única, com uma taxa de correção geral de 61,5% (equilibrada para 51,3% para o conjunto de avaliação).

Tarefas de Benchmark

O artigo define seis tarefas de avaliação zero-shot divididas em duas trilhas:

1. Rastreamento de Conhecimento (Knowledge Tracing):
   • Predição ao Nível da Questão: Prever se um aluno responderá corretamente a uma questão específica com base em seu histórico.
   • Modelagem Cognitiva do Estudante: Prever a resposta exata (letra da opção ou valor numérico) que um aluno gerará.
2. Fundamentação Pedagógica (Pedagogical Grounding):
   • Comparação de Dificuldade: Identificar qual de dois problemas é mais difícil.
   • Comparação de Discriminação: Identificar qual problema distingue melhor entre alunos de alta e baixa habilidade (com base em parâmetros da Teoria de Resposta ao Item).
   • Predição do Distrator Mais Comum: Prever qual resposta errada os alunos selecionam com mais frequência.
   • Predição do Distrator Menos Comum: Prever qual resposta errada os alunos selecionam com menos frequência.

Configuração Experimental

Os autores avaliaram quatro LLMs de fronteira: GPT-OSS-120B, Llama-3.3-70B-Instruct, Qwen3-Next-80B-Instruct e Qwen3-Next-80B-Thinking. Todos os experimentos utilizaram prompting zero-shot com entradas estruturadas contendo o histórico do aluno e as questões alvo. A avaliação focou nas capacidades inerentes derivadas do pré-treinamento, excluindo ajuste fino (fine-tuning) ou aprendizado de poucos disparos (few-shot learning).

Principais Resultados

Desempenho de Rastreamento de Conhecimento

• Melhoria Marginal sobre a Linha de Base: Todos os modelos mal excederam uma linha de base trivial de 51,3% (sempre prevendo "correto"). O melhor modelo, GPT-OSS-120B, alcançou 56,2% de acurácia, um ganho de apenas ~5 pontos percentuais.
• Viés Otimista: Os modelos exibiram um viés sistemático para prever a correção. Por exemplo, o Llama-3.3-70B alcançou 85,4% de acurácia quando os alunos estavam corretos, mas apenas 12,6% quando estavam incorretos. Isso sugere que os modelos falham em reconhecer alunos com dificuldades.
• Modelagem Cognitiva: Embora prever respostas exatas seja mais difícil, os modelos mostraram alguma capacidade, particularmente para problemas de preenchimento de lacunas (40–50% de acurácia), onde o acaso é próximo de zero. No entanto, o desempenho caiu significativamente para respostas incorretas.
• Comprimento de Contexto: Aumentar o histórico de 50 para 400 interações não melhorou o desempenho, indicando que os LLMs não estão aproveitando efetivamente sequências de interação de longo prazo para construir modelos de estudantes.

Desempenho de Fundamentação Pedagógica

• Estimativa de Dificuldade: Os modelos demonstraram competência genuína, com o GPT-OSS-120B atingindo 68,6% de acurácia (18,6% acima do acaso). O desempenho melhorou com maiores lacunas de dificuldade (80,0% para grandes lacunas).
• Falha de Discriminação: Cada modelo performou abaixo do acaso (50%) na comparação de discriminação. O melhor executor, Qwen3-Next-80B-Thinking, alcançou 46,9%. Isso indica uma falha fundamental em entender o que torna um item diagnóstico.
• Predição de Distratores: Os modelos mostraram sucesso parcial em identificar o distrator mais comum (até 47,9% de acurácia vs. 35,8% da linha de base), mas falharam significativamente ao identificar o distrator menos comum (caindo para 20,5% para a variante Thinking).
• Efeitos de Raciocínio: A variante "Thinking" do Qwen3 mostrou resultados mistos: melhorou ligeiramente a acurácia de discriminação, mas degradou significativamente a acurácia de predição de distratores, sugerindo que o raciocínio estendido pode introduzir o excesso de pensamento (overthinking) em tarefas concretas de correspondência de padrões.

Significância e Alegações

O artigo afirma que o FoundationalASSIST estabelece uma base necessária para avaliar LLMs na educação, indo além das limitações dos conjuntos de dados baseados em IDs. Os autores afirmam que:

1. Os LLMs atuais são insuficientes para aprendizagem personalizada: Apesar de suas capacidades de raciocínio, os modelos de fronteira não conseguem prever confiavelmente o desempenho do aluno ou identificar alunos com dificuldades sem ajuste fino significativo ou mudanças arquiteturais.
2. Existe uma lacuna específica na compreensão pedagógica: Embora os LLMs possam intuir a dificuldade do problema a partir de características superficiais, eles carecem do raciocínio metacognitivo necessário para entender a discriminação de itens (como um item separa níveis de habilidade) e a distribuição de erros dos alunos.
3. A escassez de dados é um gargalo primário: A falta de conjuntos de dados contendo respostas reais de alunos e padrões de erro em linguagem natural impediu o progresso. O FoundationalASSIST fornece o primeiro recurso para permitir a pesquisa em modelagem cognitiva de estudantes e análise de equívocos.
4. Cautela na implantação: O viés otimista sistemático e a falha nas tarefas de discriminação sugerem que a implantação de LLMs atuais para testes adaptativos de alto risco ou tutoria personalizada sem supervisão humana é prematura e potencialmente prejudicial.

Os autores posicionam o FoundationalASSIST não como uma solução para esses problemas, mas como uma ferramenta diagnóstica para identificar modos de falha específicos (como a incapacidade de prever respostas incorretas ou entender a discriminação) que pesquisas futuras devem abordar para tornar os LLMs viáveis para aplicações educacionais.