Faster, Cheaper, More Accurate: Specialised Knowledge Tracing Models Outperform LLMs

Este artigo demonstra que, em tarefas de rastreamento de conhecimento educacional, modelos especializados superam os Grandes Modelos de Linguagem (LLMs) em precisão, velocidade de inferência e custo de implantação, evidenciando que os LLMs não são uma solução universal para todas as tarefas.

O essencial

Imagine que você é um professor tentando prever se um aluno vai acertar ou errar a próxima pergunta de matemática. Para fazer isso, você tem duas ferramentas principais na sua caixa de ferramentas:

1. O "Especialista em Matemática" (Modelos KT): Um professor júnior que só ensina matemática, conhece cada erro comum dos alunos e é super rápido.
2. O "Polímata Incansável" (LLMs): Um gênio que sabe de tudo (história, programação, poesia, matemática), mas que é lento, caro e às vezes se perde em detalhes específicos de como um único aluno pensa.

Este artigo científico compara essas duas ferramentas para ver qual é melhor para plataformas de educação (como o Eedi). A conclusão é clara e surpreendente para quem acredita que "Inteligência Artificial Geral" (os grandes modelos de linguagem) é a solução para tudo: O especialista local ganha de lavada.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Cenário: A Corrida de Carros

Pense na tarefa de prever a resposta do aluno como uma corrida de carros.

• Os Modelos KT (Knowledge Tracing) são como carros de Fórmula 1. Eles foram construídos especificamente para uma pista de corrida (matemática educacional). Eles são leves, ágeis e sabem exatamente onde fazer a curva.
• Os LLMs (como GPT-4, Gemini, Llama) são como caminhões de mudanças gigantes. Eles podem levar qualquer coisa (texto, código, imagens), são poderosos, mas pesados, lentos e consomem muita gasolina.

2. A Prova de Fogo: Precisão (Quem acerta mais?)

O estudo colocou os dois lado a lado para adivinhar se um aluno acertaria a próxima pergunta.

• Resultado: O "Especialista" (KT) acertou 73% das vezes. O "Gênio Geral" (LLM) acertou apenas entre 58% e 66%.
• A Analogia: Imagine que o LLM é um chef de cozinha famoso que sabe cozinhar pratos de 100 países diferentes. Mas, se você pedir para ele prever se um cliente específico vai gostar de apenas um tipo de bolo de cenoura, ele pode errar porque está pensando em pratos complexos demais. O especialista (KT), por outro lado, só cozinha bolo de cenoura há 10 anos e sabe exatamente o que aquele cliente gosta.
• Curiosidade: Alguns modelos de IA grandes nem sequer conseguiram superar um "chute aleatório" baseado na média de acertos do grupo. Eles falharam em entender a lógica simples de que "alunos tendem a melhorar com o tempo".

3. A Velocidade: O "Efeito Gelo"

Aqui é onde a diferença fica absurda.

• Modelos KT: Levam menos de 0,25 segundos para dar a resposta. É como piscar o olho.
• LLMs: Levam de 3 segundos a quase 1 hora (sim, até 55 minutos em alguns casos de teste) para responder a um único aluno.
• A Analogia: Se você tem 100.000 alunos esperando a resposta:
  • Com o KT, você resolve tudo em alguns minutos, como se estivesse entregando panfletos na rua.
  • Com o LLM, você teria que esperar meses para atender a todos, como se estivesse entregando cartas manualmente, uma por uma, em um país inteiro.

4. O Preço: O Custo da Viagem

E quanto custa manter essa tecnologia rodando para uma escola com milhares de alunos?

• Modelos KT: Custam menos de US$ 2 dólares por ano para atender 100.000 alunos. É como comprar um café.
• LLMs: Custam entre US$1.200 e US$ 25.000 por ano para a mesma tarefa.
• A Analogia: É a diferença entre usar um bicicleta (barata, eficiente, rápida para curtas distâncias) e um jato particular (incrível para viagens longas, mas ridículo e caríssimo para ir à padaria). Para o dia a dia da escola, o jato é um desperdício de dinheiro.

5. O Veredito Final

O artigo conclui que, embora os Grandes Modelos de Linguagem (LLMs) sejam impressionantes e úteis para muitas coisas (como escrever poemas, codificar ou explicar conceitos gerais), eles não são a solução mágica para prever o comportamento de alunos.

Para plataformas educacionais que precisam ser:

1. Rápidas (para não fazer o aluno esperar),
2. Baratas (para escolas poderem pagar), e
3. Precisas (para ajudar o aluno de verdade),

A melhor escolha continua sendo os Modelos Especializados (KT). Eles são como um cirurgião de mão firme: feitos para uma tarefa específica, e fazem isso melhor, mais rápido e mais barato do que um generalista que tenta fazer tudo.

Resumo em uma frase: Não tente usar um martelo de ouro para pregar um prego pequeno; às vezes, a ferramenta simples e barata feita para o trabalho é a que realmente funciona.

Resumo técnico

Resumo Técnico: Modelos Especializados de Rastreamento de Conhecimento vs. LLMs na Educação

1. O Problema

A previsão de respostas futuras de estudantes a questões é uma tarefa fundamental em plataformas de aprendizado adaptativo, permitindo intervenções educacionais eficazes e personalizadas. Tradicionalmente, isso é feito através de Modelos de Rastreamento de Conhecimento (Knowledge Tracing - KT), que são modelos temporais específicos de domínio treinados em dados de interação aluno-pergunta.

Com o surgimento e sucesso dos Modelos de Linguagem de Grande Escala (LLMs), surge a questão crítica: Os LLMs de propósito geral podem superar ou igualar os modelos KT especializados na previsão de respostas de estudantes? A incerteza reside em três áreas principais:

1. Desempenho: Os LLMs conseguem modelar estados de conhecimento individuais ao longo do tempo com a mesma precisão?
2. Escalabilidade: Os LLMs são viáveis em termos de latência (tempo de inferência) para grandes volumes de dados?
3. Custo: É economicamente sustentável usar LLMs para esta tarefa específica em escala global?

2. Metodologia

Os autores realizaram uma comparação sistemática entre modelos KT especializados e vários LLMs (abertos e fechados) em três dimensões: desempenho preditivo, latência de inferência e custo de implantação.

• Tarefa: Classificação binária (prever se um estudante responderá corretamente ou incorretamente a uma nova questão), baseada no histórico de respostas anteriores.
• Dataset: Dados reais extraídos da plataforma Eedi, contendo 512.000 respostas de 12.800 estudantes (treino) e 64.000 respostas de 1.600 estudantes (validação). O conjunto de dados inclui texto da pergunta, ID do construto (tópico), explicações e textos de concepções equivocadas (misconceptions).
• Modelos Avaliados:
  • KT Especializados:
    • DKT (Deep Knowledge Tracing): Usa redes neurais recorrentes.
    • SAKT (Self-Attentive Knowledge Tracing): Usa mecanismos de atenção.
    • LLM KT (Proposto): Um transformador temporal personalizado que usa embeddings (extraídos por um Qwen 0.6B) de texto de pergunta, construto e concepções equivocadas, mas não usa o LLM durante a inferência, apenas como extrator de características.
  • LLMs de Propósito Geral:
    • Fechados: GPT-4o-mini, Gemini-2.5-flash-lite.
    • Abertos: Llama-1B (zero-shot e com fine-tuning LoRA), Qwen2.5-7B-Instruct.
• Configuração Experimental:
  • Os modelos foram testados em instâncias de CPU (Azure) para modelos próprios e via API para LLMs fechados.
  • Cenário simulado: 100.000 estudantes, cada um com 40 previsões anuais.
  • Métricas: Acurácia e F1-Score (média macro).

3. Contribuições Principais

1. Benchmarking Abrangente: Primeira comparação direta e sistemática entre modelos KT clássicos/modernos e LLMs de última geração (incluindo modelos menores e fine-tuned) para a tarefa específica de rastreamento de conhecimento.
2. Análise de Custo e Latência: Demonstração quantitativa de que a diferença de custo e velocidade entre as abordagens é de várias ordens de magnitude, não apenas marginal.
3. Refutação da Solução Universal: Evidência empírica de que LLMs fechados não devem ser usados como solução universal para tarefas de previsão educacional, onde modelos menores e especializados são superiores.

4. Resultados Chave

• Desempenho Preditivo (Acurácia e F1):

  • Os modelos KT especializados superaram consistentemente os LLMs.
  • Melhor Modelo: O modelo LLM KT (especializado) alcançou 72.8% de acurácia e 0.674 de F1-Score.
  • Modelos KT Clássicos: SAKT (72.7%) e DKT (71.8%) também superaram os LLMs.
  • Desempenho dos LLMs:
    • GPT-4o-mini: 58.6% (inferior à linha de base de viés do dataset de 66.5%).
    • Gemini-2.5-flash-lite: 66.5%.
    • Qwen2.5-7B: 64.6%.
    • Llama-1B (Zero-shot): 33.5% (falha em seguir o formato do prompt).
    • Llama-1B (LoRA Fine-tuned): 71.0% (aproximou-se dos KT, mas ainda ficou abaixo do modelo especializado).
  • Conclusão: LLMs de propósito geral falham em capturar nuances finas de concepções equivocadas e trajetórias de aprendizado individuais sem treinamento específico massivo.

• Latência (Velocidade de Inferência):

  • KT Models: < 0.25 segundos por estudante (sub-segundo).
  • LLMs: Variam de 3.1 segundos (GPT-4o-mini) a 128 segundos (Gemini) e até 3.299 segundos (Qwen2.5-7B) por estudante.
  • Os LLMs são ordens de magnitude mais lentos, tornando-os inviáveis para aplicações em tempo real em larga escala.

• Custo de Implantação (Anual para 100k estudantes):

  • KT Models: Custam menos de $2 USD por ano.
  • LLMs: Custam entre $1.230 e $24.741 USD por ano.
  • Fator de Diferença: Os modelos KT são 615 a 12.400 vezes mais baratos que os LLMs para a mesma tarefa, mantendo maior precisão.

5. Significado e Conclusão

O estudo conclui que, apesar do hype em torno dos LLMs, modelos especializados de Rastreamento de Conhecimento (KT) continuam sendo a escolha superior para plataformas de EdTech que necessitam prever respostas de estudantes.

• Eficiência: Os modelos KT oferecem o melhor equilíbrio entre velocidade, custo e precisão, operando em hardware simples (CPU) e com latência de milissegundos.
• Limitações dos LLMs: LLMs de propósito geral, mesmo com fine-tuning, sofrem com alta latência, custos proibitivos e desempenho inferior na modelagem de trajetórias de aprendizado individuais em comparação com arquiteturas desenhadas especificamente para esse fim.
• Recomendação: LLMs devem ser utilizados na educação apenas onde demonstradamente reduzem custos ou melhoram resultados (ex: geração de feedback pedagógico rico), mas não como solução padrão para previsão de desempenho ou detecção de concepções equivocadas em escala. A arquitetura específica do domínio (KT) é insubstituível para tarefas de previsão educacional escaláveis.