Resumo Técnico: INSIDE – Modelagem Conjunta de Raciocínio Latente e Ação em Simuladores de Estudantes com LLM

Declaração do Problema

Simuladores baseados em Grandes Modelos de Linguagem (LLMs) na educação frequentemente replicam ações observáveis de estudantes (ex: submissões de código), mas falham em capturar os processos de raciocínio latentes subjacentes. Em contextos educacionais, dois estudantes podem produzir o mesmo código por razões fundamentalmente diferentes, ou chegar à mesma solução incorreta através de caminhos cognitivos distintos. As abordagens existentes tipicamente tratam o comportamento do estudante como uma caixa preta, focando apenas na previsão do resultado. Essa limitação dificulta o diagnóstico de concepções errôneas, a geração de feedback direcionado ou a avaliação eficaz de sistemas de tutoria, uma vez que as ações observáveis fornecem apenas uma visão parcial da cognição. Além disso, enquanto a pesquisa de raciocínio em LLMs foca frequentemente na melhoria da correção, o aprendizado humano envolve erros frequentes, concepções errôneas e estratégias incompletas que os modelos atuais têm dificuldade em simular de forma autêntica.

Metodologia

O artigo propõe o INSIDE (INTERNAL STUDENT DIALOGUE), um framework que modela conjuntamente as ações dos estudantes e seus processos de raciocínio interno. A metodologia consiste em três componentes primários:

1. Dados e Contexto

O estudo utiliza dados de um curso de introdução à programação na UC Berkeley, abrangendo dois semestres (Primavera de 2024 e Primavera de 2025). O conjunto de dados inclui ~900 estudantes, 10 tarefas de casa e fluxos de múltiplas tentativas de submissão. Cada tentativa captura o código do estudante, resultados do corretor automático (autograder) e feedback em linguagem natural de um tutor de IA. Os dados são particionados em conjuntos de treinamento (Primavera de 2025) e teste (Primavera de 2024), com divisões adicionais para "Problemas Antigos" (problemas familiares, novos estudantes) e "Novos Problemas" (problemas não vistos).

2. Geração de Diálogo Interno (Modelo Professor)

Como o raciocínio interno de verdade é inobservável, os autores utilizam um modelo professor (GPT-5) para realizar inferência retrospectiva. Dado o contexto da interação (problema, submissões anteriores, feedback) e a próxima submissão observada, o modelo professor gera:

• Resumos de Estado Estruturados: Análises em terceira pessoa dos estados cognitivo (compreensão/concepções errôneas), afetivo (emoções/motivação) e de ação (passos concretos) do estudante, fundamentadas na Taxonomia de Bloom.
• Diálogo Interno em Primeira Pessoa: Um "traço de pensamento" ($z_t$) simulando o monólogo interno do estudante antes da submissão. Este diálogo é projetado para refletir o raciocínio de um novato, incluindo incerteza, compreensão parcial e potenciais erros.

3. Framework de Modelagem de Estudante

A principal contribuição é um modelo de estudante treinado para gerar tanto o diálogo interno quanto a subsequente submissão de código ($c_t$) condicionado ao histórico de interação.

• Ajuste Fino (INSIDE): Modelos (Qwen2.5, Qwen3, LLaMA-3) são ajustados via LoRA usando sequências pareadas de (Contexto $\to$ Diálogo Interno $\to$ Código). O diálogo interno serve como uma camada cognitiva intermediária.
• Baselines: O framework é comparado contra:
  • SFT: Ajuste fino sem diálogo interno (contexto direto $\to$ código).
  • Prompting (CoT): Prompting de Cadeia de Pensamento (Chain-of-Thought) padrão.
  • Prompting (BloomCoT): Prompting estruturado inspirado na Taxonomia de Bloom.

Principais Contribuições

1. Reconstrução de Traços de Raciocínio Pedagogicamente Fundamentados: O artigo introduz um método para reconstruir traços de raciocínio latentes a partir de dados de interação usando inferência retrospectiva, permitindo que modelos gerem diálogos internos interpretáveis apesar da ausência de raciocínio de verdade.
2. Framework de Modelagem Conjunta (INSIDE): Um novo framework que condiciona a geração de código ao diálogo interno inferido, modelando explicitamente o processo de raciocínio latente que precede as ações observáveis.
3. Avaliação Bidimensional: Uma métrica de avaliação abrangente que avalia tanto a Fidelidade de Ação (similaridade entre as distribuições de código gerado e de estudantes reais) quanto a Qualidade de Raciocínio (alinhamento entre o diálogo gerado e as edições de código reais).

Resultados

A avaliação demonstra que o INSIDE supera tanto os baselines de ajuste fino sem raciocínio (SFT) quanto diversas estratégias de prompting.

Fidelidade de Ação

Usando a distância de Wasserstein para medir a similaridade de distribuição entre o código gerado pelo modelo e o do estudante real:

• O INSIDE alcança consistentemente as menores distâncias de Wasserstein em métricas (Taxa de Aprovação, Linhas de Código, profundidade/largura de AST, violações de PEP 8) no conjunto de teste de "Problemas Antigos" ($test\_OP$).
• Em "Novos Problemas" ($test\_NP$), o INSIDE apresenta desempenho comparável ao SFT, embora a lacuna seja menor. Os autores atribuem isso à maior taxa de sucesso em $test\_NP$, onde o SFT já está próximo da distribuição alvo.
• Trajetórias de Taxa de Aprovação: Estudantes reais exibem baixas taxas de aprovação iniciais com aumentos acentuados perto das etapas finais. Modelos SFT acompanham isso bem, mas modelos baseados em prompting frequentemente mantêm taxas de aprovação artificialmente altas desde o início. Os modelos INSIDE combinam-se de perto com o progresso incremental dos estudantes reais, apresentando o menor Erro Absoluto Médio (MAE) nas trajetórias de taxa de aprovação.

Qualidade de Raciocínio (Alinhamento)

O alinhamento mede a fração de afirmações atômicas no diálogo interno gerado que são refletidas nas edições de código de verdade:

• O INSIDE alcança as maiores pontuações de alinhamento entre os modelos testados. Especificamente, o Qwen3-8B-INSIDE atinge 57,9% em $test\_NP$, enquanto o Qwen2.5-7B-INSIDE atinge 51,8% em $test\_OP$, superando os melhores baselines de prompting em ambos os cenários.
• Notavelmente, modelos maiores e mais capazes (ex: GPT-5, Qwen3-32B) frequentemente alcançam pontuações de alinhamento menores, sugerindo que uma capacidade de raciocínio geral superior não se traduz automaticamente na simulação de um raciocínio de nível iniciante e propenso a erros.
• Autoconsistência: Embora os modelos de prompting mostrem alta autoconsistência (o raciocínio combina com seu próprio código gerado), eles frequentemente falham em corresponder ao comportamento do estudante real. O INSIDE mantém uma autoconsistência competitiva enquanto alcança um alinhamento superior com as edições de código reais.

Significância e Alegações

O artigo alega que modelar o raciocínio além das ações observáveis é essencial para construir simuladores de estudantes realistas. Ao incorporar o diálogo interno, o INSIDE preenche a lacuna entre explicação e comportamento, produzindo simulações onde o raciocínio é consistente com as edições de código observadas.

Os autores destacam duas implicações principais:

1. Avaliação e Otimização: Simuladores de estudantes com diálogo interno permitem avaliar se o feedback do tutor de IA resolve concepções errôneas e apoiar a análise contrafactual de intervenções antes da implementação.
2. Ferramentas voltadas ao Aluno: Externalizar o diálogo interno pode apoiar a reflexão e a metacognição do estudante, além de permitir o agrupamento de estudantes com base em padrões de raciocínio, em vez de apenas comportamento superficial.

O artigo reconhece limitações, principalmente o fato de que o diálogo interno é reconstruído e não observado, podendo refletir um raciocínio mais coerente do que o dos estudantes novatos reais. No entanto, afirma que essa abordagem fornece um proxy útil para sinais cognitivos inobserváveis, avançando o estado da IA centrada no ser humano na educação.