EvalConvoLearn: An Open-Source Framework for Evaluating Grounded Learner Simulations in Tutoring Conversations

Resumo Técnico: EvalConvoLearn – Um Framework de Código Aberto para Avaliação de Simulações de Aprendizes Fundamentadas em Conversas de Tutoria

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham permitido a criação de simulações de aprendizes mais ricas e naturalistas para testar teorias de aprendizagem, avaliar materiais instrucionais e alimentar agentes ensináveis, uma lacuna crítica permanece. Atualmente, não existe um framework de código aberto capaz de avaliar rigorosamente se essas simulações reproduzem fielmente o comportamento real do aprendiz. As abordagens existentes frequentemente focam em correspondências de turno único ou são de código fechado, dificultando a reprodutibilidade e a extensão para diversos conjuntos de dados. Além disso, os LLMs treinados como assistentes prestativos têm dificuldade em simular as características conversacionais específicas e as trajetórias de aprendizagem de alunos reais.

Metodologia: O Framework EvalConvoLearn
O EvalConvoLearn é um framework de código aberto projetado para avaliar simulações de aprendizes em dois eixos primários: comportamento de aprendizagem (resultados de maestria condicionados à habilidade) e qualidade conversacional (movimentos de fala, tipos de erro, taxas de perguntas e comprimento de turno). O framework opera fundamentando as métricas em conjuntos de dados de conversas de tutoria autênticas e ancorando as respostas geradas pelo tutor em enunciados de tutores existentes.

O processo de avaliação segue estas etapas:

1. Definição de Cenário: Dado um conjunto de dados de diálogos de tutoria com habilidades etiquetadas, o framework extrai cenários de aprendizagem definidos por uma habilidade alvo e o estado de maestria prévia do aprendiz.
2. Interface de Simulação: Simulações de aprendiz aprendiz personalizadas devem implementar uma interface mínima de quatro funções: inicializar um estado de conhecimento, gerar respostas baseadas no histórico da conversa e no conhecimento, atualizar estados de conhecimento e relatar o status de maestria.
3. Fundamentação do Tutor: Para garantir interações realistas, o framework emprega um tutor fundamentado ao nível individual usando exemplos de diálogo de poucos disparos (few-shot) do conjunto de dados.
4. Cálculo de Métricas:
   • Pontuação de Comportamento de Aprendizagem ($LB$): O framework trata cada turno do aprendiz como uma tentativa de prática de habilidade, limitando as conversas a 7 turnos. A pontuação $LB$ é calculada como a média macro da distância L1 entre as distribuições de resultados simulados e reais para cada cenário e habilidade.
   • Pontuação de Realismo Conversacional ($CONV$): Esta pontuação agrega quatro métricas: a presença de movimentos de fala específicos, distribuições de tipos de erro (ambos rotulados por LLM com alta confiabilidade inter-avaliador), a taxa de perguntas em turnos interrogativos e o comprimento do turno. As distâncias entre as distribuições simuladas e reais para estas métricas são computadas usando divergência de Jensen–Shannon ou distância de Wasserstein-1.
5. Pontuação Final ($ECL$): A pontuação final EvalConvoLearn é uma média ponderada das pontuações $CONV$e$LB$ de todos os cenários, levando em conta a distribuição dos cenários nos diálogos reais.

Avaliação Experimental
O framework foi aplicado ao conjunto de dados Eedi, uma grande coleção de diálogos de tutoria entre estudantes e assistentes de ensino. O estudo reteve 66 conversas onde os alunos buscaram ajuda proativamente, assumindo que haviam dominado os pré-requisitos, mas não a habilidade alvo. Duas simulações de aprendiz baseadas em LLM foram avaliadas usando GPT-4.1-mini com implementações de conhecimento customizadas:

• Aprendiz de Resumos de Conversa: Armazena resumos de conversas passadas para informar novas respostas.
• Aprendiz de Habilidades Binárias: Utiliza um LLM-como-juiz para etiquetar itens com habilidades e armazena resultados de maestria binários.

Ambas as simulações foram testadas contra um tutor usando prompting de 3 disparos (3-shot prompting) (Claude's Sonnet-4.6) através de três habilidades.

Resultados Principais
A avaliação gerou as seguintes descobertas (pontuação média em 3 execuções):

• Comportamento de Aprendizagem: Ambas as simulações alcançaram pontuações $LB$ semelhantes (aprox. 0,556), indicando que resolveram cerca de 90% dos itens. Isso é significativamente superior aos alunos reais (uma diferença de 56 pontos), sugerindo que os modelos atualmente superestimam a maestria do estudante.
• Realismo Conversacional: Os aprendizes mostraram alta consistência intra-aprendiz, mas divergiram em métricas específicas. O aprendiz "Habilidades Binárias" teve melhor desempenho em tipos de erro (distância de 0,385) comparado ao aprendiz de "Histórico de Conversa" (0,708), enquanto este último teve melhor desempenho em taxas de perguntas (0,226 vs. 0,415).
• Desempenho Geral: As pontuações $ECL$ finais foram 0,494 para o aprendiz de Habilidades Binárias e 0,503 para o aprendiz de Histórico de Conversa, indicando que, embora o framework consiga diferenciar designs de simulação, ainda há espaço substancial para melhoria na geração de comportamento de aprendiz realista.

Significância e Alegações
O artigo posiciona o EvalConvoLearn como uma ferramenta fundamental para o benchmarking de simulações de aprendizes em diversos contextos educacionais. Sua principal contribuição é o fornecimento de um método de código aberto e reprodutível para avaliar simulações baseadas em fidelidade alinhada ao objetivo, em vez de realismo superficial. O autor afirma que o framework fornece um sinal para iterar sobre designs de aprendizes, visando déficits conversacionais ou de aprendizagem específicos.

O artigo apresenta o EvalConvoLearn modestamente como um "trabalho em progresso". Ele reconhece a necessidade de expandir o conjunto de cenários e de validar ainda mais as métricas com avaliações humanas. O autor não alega que as simulações atuais sejam perfeitas; em vez disso, enfatiza que o framework identifica com sucesso lacunas (como a superestimação da maestria) e oferece um caminho para desenvolver benchmarks para vários contextos educacionais, incluindo a integração de modelos ajustados (fine-tuned) ou treinados por RL no futuro.