Resumo Técnico: Modelos de Linguagem de Grande Escala Atingem Qualidade Pedagógica Especializada em Tutoria de Matemática, mas Diferem em Perfis Instrucionais e Linguísticos

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais implantados para gerar respostas de tutoria em matemática, permanece incerto o quão de perto seu comportamento instrucional se alinha à prática humana especializada. Pesquisas anteriores estabeleceram que LLMs exibem regularidades linguísticas sistemáticas distintas da escrita humana e que tutores humanos frequentemente superam LLMs na identificação e correção de erros conceituais. No entanto, a literatura existente trata amplamente as diferenças linguísticas e a eficácia pedagógica como domínios separados. Há uma falta de trabalho empírico que vincule características linguísticas mensuráveis de respostas de tutoria à qualidade pedagógica em ambos os tutores humanos e LLMs, particularmente no contexto de remediação de erros. Este estudo aborda essa lacuna analisando como estratégias instrucionais e perfis linguísticos diferem entre tutores especialistas, tutores novatos e LLMs, e como esses fatores se correlacionam com a qualidade pedagógica percebida.

Metodologia

Dados

O estudo utiliza um conjunto de dados da Tarefa Compartilhada BEA 2025 sobre Avaliação da Capacidade Pedagógica de Tutores Impulsionados por IA. O conjunto de dados compreende 296 diálogos de remediação de matemática de nível fundamental e médio. Para cada diálogo, as respostas foram geradas por:

• Tutores Humanos: Um tutor especialista e um tutor novato.
• LLMs: Sete modelos de tamanhos e arquiteturas variados, incluindo GPT-4, Gemini, Sonnet (Anthropic), Mistral 7B, Llama-3.1-405B, Llama-3.1-8B e Phi-3.
• Respostas Totais: 2.444 respostas de tutores.

Anotações e Características

Qualidade Pedagógica: As respostas foram anotadas em quatro dimensões usando uma escala de três níveis (Sim, Até certo ponto, Não):

1. Identificação de Erro
2. Localização do Erro
3. Fornecimento de Orientação
4. Acionabilidade
   Estas foram mapeadas para valores numéricos (2, 1, 0) e somadas para criar uma pontuação composta de qualidade pedagógica.

Características Instrucionais e Linguísticas:

• Movimentos Instrucionais: Derivados da teoria da fala responsável, três características foram extraídas usando um modelo de classificação de pares de texto baseado em transformadores (RoBERTa treinado no conjunto de dados TalkMoves):
  • Pressão pela Precisão: Desafiando a correção da resposta.
  • Pressão pelo Raciocínio: Solicitando explicação ou justificativa.
  • Apropriação (Reformulação/Revoicing): Reformulando a resposta do aprendiz.
• Características Linguísticas:
  • Comprimento da Resposta: Contagem de tokens transformada por logaritmo.
  • Diversidade Lexical: Medida via Medida de Diversidade Lexical Textual (MTLD).
  • Legibilidade: Pontuação de Facilidade de Leitura Flesch–Kincaid.
  • Cortesia: Saída probabilística de um classificador baseado em transformadores detectando marcadores pragmáticos.
  • Agência: Saída probabilística de um modelo estimando expressão agencial (intenção, controle, orientação para ação).

Estratégia Analítica

A análise abordou três perguntas de pesquisa:

1. PQ1 (Diferenças): Comparou diferenças médias nas características instrucionais e linguísticas entre LLMs, tutores novatos e tutores especialistas (linha de base).
2. PQ2 (Qualidade): Avaliou a qualidade pedagógica relativa calculando desvios da média por turno entre todos os tutores respondendo ao mesmo erro do aluno.
3. PQ3 (Associações): Estimou um modelo linear de efeitos fixos no nível da conversa para prever a qualidade pedagógica relativa a partir de características instrucionais e linguísticas. Esta abordagem controlou variáveis contextuais não observadas (por exemplo, dificuldade da tarefa) ao desviando as variáveis dentro de cada conversa.

Principais Contribuições

1. Caracterização de Diferenças: O estudo caracteriza sistematicamente as diferenças em estratégias instrucionais e características linguísticas entre tutores especialistas, tutores novatos e um conjunto diversificado de LLMs respondendo a prompts idênticos.
2. Comparação de Qualidade: Fornece uma análise comparativa da qualidade pedagógica percebida entre esses grupos de tutores, controlando o contexto instrucional.
3. Associação de Características: Identifica estratégias instrucionais e características linguísticas específicas que estão positiva ou negativamente associadas à qualidade pedagógica, distinguindo entre características que impulsionam a qualidade e aquelas que não o fazem.

Resultados

Perfis Instrucionais e Linguísticos (PQ1)

• Movimentos Instrucionais: LLMs geralmente exibiram níveis mais baixos de "pressão pelo raciocínio" e "pressão pela precisão" em comparação com tutores especialistas. Por outro lado, LLMs mostraram maior prevalência de "reformulação/revoicing" do que tanto especialistas quanto novatos.
• Comprimento e Diversidade: As respostas dos LLMs foram substancialmente mais longas e exibiram maior diversidade lexical (MTLD) do que os tutores especialistas. Tutores novatos produziram respostas mais curtas com menor diversidade lexical.
• Legibilidade: As respostas dos LLMs pontuaram significativamente mais baixo nas métricas de legibilidade (Flesch–Kincaid) do que os tutores especialistas, indicando maiores demandas de processamento cognitivo. Tutores novatos estiveram mais próximos dos especialistas em legibilidade.
• Cortesia e Agência: LLMs demonstraram pontuações de cortesia mais altas do que especialistas. Padrões de agência variaram; alguns LLMs mostraram menor agência, enquanto novatos mostraram maior agência do que especialistas.

Qualidade Pedagógica (PQ2)

• Especialista vs. Novato: Tutores especialistas consistentemente alcançaram pontuações positivas de qualidade pedagógica relativa, enquanto tutores novatos mostraram desvios negativos.
• Desempenho de LLM: LLMs abrangiam uma ampla gama. Modelos maiores (por exemplo, Llama-3.1-405B, Mistral, Claude Sonnet) aproximaram-se da qualidade pedagógica relativa de tutores especialistas em média. Modelos menores ou de menor desempenho (por exemplo, Phi-3) exibiram desvios negativos semelhantes aos de tutores novatos.

Associações com a Qualidade (PQ3)

A análise de regressão revelou as seguintes associações com a qualidade pedagógica percebida:

• Associações Positivas:
  • Pressão pela precisão ($\beta = 0,586$)
  • Diversidade lexical (MTLD) ($\beta = 0,649$)
  • Reformulação/Revoicing ($\beta = 0,346$)
  • Pressão pelo raciocínio ($\beta = 0,209$)
• Associações Negativas:
  • Agência ($\beta = -0,693$)
  • Cortesia ($\beta = -0,160$)
• Sem Associação Significativa:
  • Legibilidade
  • Comprimento da resposta

Significado e Alegações

O artigo argumenta que a qualidade pedagógica é melhor compreendida como uma propriedade de características no nível da resposta, e não da identidade do tutor (humano vs. IA). As descobertas sugerem que o feedback eficaz depende menos da complexidade linguística ou assertividade e mais de como as escolhas linguísticas se alinham à função instrucional.

Especificamente, o estudo destaca que, embora LLMs maiores possam aproximar-se do desempenho especializado na qualidade geral, eles exibem desvios sistemáticos em seus perfis instrucionais. Eles tendem a subutilizar estratégias discursivas críticas (pressão pela precisão/raciocínio) enquanto superutilizam outras (reformulação) e geram respostas que são mais longas, mais diversificadas lexicalmente e mais corteses. A associação negativa de cortesia e agência com a qualidade pedagógica sugere que linguagem excessivamente acomodadora ou "sycophantic" pode obscurecer sinais instrucionais e enfraquecer o feedback corretivo.

Os autores concluem que, para tutores baseados em LLMs, a otimização deve focar na reprodução de combinações específicas de características associadas a maior qualidade pedagógica (por exemplo, pressão pelo raciocínio, reformulação) em vez de simplesmente aumentar a expressividade linguística ou imitar tutores humanos. Essas percepções oferecem um caminho para tornar LLMs mais pedagogicamente conscientes e controláveis.

Limitações

Os autores reconhecem várias limitações:

• O conjunto de dados, embora suficiente para comparações dentro do turno, pode beneficiar-se de escalas maiores para análises mais granulares.
• As descobertas refletem o comportamento do modelo sob configurações específicas de prompt e podem não representar o limite superior das capacidades dos LLMs.
• O conjunto de características é seletivo; outros aspectos como estrutura discursiva ou especificidade matemática não foram examinados.
• O estudo limita-se a interações em língua inglesa em um contexto de matemática.
• A qualidade pedagógica é avaliada por meio de anotações estruturadas de respostas de turno único, não de resultados de aprendizagem do aluno a jusante.