Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models

Resumo Técnico: Pontuação Automatizada de Formulação de Problemas Matemáticos Manuscritos Utilizando Grandes Modelos de Linguagem

Definição do Problema
Embora os professores reconheçam o potencial da inteligência artificial (IA) para avaliar respostas de formulação de problemas matemáticos, as evidências empíricas sobre a confiabilidade da pontuação automatizada (AS - Automated Scoring) neste domínio específico permanecem limitadas. A formulação de problemas gera respostas diversas e abertas que são difíceis de analisar sistematicamente, levando frequentemente a inconsistências e subjetividade na pontuação humana. Embora os Grandes Modelos de Linguagem (LLMs) tenham se tornado ferramentas dominantes para a AS, sua aplicação à formulação de problemas matemáticos manuscritos — particularmente envolvendo idiomas não ingleses e conteúdos complexos como frações — não foi rigorosamente validada. Estudos existentes dependem frequentemente de designs de tarefa única ou rubricas baseadas em exemplares que podem não se traduzir para ambientes de sala de aula autênticos. Além disso, não está claro como os tipos de tarefas (por exemplo, números inteiros vs. frações) e as variáveis de engenharia de prompt (por exemplo, ordenação da rubrica) influenciam o acordo entre avaliadores humanos e LLMs.

Metodologia
O estudo empregou um design quantitativo para examinar o acordo entre avaliadores humanos e o LLM Gemini 3.5 Flash na pontuação de respostas de estudantes manuscritas.

• Participantes e Tarefas: Os dados foram coletados de 235 estudantes do ensino fundamental II (6º e 7º anos) na Turquia. Os estudantes completaram duas tarefas distintas de formulação de problemas: uma tarefa "Bolo" (Cake) envolvendo frações e uma tarefa "Dirigir" (Drive) envolvendo números inteiros. Cada estudante gerou três problemas por tarefa.

• Processamento de Dados:

  • Codificação Humana: Dois avaliadores experientes pontuaram as respostas usando uma abordagem orientada ao consenso baseada em uma rubrica refinada de sete níveis (variando de 0: Sem resposta a 6: Suficiente). A rubrica incorporou critérios de relação com a tarefa, solubilidade e consistência lógica.
  • OCR e Variações de Entrada: As respostas manuscritas foram digitalizadas usando o OCR do Gemini. Dois conjuntos de dados de entrada foram criados para cada resposta:
    • i1: Saída de OCR original gerada exclusivamente pelo LLM.
    • i2: Saída de OCR revisada por especialistas, onde especialistas do domínio corrigiram erros de transcrição (ex: leitura incorreta de frações ou nomes).
  • Pontuação Automatizada (AS): O modelo Gemini 3.5 Flash foi utilizado via uma abordagem de prompting zero-shot. O modelo recebeu a persona de um assistente de avaliação especialista e foi instruído a pontuar estritamente com base na rubrica fornecida.
  • Variações de Prompt: O estudo manipulou a ordenação dos critérios da rubrica nos prompts:
    • p1 (Ascendente): Avaliação do nível mais baixo (0) para o mais alto (6).
    • p2 (Descendente): Avaliação do nível mais alto (6) para o mais baixo (0).
  • Condições Experimentais: Isso resultou em quatro cenários de AS por tarefa (ASi1p1, ASi1p2, ASi2p1, ASi2p2).

• Análise:

  • Métricas de Acordo: O estudo computou o Kappa de Peso Quadrático (QWK), o Kappa de Peso Linear (LWK), correlação de Pearson, correlação de distância e o Percentual de Tertium Quid (PTQ) para medir o acordo entre as pontuações humanas e de AS.
  • Modelagem Multinível: Um modelo linear de três níveis foi usado para prever a diferença absoluta entre as pontuações humanas e de AS. A variável dependente foi a diferença absoluta de pontuação. Os preditores incluíram Tipo de Tarefa (Bolo vs. Dirigir), Tipo de Entrada (i1 vs. i2) e Direção do Prompt (p1 vs. p2), juntamente com suas interações. Os efeitos aleatórios foram aninhados dentro das respostas e dos estudantes.

Principais Resultados

• Acordo Geral: O estudo encontrou um potencial substancial para o prompting zero-shot com rubricas bem estruturadas. A diferença absoluta média de pontuação entre avaliadores humanos e AS foi de 0,43 pontos em uma escala de 0 a 6.
• Impacto da Qualidade da Entrada: O acordo foi significativamente mais forte ao usar entradas de OCR revisadas (i2) em comparação com as saídas de OCR originais (i1). O efeito do tipo de entrada foi significativo ($p = ,002$), embora a magnitude da melhoria tenha sido modesta (uma redução de 0,06 pontos na diferença absoluta).
• Impacto do Tipo de Tarefa: O tipo de tarefa foi o preditor mais forte de acordo. A tarefa "Dirigir" (números inteiros) apresentou um acordo significativamente maior do que a tarefa "Bolo" (frações) ($p < ,001$). A diferença absoluta foi 0,17 pontos menor para a tarefa Dirigir.
  • Tarefa Dirigir: O acordo mais forte foi observado com entradas revisadas e prompts ascendentes (QWK = 0,849).
  • Tarefa Bolo: O acordo mais fraco ocorreu com entradas originais e prompts ascendentes (QWK = 0,684).
• Impacto da Ordenação do Prompt: A direção da rubrica (ascendente vs. descendente) não teve efeito significativo no acordo humano-máquina ($p = ,428$). Nenhuma interação significativa foi encontrada entre tarefa, entrada e direção do prompt.
• Análise de Erros: As discrepâncias na tarefa Bolo decorreram frequentemente do LLM atribuindo pontuações altas a respostas matematicamente válidas, mas sem independência de contexto (ex: calcular a média de velocidades sem integrar o contexto da história) ou de interpretar incorretamente se uma resposta estava explicitamente disponível nos dados. Erros de OCR ocasionalmente levaram a erros de classificação de relevância da tarefa ou de inconsistências lógicas.

Principais Contribuições

1. Evidência Empírica em Formulação de Problemas: O estudo fornece uma das primeiras validações empíricas de AS baseado em LLM especificamente para a formulação de problemas matemáticos, estendendo os achados anteriores de resolução de problemas para a geração de problemas.
2. Viabilidade do Zero-Shot: Demonstra que o prompting zero-shot, quando acompanhado de uma rubrica estruturada, pode alcançar níveis de confiabilidade comparáveis aos de avaliadores humanos sem a necessidade de ajuste fino supervisionado (supervised fine-tuning) ou treinamento few-shot.
3. Confiabilidade Dependente da Tarefa: A pesquisa destaca que a confiabilidade da AS não é uniforme entre domínios matemáticos; ela apresenta desempenho significativamente melhor com números inteiros do que com frações, sugerindo limitações de conteúdo específicas nas capacidades atuais dos LLMs.
4. Insights de Engenharia de Prompt: O estudo desafia a noção de que a ordenação da rubrica (ascendente vs. descendente) impacta significativamente a precisão da pontuação neste contexto, sugerindo que frameworks logicamente estruturados podem mitigar vieses de ordem de resposta em LLMs avançados.

Significância e Alegações
Os autores afirmam que seus achados oferecem suporte empírico para o uso de LLMs para auxiliar professores na avaliação de tarefas de formulação de problemas de estudantes, potencialmente reduzindo a carga de trabalho de avaliação e permitindo uma integração mais frequente da formulação de problemas nas salas de aula. O estudo sugere que, embora a AS seja robusta para tarefas de números inteiros, é necessária cautela ao aplicá-la a tarefas baseadas em frações ou contextos que exijam integração contextual profunda. Os autores enfatizam que garantir uma entrada de alta qualidade (via correção de OCR) e refinar o design do prompt para abordar desafios de codificação específicos (como integração de contexto e suficiência de dados) são críticos para maximizar a validade da pontuação automatizada na educação matemática. O artigo conclui que, embora a AS seja promissora, é necessária mais validação em diversos tópicos e idiomas antes de uma generalização ampla.