Elementary Math Word Problem Generation using Large Language Models

1. O Problema

A matemática é frequentemente percebida como uma disciplina complexa pelos estudantes, resultando em altas taxas de reprovação. Para melhorar as habilidades matemáticas, é essencial fornecer questões de prática diversificadas. A criação manual de Problemas Matemáticos Verbais (PMVs ou Math Word Problems - MWPs) é demorada para tutores, exigindo digitação em linguagem natural com rigor gramatical e ortográfico.

Técnicas anteriores baseadas em Modelos de Linguagem (LMs) pré-treinados apresentavam limitações significativas:

• Requeriam entrada adicional do usuário, como uma equação, um "semente" (texto inicial) ou contexto específico.
• Não conseguiam garantir a diversidade das questões geradas.
• Falhavam em aderir estritamente a requisitos específicos de nível de série (grade) e tipo de questão (ex: adição, subtração, frações).
• A maioria das soluções existentes não realizava uma avaliação abrangente de erros ou não utilizava feedback humano para refinar o modelo.

2. Metodologia: O Sistema MathWiz

Os autores apresentaram o MathWiz, um sistema de geração de PMVs baseado em Grandes Modelos de Linguagem (LLMs) que opera apenas com instruções textuais (número de questões, nível de série e tipo de questão), sem necessidade de equações ou textos iniciais.

O processo experimental seguiu as seguintes etapas:

• Seleção de LLM e Prompt: Foram testados modelos de código aberto (Llama-2, Mistral, Zephyr) com arquiteturas Dense Transformer. Foram comparados padrões de prompting (Persona, Template, Diálogo). O Llama-2 (7B) com um padrão de prompt instrucional específico foi selecionado como o melhor equilíbrio entre qualidade e latência.
• Melhoria da Diversidade: Para evitar respostas repetitivas e determinísticas, foram ajustados hiperparâmetros de decodificação (como top-k, penalty alpha e no_repeat_ngram_size) utilizando uma busca em grade (grid search). A estratégia de Busca Contrastiva (Contrastive Search) superou a Decodificação Gananciosa (Greedy Decoding) em diversidade sem comprometer a qualidade.
• Ajuste Fino (Fine-Tuning): O modelo selecionado foi ajustado finamente usando QLoRA (Low-Rank Adaptation Quantizada) para eficiência computacional. Foram utilizados dois conjuntos de dados:
  1. Math Initial: Combinação de datasets existentes (MAWPS e SVAMP), mas sem informações de nível de série.
  2. MathWizard: Um novo dataset criado manualmente pelos autores, alinhado aos Padrões Comuns de Matemática (Common Core Standards) dos EUA, contendo 4.000 PMVs classificados por série (1ª a 6ª) e seção (ex: Adição de um dígito, Frações).
• Aprendizado com Poucos Exemplos (Few-Shot): Foi testada a técnica de in-context learning com 1, 3 e 5 exemplos (shots) no prompt. O uso de 5 shots demonstrou os melhores resultados.
• Otimização com Feedback Humano: Para melhorar a aderência aos requisitos, foram testadas técnicas de otimização de preferência: DPO, KTO e CPO (Contrastive Preference Optimization). Um dataset de preferência foi criado onde humanos classificaram PMVs gerados como "aceitos" ou "rejeitados".
• Verificação de Solvabilidade: Um módulo secundário (utilizando o LLM comercial Gemini) foi integrado ao pipeline para verificar se as questões geradas eram solúveis e lógicas. Questões marcadas como insolúveis eram descartadas e regeneradas.

3. Contribuições Principais

• Sistema MathWiz: Uma arquitetura completa que gera PMVs do zero, atendendo a especificações de série e tipo de questão, sem necessidade de entrada de equações.
• Novo Dataset (MathWizard): A criação e publicação pública de um dataset de 4.000 PMVs anotados com nível de série e tipo de questão, baseado no currículo Common Core.
• Corpus de Erros Anotados: A criação de um conjunto de dados de 4.000 PMVs com anotações de erros humanos, cobrindo 12 categorias de erro (uma expansão significativa em relação aos 3 erros considerados em trabalhos anteriores). As categorias incluem: erros gramaticais, ortográficos, questões insolúveis, irrealistas, problemas de unidade, falta de segurança no tópico e, crucialmente, não aderência ao nível de série ou seção.
• Avaliação Rigorosa: Uma metodologia de avaliação híbrida (Humana + LLM) que utiliza pesos para diferentes tipos de erro, reconhecendo que erros matemáticos (como insolubilidade) são mais graves que erros superficiais.

4. Resultados

• Desempenho do Modelo: O modelo final (Llama-2 ajustado finamente + 5 shots + verificação de solvabilidade) alcançou uma Média Ponderada de 92,56% de qualidade (baseado na ausência de erros).
• Aderência a Requisitos: Houve uma melhoria substancial na relevância de série e seção em comparação com a linha de base zero-shot:
  • Melhoria de 26,93% na relevância de série.
  • Melhoria de 38,46% na relevância da seção.
• Diversidade: A estratégia de decodificação contrastiva reduziu significativamente o Self-BLEU (indicando maior diversidade) em comparação com a decodificação gananciosa.
• Limitações Identificadas:
  • A otimização de preferência (CPO) melhorou algumas categorias, mas degradou outras (como solvabilidade).
  • O detector de solvabilidade reduziu erros matemáticos, mas introduziu falsos positivos que descartaram questões válidas, impactando levemente a precisão geral.
  • Ainda existe dificuldade significativa em garantir que o modelo siga estritamente o nível de série e o tipo de questão, mesmo com fine-tuning.

5. Significado e Conclusão

O trabalho demonstra que os LLMs têm potencial para automatizar a criação de recursos educacionais matemáticos, reduzindo a carga de trabalho dos tutores. A principal contribuição é a demonstração de que, embora os LLMs gerem textos de alta qualidade linguística, eles ainda lutam com o raciocínio matemático pedagógico estrito (aderir a níveis de série específicos).

O sistema MathWiz estabelece uma nova linha de base para a geração de PMVs, fornecendo datasets públicos e uma metodologia de avaliação detalhada. Os autores concluem que, para resolver os desafios restantes de aderência curricular, técnicas futuras como Geração Aumentada por Recuperação (RAG) e a geração baseada em Resultados de Aprendizagem específicos devem ser investigadas. O trabalho também destaca a importância da anotação humana e do feedback direto no treinamento de modelos para tarefas educacionais críticas.