Towards Generalizable Representations of Mathematical Strategies

Resumo Técnico: Representações Generalizáveis de Estratégias de Solução Matemática

1. Problema e Motivação

O artigo aborda a dificuldade de representar e capturar as estratégias completas de solução de problemas matemáticos (caminhos de solução) de forma escalável e generalizável.

• Limitações Atuais: As abordagens existentes dependem frequentemente de:
  1. Rotulagem manual intensiva: Que não escala para grandes conjuntos de dados e é subjetiva.
  2. Aprendizado baseado em ações específicas da plataforma: Representações ligadas a logs de sistemas específicos (ex: "clicar no denominador") que não são transferíveis entre diferentes ambientes de aprendizagem ou problemas.
  3. Foco em estados individuais: Modelos anteriores focam em representar estados algébricos isolados ou passos individuais, falhando em capturar a estrutura global e a estratégia do caminho completo de solução.
• Objetivo: Desenvolver uma abordagem para aprender representações de caminhos de solução algébricos que sejam invariantes ao problema (independentemente dos números ou variáveis específicos) e agósticas à plataforma, permitindo a análise de flexibilidade, criatividade e eficiência das estratégias dos alunos.

2. Metodologia

Os autores propõem um pipeline de aprendizado de representação que combina modelos pré-treinados de alta capacidade com aprendizado contrastivo.

• Dados:

  • Utilização de dados de um Grande Ensaio Controlado Aleatório (RCT) envolvendo 4.092 alunos do 7º ano.
  • Plataforma: FH2T (From Here To There!), um jogo gamificado onde os alunos transformam expressões algébricas iniciais em estados-alvo através de gestos e transições.
  • O conjunto de dados final contém 81.306 sequências de solução (caminhos) após filtragem de sequências excessivamente longas.

• Arquitetura do Modelo:

  1. Codificadores de Estado Fixos (Frozen Encoders): Utilizam modelos pré-treinados em domínio matemático (MathBERT, MathBERT-mamut, etc.) para codificar cada estado algébrico ($s_t$) em um vetor $h_t$.
  2. Codificação de Transição (Transition Embeddings): Em vez de usar os vetores de estado diretamente, o modelo calcula a diferença vetorial entre estados consecutivos: $\delta_t = h_t - h_{t-1}$. Isso enfatiza a transformação (a operação matemática) em vez do conteúdo específico do problema.
  3. Agregação de Sequência via SimCSE: Uma sequência de vetores de transição é alimentada em um modelo baseado em Transformer (com camadas de autoatenção) treinado com o framework SimCSE (Simple Contrastive Learning of Sentence Embeddings).
     • Objetivo Contrastivo: O modelo é treinado para manter embeddings de sequências semanticamente similares (mesma estratégia, mesmo problema) próximos no espaço vetorial, enquanto afasta sequências dissimilares.
     • Positividade: Criada aplicando máscaras de dropout independentes à mesma sequência.
     • Negatividade: Embeddings de outras sequências no mini-batch.

• Avaliação (Probing Tasks):
  Para validar a capacidade representacional, foram treinados "probes" (classificadores simples) sobre os embeddings resultantes para três tarefas:

  1. Classificação de Tipos de Ação: Prever quais dos 75 tipos de ações do sistema estavam presentes na sequência (classificação multilabel).
  2. Previsão de Eficiência: Classificar se o caminho foi ótimo, subótimo ou incompleto.
  3. Reconstrução da Sequência de Ações: Um modelo LSTM tenta reconstruir a sequência original de ações a partir do embedding, testando se a ordem foi preservada.

• Medidas Derivadas:
  Com os embeddings finais, calcularam-se métricas de criatividade:

  • Unicidade: Distância de Mahalanobis em relação à distribuição de estratégias do grupo.
  • Diversidade: Dissimilaridade média entre as múltiplas tentativas de um mesmo aluno.
  • Conformidade: Similaridade com a estratégia ótima mais comum.

3. Resultados Principais

• RQ1: Embeddings de Estado vs. Transição:

  • Análise t-SNE: Embeddings baseados em estado formam clusters separados por ID do problema (capturam o conteúdo superficial). Embeddings baseados em transição mostram sobreposição entre problemas diferentes, mas agrupam-se por tipo de ação matemática (adição, multiplicação, etc.).
  • Conclusão: A abordagem baseada em transição é superior para capturar a estratégia geral, sendo invariante ao problema específico.

• RQ2: Capacidade de Capturar Estratégias:

  • O modelo SimCSE com codificador frozen (MathBERT-mamut) e 1 camada de Transformer superou as baselines de pooling médio em tarefas de conteúdo de ação e reconstrução de sequência.
  • O modelo aprendeu a codificar a ordem das ações e a composição das transições.
  • Curiosamente, a performance na previsão de eficiência foi ligeiramente inferior à baseline, sugerindo um trade-off: o treinamento contrastivo prioriza a similaridade estrutural e de ordem das ações em detrimento da métrica de eficiência bruta.

• RQ3: Relação com Resultados de Aprendizagem:

  • As métricas derivadas dos embeddings (Unicidade, Diversidade e Conformidade) foram preditores estatisticamente significativos ($p < .001$) tanto para resultados de curto prazo (conceitual, procedimental, flexibilidade) quanto para resultados de longo prazo (notas estaduais do 7º ano).
  • Conformidade teve o maior efeito, indicando que alinhar-se a estratégias ótimas comuns é crucial para o sucesso.
  • Unicidade e Diversidade também tiveram correlações positivas, sugerindo que a exploração de estratégias variadas (pensamento divergente) também contribui para a aprendizagem, complementando o pensamento convergente.

4. Contribuições Chave

1. Abordagem Invariante ao Problema: Propõe o uso de diferenças vetoriais (transições) em vez de estados brutos para criar representações que generalizam entre diferentes problemas matemáticos.
2. Generalização entre Plataformas: Ao não depender de rótulos de ações específicos do sistema (como "clicar no botão X"), o método permite comparar estratégias de alunos em diferentes ambientes educacionais.
3. Proxies Escaláveis para Criatividade: Demonstra que distâncias em espaços de embedding podem substituir a codificação manual para medir criatividade matemática, originalidade e flexibilidade cognitiva.
4. Validação Empírica: Estabelece uma ligação quantitativa entre a estrutura das sequências de solução (capturada por IA) e resultados reais de aprendizagem dos alunos.

5. Significado e Impacto

Este trabalho avança a mineração de dados educacionais (EDM) ao fornecer uma ferramenta escalável para analisar o comportamento de resolução de problemas dos alunos sem a necessidade de intervenção humana massiva.

• Para Educadores: Permite identificar alunos que estão presos em estratégias ineficientes ou, inversamente, aqueles que exploram caminhos criativos, possibilitando intervenções personalizadas.
• Para Pesquisa: Oferece uma nova perspectiva sobre como a "criatividade matemática" e o "pensamento divergente" podem ser quantificados e correlacionados com o desempenho acadêmico.
• Futuro: Abre caminho para sistemas de tutoria inteligente que podem sugerir alternativas de solução baseadas na diversidade estratégica do aluno, fomentando a flexibilidade matemática.

6. Limitações e Direções Futuras

• O estudo utilizou um conjunto limitado de codificadores base e focou em uma única plataforma (FH2T).
• As transições foram modeladas apenas como diferenças simples; funções de transição mais expressivas poderiam capturar estruturas relacionais mais ricas.
• A validação de construtos de criatividade ainda requer comparação com conjuntos de dados rotulados por humanos para garantir validade total.
• Futuras direções incluem o desenvolvimento de sistemas que sugiram ativamente estratégias alternativas para encorajar o pensamento divergente.