Resumo Técnico: GSM-SEM

Declaração do Problema

As atuais benchmarks para avaliação do raciocínio matemático em Modelos de Linguagem de Grande Escala (LLMs), como o GSM8K, enfrentam limitações significativas quanto à robustez e generalização. Pontuações elevadas em rankings frequentemente refletem a memorização de conjuntos de teste estáticos ou a exploração de artefatos específicos do conjunto de dados, em vez de capacidades reais de raciocínio. Variantes de robustez existentes (por exemplo, parafraseamento, renomeação de entidades, substituições numéricas) aplicam principalmente perturbações de nível superficial que preservam o arcabouço factual subjacente e a estrutura relacional dos problemas. Consequentemente, essas variantes frequentemente testam a invariância à forma superficial em vez da adaptabilidade a condições semanticamente significativamente diferentes. Além disso, lançamentos estáticos de benchmarks tornam-se alvos para memorização ao longo do tempo, e a geração de novas perturbações comparáveis frequentemente requer reanotação custosa de respostas de verdade fundamental.

Metodologia: O Framework GSM-SEM

Os autores introduzem o GSM-SEM, um framework estocástico reutilizável projetado para gerar variantes de benchmark semanticamente diversas, preservando a resposta de verdade fundamental e a lógica de cálculo originais. O framework opera por meio de um pipeline duplo de curadoria e validação:

1. Geração de Variantes Semânticas: O framework emprega duas estratégias de aumento complementares para gerar novas variantes de pergunta ($\tilde{q}$) a partir de uma amostra original $(q, a)$:

   • Geração Condicionada à Resposta: LLMs são instruídos a engenharia reversa de uma nova pergunta que preserve o cálculo numérico implícito pela resposta $a$, mas altere substancialmente a forma superficial e os fatos contextuais (por exemplo, mudar "bactérias infectam" para "vírus se espalha").
   • Geração Condicionada à Pergunta: LLMs são instruídos a manter todos os valores numéricos fixos enquanto alteram o cenário ou o tema (por exemplo, mudar "peste infecta" para "fofoca se espalha"), aumentando assim a diversidade semântica sem alterar a aritmética necessária.
   • Um verificador baseado em regras garante que todos os valores numéricos na pergunta gerada correspondam aos originais.

2. Validação Automática de Qualidade: Um LLM julgador, ajustado por meio de revisão humana de 70 variantes amostradas, avalia a coerência lógica e a qualidade.

3. Poda de Redundância Baseada em Similaridade: Variantes são filtradas usando similaridade de cosseno baseada em vetores de frequência de termos. Candidatos com similaridade $s(x, \tilde{x}) > 0,85$ em relação à amostra base ou variantes retidas existentes são descartados para garantir divergência semântica.

4. Filtragem de Rigor: Para controlar a dificuldade e evitar variantes triviais, um filtro de rigor avalia candidatos usando um conjunto de retenção de modelos de referência ($M_{hold}$). Variantes onde os modelos mostram correção unânime são tratadas como potencialmente muito fáceis ou insuficientemente perturbadas. Estas são posteriormente podadas com base em uma janela de aceitação de similaridade semântica $[\alpha, \beta]$. Isso permite a criação de subconjuntos com níveis variados de desafio (por exemplo, o rigor "máximo" filtra todas as amostras com correção unânime).

5. Validação Humana: Os conjuntos de dados finais passam por um rigoroso processo de revisão humana em duas etapas para garantir coerência lógica e alinhamento das respostas, resultando em conjuntos de dados totalmente validados por humanos.

Contribuições Principais

• Framework GSM-SEM: Um pipeline estocástico e reutilizável para gerar variantes de benchmark semanticamente diversas que mantêm cálculos e respostas originais, permitindo avaliação reexecutável sem reanotação.
• Conjuntos de Dados Validados por Humanos: Lançamento público de três conjuntos de dados totalmente validados: GSM8K-SEM, GSM-Symbolic-SEM e GSM-Plus-SEM. Estes conjuntos de dados demonstram maior variância semântica do que abordagens anteriores (GSM-Symbolic, GSM-Plus e versões parafraseadas).
• Avaliação Abrangente: Avaliação de 14 LLMs de última geração (SOTA) entre famílias de modelos, revelando degradação consistente de desempenho nas variantes SEM em comparação com benchmarks originais.
• Aplicabilidade Transversal a Domínios: Demonstração da utilidade do framework em conjuntos de dados não-GSM, incluindo BigBench-Hard, LogicBench e NLR-BIRD.

Resultados

• Degradação de Desempenho: Em 14 modelos SOTA, as variantes GSM-SEM consistentemente tiveram desempenho inferior em relação aos seus benchmarks de linha de base. Na configuração de rigor "médio", a taxa média de queda de desempenho (PDR) foi de aproximadamente 28% para o GSM-Plus-SEM, a configuração mais desafiadora.
• Perturbações Acumuladas: Combinar perturbações semânticas (GSM-SEM) com variações simbólicas ou "plus" existentes (GSM-Symbolic-SEM, GSM-Plus-SEM) amplifica os declínios de desempenho. Por exemplo, o GSM-Plus-SEM mostrou uma queda média de precisão de 13,53% entre os modelos, significativamente maior do que o GSM-Plus sozinho.
• Sensibilidade Semântica: A análise revela que a precisão do modelo geralmente melhora com maior similaridade semântica ao conjunto de dados original. Mesmo quando os cálculos permanecem inalterados, mudanças semânticas substanciais levam a quedas maiores de desempenho, indicando que os modelos atuais são sensíveis ao contexto semântico e não apenas à manipulação simbólica.
• Modos de Falha: A análise manual identificou modos de falha chave nas variantes SEM, incluindo:
  • Aumento da carga cognitiva devido à adição de indireção.
  • Pistas de unidade/moeda desencadeando erros de escala (por exemplo, interpretar mal centavos versus dólares).
  • Rastreamento de estado desestabilizado em reescritas no estilo de referência.
  • Recuperação incorreta de modelos sob pequenas mudanças semânticas.
• Transferência Fora do Domínio: O framework gerou com sucesso variantes para conjuntos de dados não matemáticos. Quedas de desempenho foram observadas em conjuntos de dados mais antigos (BigBench-Hard, 2022), provavelmente devido à memorização, enquanto conjuntos de dados mais recentes (NLR-BIRD, 2025) mostraram quedas mínimas, sugerindo que o framework isola efetivamente as capacidades de raciocínio da memorização.

Significado e Alegações

O artigo postula que o GSM-SEM aborda a lacuna crítica entre testes de robustez de nível superficial e verdadeira adaptabilidade semântica. Ao gerar novas variantes semanticamente diversas em cada execução, preservando ao mesmo tempo as respostas de verdade fundamental, o framework reduz a dependência de benchmarks públicos estáticos e diminui o viés de avaliação causado pela memorização.

Os autores afirmam que os modelos SOTA atuais, apesar de suas capacidades avançadas de raciocínio, permanecem sensíveis a mudanças semânticas que alteram o contexto narrativo de um problema, mesmo quando a matemática subjacente é idêntica. Isso sugere que pontuações elevadas em benchmarks podem não capturar totalmente a generalização robusta. O framework fornece um mecanismo para avaliação mais rigorosa e reexecutável que pode ser adaptado a vários conjuntos de dados além de problemas matemáticos no estilo GSM, oferecendo um caminho para uma avaliação mais confiável do raciocínio de LLMs.