Resumo Técnico: GSM-PLUS-BN

Declaração do Problema

A avaliação do raciocínio matemático em Grandes Modelos de Linguagem (LLMs) tem sido historicamente dominada por línguas de alto recurso, particularmente o inglês. Essa disparidade cria uma barreira significativa para a implantação equitativa da IA em regiões linguisticamente diversas como Bangladesh, onde mais de 230 milhões de pessoas falam bengali. Embora existam benchmarks para o raciocínio matemático em bengali (ex: BanglaMATH, SOMADHAN), eles carecem de avaliações sistemáticas de robustez. Crucialmente, não existe pesquisa atual que realize o benchmarking de um conjunto de dados matemático em bengali perturbado. Consequentemente, o campo carece de um mecanismo para avaliar se os modelos possuem compreensão real de estruturas matemáticas ou se apenas dependem de reconhecimento de padrões, especialmente quando confrontados com variações linguísticas, mudanças numéricas ou entradas adversariais em bengali.

Metodologia

Para abordar essa lacuna, os autores introduzem o GSM-PLUS-BN, um novo conjunto de dados de raciocínio matemático perturbado em bengali, derivado do benchmark inglês GSM-Plus.

Construção do Conjunto de Dados

• Fonte: O conjunto de dados é construído sobre 1.318 questões semente do benchmark GSM-Plus.
• Escala: Compreende um total de 10.544 instâncias, incluindo as questões semente e mais de 8.000 variantes perturbadas.
• Taxonomia de Perturbação: O conjunto de dados emprega oito tipos distintos de perturbação através de cinco dimensões para sondar a robustez do modelo:
  1. Variação Numérica: Substituição numérica, expansão de dígitos e conversão de inteiro-decimal-fração.
  2. Variação Aritmética: Adição de operações (introduzindo novos passos) e reversão de operações (inferir entradas a partir de saídas).
  3. Compreensão do Problema: Refraseamento de descrições textuais preservando o significado.
  4. Inserção de Distratores: Adição de sentenças topicamente relevantes, mas matematicamente irrelevantes.
  5. Pensamento Crítico: Remoção de informações essenciais para testar se o modelo consegue identificar dados ausentes em vez de alucinar uma resposta.
• Processo de Tradução: Foi utilizada uma abordagem híbrida envolvendo tradução baseada em IA seguida de refinamento humano rigoroso. Seis tradutores especialistas com formação em PLN e matemática garantiram fluência linguística, localização cultural (ex: conversão de moeda para BDT, nomes para equivalentes em bengali) e coerência lógica.

Configuração Experimental

O estudo avaliou seis LLMs de código aberto via API Groq, abrangendo várias escalas de parâmetros e arquiteturas (densas e Mixture-of-Experts):

• Modelos: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B e GPT-OSS-20B.
• Estratégias de Prompting:
  • Prompting Padrão: Apresentação direta do problema sem andaimes de raciocínio.
  • Prompting de Cadeia de Pensamento (CoT): Prompting zero-shot instruindo o modelo a "pensar passo a passo".
• Avaliação: Os modelos foram testados em 9.000 amostras (1.000 sementes + 8.000 perturbadas) usando a precisão de correspondência exata como métrica primária.

Principais Contribuições

1. Conjunto de Dados GSM-PLUS-BN: O primeiro benchmark abrangente e publicamente disponível de raciocínio matemático perturbado para o bengali, contendo 10.544 variações de questões através de oito tipos de perturbação.
2. Análise de Robustez: Uma avaliação detalhada de como diferentes mecanismos de perturbação (desde substituições numéricas até inserção de distratores) afetam o desempenho do modelo em um contexto de língua de baixo recurso.
3. Insights de Escala de Modelo: Uma análise de como a escala do modelo e a arquitetura (denso vs. MoE) influenciam o desempenho no raciocínio matemático em bengali, oferecendo orientação para seleção de modelos em cenários de baixo recurso.
4. Eficácia do Prompting: Uma avaliação das estratégias de Prompting Padrão vs. CoT em bengali, revelando que, embora o CoT geralmente melhore o desempenho, sua eficácia é altamente dependente do modelo.

Resultados

• Desempenho das Questões Semente: Sob Prompting Padrão, o GPT-OSS-20B alcançou a maior precisão nas sementes (96,08%), seguido de perto pelo Llama-3.3-70B (95,90%) e Llama-4-Scout (95,68). O Qwen3-32B teve um desempenho pobre (13,98%) sem CoT.
• Impacto do CoT: O prompting de CoT melhorou substancialmente o desempenho para a maioria dos modelos, particularmente o Qwen3-32B, que viu um aumento massivo de 13,98% para 76,25% nas questões semente. No entanto, modelos maiores como Llama-3.1-8B-Instant e GPT-OSS-120B mostraram declínios de desempenho ou ganhos negligenciáveis sob CoT, sugerindo que podem ser otimizados para geração de respostas diretas.
• Resiliência à Perturbação:
  • Mais Robustos: Os modelos demonstraram maior resiliência às perturbações de Compreensão do Problema e Reversão de Operação (frequentemente >85% de precisão com CoT).
  • Menos Robustos: As perturbações de Pensamento Crítico provaram ser universalmente difíceis, com taxas de precisão permanecendo abaixo de 34% em todos os modelos, mesmo com CoT. Adição de Operação e Conversão Inteiro-Decimal-Fração também renderam consistentemente as menores taxas de precisão (<80%).
• Lacuna de Desempenho: Existe uma lacuna significativa entre as questões semente e as perturbadas. Sob Prompting Padrão, a lacuna variou de 20% a quase 40%. O CoT reduziu essa lacuna, mas uma degradação persistente permanece, indicando que os modelos dependem de padrões superficiais.
• Rankings de Modelos: Llama-3.3-70B-Versatile e Llama-4-Scout emergiram como os desempenhos mais consistentes através dos tipos de perturbação sob CoT. O GPT-OSS-120B mostrou a menor lacuna de desempenho entre questões semente e perturbadas sob Prompting Padrão, indicando alta robustez inerente.

Significância

O artigo posiciona o GSM-PLUS-BN como um recurso fundamental para a comunidade de PLN bengali. Ao fornecer um benchmark sistemático de raciocínio perturbado, ele move o campo além de simples métricas de precisão para avaliar a verdadeira robustez e compreensão do modelo. O estudo destaca que, embora o prompting de CoT possa desbloquear capacidades de raciocínio latentes em modelos menores, os LLMs atuais ainda lutam com o raciocínio lógico complexo (Pensamento Crítico) e precisão aritmética em bengali, independentemente do tamanho do modelo. Os achados enfatizam a necessidade urgente de estratégias de treinamento especializadas e inovações arquiteturais para reduzir a lacuna entre o reconhecimento de padrões e o raciocínio matemático genuíno em línguas de baixo recurso. O conjunto de dados está publicamente disponível para facilitar pesquisas futuras e comparações de baseline.