Imagine que você está tentando ensinar um robô a ser um matemático. Você não quer apenas que ele converse sobre números; você quer que ele escreva o código real que resolve um enigma. Este é o mundo da síntese de código combinatório. Pense em "combinatória" como o estudo de como as coisas podem ser arranjadas, embaralhadas ou contadas — como descobrir de quantas maneiras você pode empilhar blocos, organizar um baralho de cartas ou colorir um mapa sem que duas cores que se tocam sejam iguais. "Síntese de código" é simplesmente o ato de uma IA escrever um programa de computador para fazer a matemática.

Por muito tempo, testamos a IA em tarefas de codificação gerais, como "escreva uma função para ordenar uma lista de nomes" ou "corrija este erro em um site". Mas esses testes são um pouco como pedir a um chef para picar cebolas; eles mostram se o chef sabe segurar uma faca, mas não se ele consegue inventar uma nova receita do zero. Este artigo faz uma pergunta mais difícil: Se você der a uma IA uma regra matemática abstrata e estrita e alguns exemplos, ela consegue escrever um programa perfeito que siga essa regra para qualquer entrada possível, mesmo aquelas que ela nunca viu antes? É a diferença entre um robô que consegue seguir uma receita e um robô que consegue entender a química da culinária bem o suficiente para inventar um prato que nunca existiu.

O Grande Desafio do Código Matemático: FindStatBench

Entre no FindStatBench, uma nova e super-difícil academia para modelos de IA. Criado por pesquisadores da Scale AI, este benchmark foi projetado para testar ao limite os Modelos de Linguagem de Grande Escala (LLMs) em sua capacidade de transformar descrições matemáticas puras em código Python funcional. Em vez de pedir à IA para escrever um script simples, os pesquisadores deram a ela 2.329 enigmas matemáticos distintos. Esses enigmas vêm de um banco de dados do mundo real chamado FindStat, que é como uma biblioteca de "receitas matemáticas" para coisas como permutações (embaralhar listas), grafos (redes de pontos e linhas) e partições (quebrar números em somas).

As regras do jogo eram estritas e de "livro fechado". A IA recebeu uma descrição de um problema matemático e até cinco exemplos de entradas e sações. Ela tinha que escrever uma função Python única chamada solve(obj) que pudesse lidar com qualquer objeto, não apenas com os exemplos que viu. A IA não podia usar uma calculadora, pesquisar na internet ou pedir ajuda. Ela tinha que acertar de primeira. Para garantir que a IA não estivesse apenas memorizando as respostas, os pesquisadores testaram o código contra 5,52 milhões de casos de teste ocultos — milhões de problemas matemáticos que a IA nunca tinha visto antes. Se o código falhasse em sequer um desses testes ocultos, era marcado como errado.

Os Resultados: Um Empate Surpreendente e Algumas Falhas Estranhas

Quando a poeira baixou, os resultados foram fascinantes e um pouco contra-intuitivos.

1. Os Modelos "Grandes" e "Pequenos" estão Empatados
Você poderia esperar que os modelos "de código fechado" mais caros e poderosos (aqueles que você tem que pagar para empresas utilizarem) esmagassem os modelos "de código aberto" (aqueles que qualquer um pode baixar e rodar). Mas, nesta arena pesada em matemática, eles não o fizeram. O melhor modelo de código aberto, gpt-oss-120b, obteve uma pontuação quase exatamente igual à do melhor modelo de código fechado, Claude Sonnet 4.6. Eles foram separados por menos de 1 ponto percentual. É como dois corredores em uma maratona: um é patrocinado por uma gigante corporativa com uma equipe luxuosa, e o outro é um herói local com um sapato feito à mão. Eles cruzaram a linha de chegada exatamente ao mesmo tempo.

Ainda mais surpreendente: se você pegasse as melhores respostas de todos os onze modelos testados e as combinasse, você melhoraria o total em apenas cerca de 10%. Isso sugere que todos esses modelos estão atingindo um "teto" semelhante de habilidade. Todos estão lutando com as mesmas partes difíceis do enigma.

2. Mais Exemplos Podem Na Verdade Piorar as Coisas
Aqui é onde fica estranho. Na maioria dos testes de IA, dar mais exemplos ajuda o modelo a aprender. Mas no FindStatBench, para certos tipos de enigmas matemáticos chamados "bijecções" (formas elegantes de dizer "regras de correspondência perfeita"), dar ao modelo cinco exemplos na verdade fez seu desempenho piorar do que dar zero exemplos.

Imagine que você está ensinando um aluno a dobrar um tsuru de origami. Se você apenas disser "dobre o papel desta maneira", ele pode lembrar da dobra clássica e perfeita. Mas se você mostrar cinco exemplos onde alguém fez uma dobra ligeiramente desajeitada, o aluno pode ficar confuso e tentar copiar as dobras desajeitadas, esquecendo a regra perfeita. O artigo descobriu que, para algumas regras matemáticas clássicas, os exemplos "atropelaram" o conhecimento interno da IA, fazendo com que ela escrevesse um código quebrado que falhava até mesmo nos exemplos que lhe foram mostrados. É um caso de "informação demais, compreensão de menos".

3. A Armadilha do "Pensar"
Outra descoberta importante foi que alguns modelos, especialmente aqueles projetados para "pensar" antes de falar, frequentemente ficavam sem espaço. Esses modelos têm um limite de quanto texto podem gerar. Às vezes, eles gastavam todo o seu "orçamento" escrevendo seu raciocínio interno (seu processo de pensamento) e nunca chegavam a escrever o código real. É como um aluno que passa o tempo inteiro do exame escrevendo um diário sobre o quão difícil é a prova, e depois fica sem tempo para realmente resolver os problemas. Os pesquisadores descobriram que simplesmente dar a esses modelos mais espaço para escrever seus pensamentos (e o código) corrigia muitos desses erros.

4. O Difícil Continua Difícil
Embora a IA tenha ficado muito boa em algumas tarefas (como contar coisas ou trabalhar com formas simples), ela falhou completamente em outras. Para tarefas envolvendo "partições de conjuntos" (agrupar itens de todas as formas possíveis) e "árvores binárias" (estruturas hierárquicas), a precisão foi próxima de zero para todos os modelos, fossem eles de código aberto ou fechado. Parece que, não importa o tamanho do modelo ou quanto ele custa, esses tipos específicos de enigmas estruturais estão atualmente além de seu alcance.

O Que Isso Significa

O artigo conclui que, embora a IA esteja ficando muito boa em escrever códigos matemáticos "plausíveis", ela ainda é frágil quando se trata de regras simbólicas exatas. Os modelos podem adivinhar a resposta certa com frequência, mas lutam para derivar consistentemente a lógica perfeita para estruturas complexas.

A maior lição? Custo nem sempre é igual a capacidade. Neste teste específico, um modelo de código aberto mais barato teve o mesmo desempenho que os mais caros e proprietários. E, às vezes, dar mais exemplos ou mais "tempo de pensamento" a uma IA não ajuda — pode, na verdade, confundi-la. Os pesquisadores sugerem que, para dominar verdadeiramente a matemática, a IA precisa melhorar na compreensão das regras do jogo, não apenas na memorização dos movimentos. Por enquanto, a IA é um aprendiz talentoso que consegue seguir instruções bem, mas ainda se perde quando lhe pedem para inventar um novo tipo de geometria.