Infinite Problem Generator: Verifiably Scaling Physics Reasoning Data with Agentic Workflows

O artigo apresenta o Infinite Problem Generator (IPG), um framework agencial que supera a escassez de dados de raciocínio verificável em física ao sintetizar problemas com soluções garantidas via código executável, demonstrando sua eficácia através do corpus ClassicalMechanicsV1 e de uma métrica de dificuldade baseada na complexidade do código.

O essencial

Imagine que você quer ensinar um robô superinteligente (uma Inteligência Artificial) a resolver problemas de física, como os que aparecem em exames difíceis de engenharia. O problema é que, para aprender, o robô precisa de milhões de exercícios práticos. Mas livros de física reais são poucos, e se tentarmos criar novos exercícios apenas pedindo para a IA "inventar", ela tende a alucinar: cria problemas que parecem reais, mas têm erros de cálculo ou lógica que a tornam impossível de resolver.

É aqui que entra o IPG (Gerador Infinito de Problemas), uma nova ferramenta criada por pesquisadores da Índia. Vamos explicar como funciona usando uma analogia simples: o "Cozinheiro de Receitas".

1. O Problema: O Cozinheiro que Alucina

Normalmente, quando pedimos para uma IA criar um problema de física, é como pedir para um cozinheiro criar uma receita nova apenas de cabeça. Ele pode dizer: "Ferva o leite e adicione areia". A frase faz sentido gramaticalmente, mas na cozinha (na física), isso é um desastre. A IA muitas vezes inventa números ou leis da física que não existem.

2. A Solução: O "Cozinheiro com Medidor Digital" (Formula-as-Code)

O IPG muda a regra do jogo. Em vez de deixar a IA escrever o problema como um texto solto, o sistema trata as fórmulas de física como códigos de computador executáveis.

• A Analogia: Imagine que, em vez de escrever "Fórmula da velocidade", o sistema usa uma função de computador real chamada calcular_velocidade().
• Como funciona: O sistema pega um problema de física de um livro de verdade (uma "semente") e pede para a IA criar 10 variações novas. Mas, para cada variação, a IA precisa escrever um pequeno programa em Python que resolva aquele problema.
• O Teste de Fogo: Assim que o problema é criado, um "robô fiscal" (o código Python) tenta executá-lo.
  • Se o código der erro? O problema é jogado no lixo.
  • Se o código rodar e dar um número impossível (como um carro pesando 100 toneladas ou tempo negativo)? O problema é descartado.
  • Só os problemas que o código consegue resolver perfeitamente são guardados.

Isso garante que todo problema no banco de dados seja matematicamente correto e solucionável. É como ter um cozinheiro que, antes de servir o prato, é obrigado a provar a comida com um medidor de açúcar digital. Se não bater, não sai da cozinha.

3. A "Fábrica Infinita" (Agentic Workflow)

O sistema funciona como uma equipe de agentes trabalhando em conjunto:

1. O Analista: Olha o problema original e diz: "Isso é sobre rotação de rodas. Podemos transformar isso em uma bicicleta, um carrossel ou um rolo de fita adesiva".
2. O Criador: Escreve a história nova (o problema) e escolhe 3 a 5 "ferramentas" (fórmulas) para usá-la.
3. O Verificador: Tenta rodar o código. Se funcionar, o problema é salvo. Se falhar, o Criador recebe um recado de erro e tenta de novo.

Com isso, eles pegaram 165 problemas de um livro de física e transformaram em 1.335 problemas novos, únicos e verificados.

4. A Descoberta Secreta: O "Projeto de Complexidade"

Os pesquisadores descobriram algo fascinante, que chamaram de "Complexity Blueprint" (Projeto de Complexidade).

Eles notaram que existe uma relação direta e previsível entre o número de fórmulas usadas e o tamanho do código necessário para resolver o problema.

• Analogia: É como construir com blocos de Lego. Se você usa 3 blocos, a torre tem um tamanho X. Se usa 6 blocos, a torre é exatamente o dobro do tamanho.
• Por que isso é importante? Antes, era difícil saber se um problema era "fácil" ou "difícil" sem um professor humano olhar. Agora, o sistema pode dizer: "Se eu quero um problema difícil, vou pedir para o código ter 400 linhas". O tamanho do código se torna uma régua perfeita para medir a dificuldade, sem precisar de humanos para classificar tudo.

5. O Resultado Final

O trabalho resultou em um banco de dados chamado ClassicalMechanicsV1.

• Para quem é? Para treinar IAs a raciocinar melhor.
• O que tem lá? Problemas de física clássica (como movimento, força, energia) que são garantidamente corretos.
• A grande vantagem: Diferente de outros bancos de dados que só têm a pergunta e a resposta final, este tem o caminho completo de raciocínio (o código passo a passo). Isso permite que a IA aprenda como pensar, não apenas o que responder.

Resumo em uma frase

O IPG é como uma fábrica de quebra-cabeças onde cada peça é testada por um robô antes de ser vendida, garantindo que o quebra-cabeça inteiro se encaixe perfeitamente, e usando o tamanho da caixa para dizer exatamente o quão difícil é o jogo.

Isso abre portas para criar materiais de ensino infinitos, personalizados e sem erros, ajudando a treinar a próxima geração de inteligências artificiais para resolver problemas complexos do mundo real.

Resumo técnico

Resumo Técnico: Infinite Problem Generator (IPG)

1. O Problema

O treinamento de Modelos de Linguagem Grandes (LLMs) para raciocínio complexo em domínios especializados, como a física, é limitado pela escassez de dados verificáveis e de alta qualidade.

• Limitações Atuais: Aumentar dados sinteticamente via geração de texto padrão frequentemente introduz "alucinações" (erros factuais ou lógicos). Benchmarks existentes (como JEEBench ou UGPhysics) são estáticos, focados em teste e carecem de "rastros de raciocínio" executáveis necessários para o fine-tuning robusto.
• A Lacuna: Existe uma desconexão entre a necessidade de dados de treinamento com passos lógicos verificáveis e a capacidade atual de gerar tais dados em escala sem comprometer a correção matemática e física.

2. Metodologia: Infinite Problem Generator (IPG)

Os autores propõem o IPG, um framework baseado em agentes que utiliza o paradigma "Fórmula como Código" (Formula-as-Code) para sintetizar problemas de física com solvabilidade garantida.

• Paradigma Fórmula como Código: Em vez de tratar equações físicas como tokens de texto, o IPG as codifica como funções Python executáveis e validadas (axiomas). Isso transforma a geração de problemas em um processo de programação estruturada.
• Fluxo de Trabalho em Três Fases (Generate-then-Verify):
  1. Análise do Problema e Expansão de Contexto: O agente analisa um "semente" (problema e solução de um livro-texto) para extrair princípios físicos, mapear capítulos relevantes e definir dicionários de variáveis com faixas físicas válidas (ex: massa > 0).
  2. Geração Constrained (Restrita): O agente gera variações narrativas (mudando o cenário, ex: de um bloco para um trem) mantendo a lógica física invariável. A complexidade é controlada limitando o número de fórmulas (axiomas) usadas (ex: 3 a 5 fórmulas por problema).
  3. Verificação Baseada em Código: Para cada problema gerado, o sistema exige a criação de um script Python que resolva o problema. O código é executado em um ambiente isolado (sandbox). Apenas problemas cujas soluções são executáveis, numericamente finitas e fisicamente plausíveis (ex: tempo positivo, coeficiente de atrito entre 0 e 1) são aceitos.
• Mecanismo de Recuperação: O sistema inclui um loop de retry interno. Se a execução falhar ou houver colisão de assinatura (problemas duplicados), o agente é reorientado com os erros estruturados para correção.

3. Principais Contribuições

1. Framework de Verificação Agente (IPG): Um pipeline que acopla a variação narrativa à verificação de execução de código, mitigando significativamente alucinações matemáticas em dados sintéticos de física.
2. Dataset ClassicalMechanicsV1: Um corpus de 1.335 problemas de mecânica clássica (nível universitário/entrance exam JEE), expandidos a partir de 165 sementes de especialistas. O dataset inclui caminhos de solução executáveis e correção numérica verificada.
3. Complexity Blueprint (Projeto de Complexidade): A descoberta de uma correlação linear forte ($R^2 \approx 0,95$) entre o número de fórmulas físicas integradas e o comprimento do código de verificação. Isso permite usar o tamanho do código como uma métrica precisa e sem proxy para controlar a dificuldade do problema, permitindo a geração de currículos adaptativos sem anotação humana.

4. Resultados e Análise

• Diversidade Estrutural: O dataset cobre 102 fórmulas únicas com uma complexidade média de 3,05 fórmulas por problema. O agente demonstrou capacidade de "mistura de domínios" (Domain Mixing), combinando conceitos de capítulos distintos (ex: Atrito + Movimento Circular) com sucesso.
• Taxa de Sucesso: O pipeline alcançou uma taxa de sucesso de verificação de 99,85%. Apenas 2 problemas no conjunto final foram instáveis numericamente.
• Análise de Falhas:
  • Em problemas de baixa complexidade (0-1 fórmulas), as falhas são raras, mas muitas vezes correspondem a problemas triviais que não exigem raciocínio profundo.
  • Na "Zona de Fragilidade" (4+ fórmulas), o erro principal migra para "Mismatch de Assinatura", onde o agente deriva valores intermediários corretamente, mas falha em conectá-los à variável final alvo, expondo limitações atuais de LLMs em manter contextos de longo horizonte.
• Validação Externa: Testes com o modelo Qwen3-14B mostraram que o dataset é um desafio real, com precisão inferior à do benchmark JEEBench, indicando que os problemas gerados capturam adequadamente a complexidade do raciocínio de longo prazo.

5. Significado e Impacto

• Preenchimento da Lacuna Treino-Teste: O IPG fornece o primeiro corpus de grande escala para física que é "pronto para treinamento" (training-ready), oferecendo rastros de raciocínio executáveis para Supervised Fine-Tuning (SFT) e Reinforcement Learning (RL).
• Controle de Complexidade: A descoberta do "Complexity Blueprint" permite a geração escalável de dados com dificuldade controlada, essencial para o desenvolvimento de sistemas de aprendizado adaptativo.
• Rigor Científico: Ao substituir a verificação baseada em texto (subjetiva) por verificação baseada em execução (objetiva), o trabalho estabelece um novo padrão para a geração de dados sintéticos em domínios de raciocínio rigoroso, garantindo que a correção lógica seja intrínseca ao processo de geração.

Em suma, o trabalho demonstra que a combinação de agentes autônomos com verificação de código executável é uma solução viável e escalável para superar a escassez de dados de alta qualidade para o treinamento de IA em raciocínio científico complexo.