Resumo Técnico: Projeto Auto-World

Declaração do Problema

Modelos de raciocínio relacional neural, como os Edge Transformers (ETs), têm dificuldade com a generalização sistemática. Embora possam aprender regularidades a partir de dados de treinamento, frequentemente falham ao aplicar essas regras a instâncias de problemas que são sistematicamente mais difíceis do que as vistas durante o treinamento (por exemplo, exigindo mais etapas de inferência, raciocínio fora do caminho ou combinações relacionais complexas).

Um gargalo crítico para o avanço deste campo é a avaliação da generalização. Métricas de dificuldade existentes (ex: profundidade de inferência, Contagem de Arestas Fora do Caminho [OPEC], Carga de Backtrack [BL]) são frequentemente insuficientes ou possuem "pontos cegos". Além disso, gerar instâncias de problemas que sejam genuinamente difíceis para esses modelos é um desafio; a amostragem aleatória raramente produz as condições estruturais específicas necessárias para expor as limitações do modelo. O artigo postula que não está claro a priori o que torna uma instância difícil para um modelo neural específico, criando um conundrum onde benchmarks padrão podem mascarar limitações reais.

Metodologia

Os autores propõem o Projeto Auto-World, um framework que utiliza Large Language Models (LLMs) para automatizar a geração de instâncias de benchmark desafiadoras. A ideia central é tratar a geração de instâncias de problemas como um problema de otimização, onde a "aptidão" (fitness) de um gerador é definida pela sua capacidade de fazer um modelo de raciocínio alvo falhar.

O artigo explora três estratégias distintas para automatizar este processo:

1. Busca Evolutiva Impulsionada por LLM (baseada em FunSearch):

   • Adaptado do framework FunSearch, esta abordagem utiliza um LLM para evoluir funções de prioridade (código Python) que guiam a amostragem de Grafos de Conhecimento (KGs).
   • O processo é um loop evolutivo: o LLM propõe funções de prioridade melhoradas com base em gerações anteriores.
   • Avaliação de Aptidão: Uma função de prioridade é pontuada gerando um conjunto de KGs, executando o modelo alvo (Edge Transformer) em consultas derivadas desses grafos e calculando a taxa de falha (1 - acurácia).
   • O sistema mantém múltiplas "ilhas" de funções de prioridade para incentivar a exploração, removendo ilhas de baixo desempenho e substituindo-as por novas, semeadas a partir de ilhas de alto desempenho.

2. Agentes de Pesquisa Autônomos:

   • Esta abordagem substitui a busca evolutiva baseada em população por um único agente de codificação autônomo (Claude Opus 4.6) operando em um loop.
   • O agente lê artefatos experimentais (métricas, código, dados) da rodada anterior, propõe uma modificação para a função de prioridade e executa o pipeline de treinamento/avaliação.
   • O objetivo do agente é minimizar a acurácia de avaliação do Edge Transformer mantendo o código simples. Isso mimetiza um estilo de "pesquisa automática", onde o agente refina iterativamente sua própria configuração experimental.

3. Prompting de LLM Agnóstico ao Modelo:

   • Os autores também testaram o prompting direto de LLMs de fronteira para gerar estratégias de amostragem sem um loop evolutivo.
   • Através de diálogo, o LLM foi guiado para criar samplers específicos (ex: hill-climbing para derivações profundas, backward chaining, construção baseada em motivos) e estratégias híbridas projetadas para desafiar Redes Neurais de Grafos (GNNs).

O Modelo Alvo: O principal avaliador utilizado é o Edge Transformer (ET), um modelo de raciocínio relacional neural de última geração capaz de capturar fórmulas lógicas complexas. Os experimentos são conduzidos no benchmark NoRA (relações familiares que exigem raciocínio fora do caminho) e um novo domínio gerado por LLM chamado Iron Coast.

Principais Contribuições

• Geração Automatizada de Benchmarks: Demonstrou que LLMs podem descobrir autonomamente funções de amostragem que geram instâncias de problemas significativamente mais difíceis para raciocinadores neurais do que aquelas encontradas via amostragem aleatória ou heurísticas existentes.
• Descoberta de Novas Dimensões de Dificuldade: Os samplers aprendidos identificaram formas de dificuldade que não são totalmente explicadas por métricas padrão (profundidade, OPEC, BL). Especificamente, os autores descobriram que instâncias que dependem de arestas inferidas fora do caminho (arestas que não estão no caminho direto entre entidades, mas são necessárias para a derivação) são particularmente desafiadoras e eram frequentemente ignoradas pelas métricas existentes.
• Treinamento Adversário e Robustez: O artigo mostra que treinar Edge Transformers em dados gerados por esses samplers aprendidos cria um modelo mais robusto (SUPERET). Este modelo resiste ao processo de busca evolutiva melhor do que o ET padrão, embora permaneça vulnerável às estratégias descobertas pelo agente de pesquisa autônoma.
• Viabilidade de Pesquisa Autônoma: O sucesso do agente de Pesquisa Autônoma sugere que todo o loop de definição de regras, geração de dados e avaliação de modelos pode ser automatizado, abrindo potencialmente as portas para a pesquisa totalmente autônoma em raciocínio relacional neural.

Resultados

• Avaliação Cruzada: Modelos treinados em dados de execuções evolutivas ou samplers gerados por LLM tiveram um desempenho ruim em conjuntos de teste de outras estratégias, indicando que cada método descobre estruturas "difíceis" únicas.
• Lacunas de Desempenho: Enquanto os ETs padrão alcançaram alta acurácia em dados dentro da distribuição (in-distribution), seu desempenho caiu significativamente (frequentemente abaixo de 20% de acurácia de correspondência exata) em consultas geradas pelos samplers aprendidos.
• Dificuldade Não Explicada: A análise usando um classificador para prever o sucesso do modelo com base em métricas conhecidas (profundidade, OPEC, BL) revelou altos escores de dificuldade "não explicada" para consultas dos samplers de Pesquisa Autônoma e evolutivos. Isso confirma que esses métodos estão encontrando novos eixos de dificuldade.
• Arestas Inferidas Fora do Camino: Os autores identificaram que uma classe específica de consultas difíceis envolve arestas que são inferidas, mas não estão no caminho direto. Adicionar a contagem dessas "Arestas Entitadas Fora do Caminho" (OPEEC) como uma métrica reduziu significativamente o escore de dificuldade não explicada, validando a descoberta.
• Robustez do Modelo: O SUPERET (treinado em uma mistura de dados padrão e adversários) mostrou forte resistência ao processo de busca do FunSearch, mas ainda foi desafiado pelo agente de Pesquisa Autônoma, sugerindo que o agente encontrou estratégias ainda mais potentes.

Significância e Alegações

O artigo afirma que a maquinaria proposta permite o teste de estresse sistemático de raciocinadores relacionais neurais. Ao automatizar a descoberta de instâncias difíceis, pesquisadores podem ir além de benchmarks estáticos que podem possuir pontos cegos.

• Samplers Auto-Melhoráveis: O trabalho demonstra que samplers podem ser aprendidos para produzir instâncias progressivamente mais difíceis, criando efetivamente um currículo adversário.
• Além de Métricas Criadas Manualmente: Os resultados sugerem que métricas de dificuldade definidas por humanos são insuficientes; a busca impulsionada por LLM pode descobrir propriedades estruturais de problemas de raciocínio que os humanos não codificaram explicitamente.
• Potencial de Pesquisa Autônoma: O sucesso do agente de Pesquisa Autônoma em desafiar até mesmo o robusto modelo SUPERET indica que LLMs podem atuar como pesquisadores autônomos, capazes de iterar sobre designs experimentais para expandir as fronteiras dos modelos atuais.

Os autores mantêm a modéstia, observando que o trabalho atual foca em regras Datalog e fragmentos lógicos específicos, e que a transferibilidade de funções de prioridade aprendidas para conjuntos de regras inteiramente diferentes permanece uma questão aberta. No entanto, a capacidade de gerar mundos definidos por LLM (como Iron Coast) sugere um caminho para loops de avaliação totalmente automatizados para o raciocínio neural.