Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

Resumo Técnico: Auditoria de Alegações de Descoberta em Ciência Agêntica

Enunciado do Problema
O artigo aborda a dificuldade de validar alegações feitas por sistemas de IA de autoaperfeiçoamento na descoberta científica. Quando tais agentes alegam uma nova capacidade (ex: projetar RNA com estruturas de pseudonós), as evidências limitam-se tipicamente a deltas de benchmarks, portões de comprimento de descrição ou valores-p. Essas métricas falham em distinguir uma aquisição genuína de capacidade de artefatos como:

• Exploração de Oráculo (Oracle gaming): O agente otimiza excessivamente para um preditor específico e falível.
• Intensidade de Busca: Melhora no desempenho devido a uma busca mais exaustiva, em vez de novos princípios.
• Memorização: Recordação de soluções para alvos específicos em vez de aprendizado de uma regra generalizável.
• Mudanças no Verificador: Mudanças no desempenho resultantes de uma alteração no padrão de verificação, em vez da política do agente.

Os autores argumentam que os métodos atuais carecem de um critério de dois lados que seja decidível em pelo menos um dos lados para separar ganhos reais desses confundidores.

Metodologia: A Auditoria de Dois Lados
Os autores propõem um framework de auditoria formal aplicado ao domínio do design inverso de RNA, especificamente visando estruturas de cruzamento (pseudonós). A auditoria é assimétrica, consistindo em um lado negativo e um lado positivo:

1. O Lado Negativo (Decidível/Exato):

   • Base Formal: Utiliza a hierarquia de Chomsky. Estruturas de RNA aninhadas são Livres de Contexto (CF), enquanto estruturas de cruzamento (pseudonós) são Levemente Sensíveis ao Contexto (MCS).
   • Teorema: Um oráculo de dobramento livre de pseudonós ($\Omega_{cf}$) possui um alcance representacional estritamente confinado a estruturas aninhadas ($L_{nest}$). É formalmente impossível para este oráculo certificar um par de cruzamento.
   • Mecanismo de Auditoria: Antes de qualquer execução, os autores provam que uma política prévia, verificada apenas por $\Omega_{cf}$, possui uma linguagem de alvos realizáveis $R_{\Omega_{cf}}(\pi_{before})$ que é disjunta do conjunto de alvos de cruzamento ($L_{pk}$). Isso fornece um limite exato e offline: o sistema anterior não poderia ter certificado esses alvos, independentemente do orçamento de busca.

2. O Lado Positivo (Relativo ao Modelo/Adjudicado):

   • Adjudicação: Como as estruturas de cruzamento não podem ser verificadas por um único oráculo exato, os autores utilizam um painel de três preditores heurísticos (pKiss, ProbKnot, ShapeKnots).
   • Protocolo:
     • Comprometimento Selado: O agente compromete um design (hash-frozen) após a otimização no loop, mas antes de rodar o adjudicador mantido fora do treino (held-out). Isso evita a seleção post-hoc.
     • Abstenção: Se os três preditores discordarem, o alvo é marcado como "não resolvido" (abstenção), evitando a conversão de artefatos de modelagem em capacidades alegadas.
     • Métricas: A auditoria reporta um vetor de seis componentes ($E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$), distinguindo entre teoremas exatos, ganhos empíricos e testes de atribuição.

3. Configuração Experimental:

   • Pool de Alvos: 60 alvos de cruzamento de Pseudobase++ (pool de desenvolvimento/avaliação) e um pool estruturalmente disjunto de 27 alvos.
   • Baselines: Um operador "gamer" otimizado para um único oráculo (pKiss), um solver de energia livre mínima (DesiRNA) e um operador escrito por humanos.
   • Invenção do Agente: Um agente de LLM recebe primitivas para escrever um operador livre de solver, que é então congelado e auditado.

Principais Contribuições

1. Um Critério de Dois Lados: Um framework formal para auditar a aquisição de capacidade que separa o "consegue agora" (ganho empírico) do "não poderia ser certificado antes" (exclusão decidível).
2. Formalização da Linguagem de Alvos Realizáveis: Definir $R_{\Omega}(\pi)$ como o conjunto de alvos que uma política pode realizar sob um oráculo, permitindo a aplicação de lemas de bombeamento (pumping lemmas) para restringir a linguagem das estruturas em vez do código do operador.
3. Demonstração de Exploração de Oráculo (Oracle Gaming): Evidência empírica mostrando como um único oráculo pode inflar alegações de capacidade (ex: 43/60 sucessos sob um preditor colapsando para 1/60 sob um painel de três preditores).
4. Portão de Atribuição de Dois Estágios: Um protocolo para distinguir entre correlação e mecanismo, primeiro identificando propriedades que diferem entre sistemas e, em seguida, intervindo (transplantando) para verificar a causalidade.
5. Resultados Empíricos sobre Código Escrito por Agentes: Evidência de que operadores congelados, escritos por agentes, podem superar os escritos por humanos sob um adjudicador mantido fora do treino, mesmo com menos chamadas de oráculo, embora o mecanismo específico permaneça não identificado.

Resultados

• Medição de Exploração de Oráculo: Um operador inventado otimizado para pKiss alcançou 43/60 sucessos. Ao ser re-adjudicado por um preditor mantido fora do treino (ProbKnot), apenas 2/43 sobreviveram; sob o painel completo de três preditores, apenas 1/60 sobreviveu. Este colapso de 43$\to$1 demonstra que métricas de um único oráculo são insuficientes.
• Auditoria do Sistema dos Autores: O operador de "otimização de painel" dos próprios autores alcançou 3–8/60 sucessos consistentes com o painel misto (média de 3.29) no pool de desenvolvimento, significativamente acima do piso de 0/60 de contexto livre. No entanto, o ganho foi estreito:
  • $\Delta_{gamer}$: O operador superou o gamer de um único oráculo, mas o tamanho do efeito diminuiu conforme a replicação aumentava.
  • $\Delta_{undirected}$: Foi indistinguível da busca não direcionada, sugerindo que o ganho vem do predicado de sucesso (conjunção de oráculos) e não da orientação da busca.
  • Sonda Livre de Busca: 84% dos sucessos do operador ocorreram em alvos onde uma sequência compatível aleatória já resolvia o alvo, indicando que o operador não está resolvendo os casos "difíceis".
• Controle Positivo (Operadores Escritos por Agentes): Operadores congelados escritos por LLMs de fronteira (especificamente dois de seis modelos que rodaram sem timeouts) alcançaram uma taxa de transferência para o preditor mantido fora do treino (ShapeKnots) de 0.293, comparado aos 0.095 do operador escrito por humanos.
  • Essa diferença foi estabelecida (D1) e mostrada como não sendo comprada com computação (D2), pois os agentes usaram 4.6–10$\times$ menos chamadas de oráculo.
  • Mecanismo (D3): Sete mecanismos candidatos (incluindo características estruturais e gaps de ensemble) foram transplantados para o operador humano, mas nenhum reproduziu a vantagem do agente. O mecanismo permanece não identificado.

Significância e Alegações
O artigo afirma que não houve nova descoberta científica, pois o mecanismo por trás do sucesso do agente não é identificado (D3 não foi alcançado). Em vez disso, a significância reside no instrumento de auditoria em si:

1. Rigidez vs. Insensibilidade: A auditoria distingue com sucesso entre um sistema que é genuinamente capaz e um que é meramente insensível aos modos de falha de um único oráculo. O colapso 43$\to$1 prova que o instrumento detecta a otimização excessiva.
2. Verificação de Não-Uso: A auditoria confirma que os operadores escritos pelos agentes alcançaram seus resultados sem chamar solvers de design inverso empacotados, estabelecendo uma capacidade "livre de solver" em relação à classe de ferramentas declarada.
3. Aquisição de Capacidade Modesta: O artigo estabelece que alguns operadores escritos por agentes podem superar uma barreira rigorosa e mantida fora do treino (D1 e D2) com uma fração do custo computacional, mas explicitamente retém a alegação de "ascensão autônoma robusta" ou "descoberta" porque o mecanismo é desconhecido e o resultado é limitado a modelos específicos e um único pool de benchmarks.
4. Limitações: Os autores reconhecem que os preditores do painel compartilham parâmetros termodinâmicos (modelos de vizinho mais próximo), o que limita a independência da adjudicação. Eles afirmam que um preditor de uma classe de modelo diferente é o próximo passo necessário para uma alegação mais forte.

Em resumo, o artigo fornece um protocolo de auditoria rigoroso de dois lados que expõe a fragilidade das alegações de um único oráculo na ciência de IA e demonstra que, embora procedimentos escritos por agentes possam superar baselines humanos sob condições estritas, os mecanismos subjacentes a tais melhorias frequentemente permanecem opacos e não atribuíveis.