Resumo Técnico: Uma Estrutura Probabilística para a Descoberta de Modelos Baseada em LLM

Declaração do Problema

A descoberta científica depende cada vez mais de modelos simuladores mecanísticos que integram teoria com dados para permitir interpretação e previsão. No entanto, construir esses modelos é uma tarefa laboriosa, exigindo substancial expertise de domínio e refinamento manual iterativo. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um caminho para automatizar esse processo ao gerar e revisar código executável diretamente de formulações textuais, os sistemas de descoberta baseados em LLM existentes são tipicamente definidos operacionalmente via heurísticas manuais, papéis de agentes e protocolos de interação.

Essas abordagens operacionais carecem de uma formulação probabilística explícita, levando a três limitações primárias:

1. Falta de Interpretabilidade: O problema de inferência subjacente não é explicitamente declarado, obscurecendo modos de falha e dificultando extensões fundamentadas.
2. Lacuna Teórica: Esses sistemas não admitem naturalmente análise teórica ou garantias de convergência.
3. Raciocínio Formal: É difícil raciocinar formalmente sobre a necessidade ou suficiência de componentes específicos do sistema quando os papéis são especificados de forma vaga.

O artigo postula que a descoberta automatizada de modelos deve ser reestruturada não como um fluxo de trabalho heurístico, mas como um problema de inferência probabilística: amostragem de uma distribuição desconhecida $p(m|x_o)$ sobre modelos mecanísticos $m$ (implementados como código) capazes de explicar dados observacionais $x_o$.

Metodologia: ModelSMC

Os autores introduzem o ModelSMC, um algoritmo baseado em amostragem de Monte Carlo Sequencial (SMC) que instacia esta estrutura probabilística. O ModelSMC trata candidatos a modelos simuladores como "partículas" em uma população, que são iterativamente propostas, refinadas e ponderadas por um LLM.

Algoritmo Central

O ModelSMC aproxima a distribuição posterior $p(m|x_o)$ sobre $K$ iterações usando uma população de $N$ partículas. Cada partícula $i$ na iteração $k$ é uma tupla $(m^i_k, w^i_k, c^i_k)$, representando o código do modelo, seu peso e o contexto de feedback. O processo envolve três etapas por iteração:

1. Reamostragem (Resampling): O algoritmo calcula o Tamanho de Amostra Efetivo (ESS). Se o ESS cair abaixo de um limiar $\tau_{ESS}$, uma reamostragem sistemática é aplicada para descartar partículas de baixo peso e replicar as de alto peso, rejuvenescendo a população.
2. Propagação: Cada partícula é propagada via um kernel de mistura. Com probabilidade $\alpha$, uma partícula é clonada sem alterações (preservando recursos computacionais). Com probabilidade $1-\alpha$, uma nova implementação de modelo é amostrada de um LLM. O LLM é condicionado a:
   • Os modelos ancestrais da partícula reamostrada.
   • Feedback contextual (avaliações de desempenho e diagnósticos) de iterações anteriores.
   • Um prompt fixo específico da tarefa ($c_{task}$) que codifica conhecimento de domínio e restrições.
3. Ponderação: Cada modelo gerado recebe um peso proporcional à verossimilhança marginal dos dados observados, $p(x_o|m)$. Como a verossimilhança verdadeira é frequentemente intratável, o ModelSMC emprega Estimativa de Verossimilhança Neural (NLE) usando um estimador de densidade substituto (especificamente o NLE-PFN, aproveitando o modelo de fundação TabPFN) para aproximar a verossimilhança sem exigir otimização de parâmetros explícita ou modelos diferenciáveis.

Fundamentação Teórica

O framework conecta o ModelSMC à teoria clássica de SMC. Sob suposições idealizadas (avaliação de verossimilhança exata e uma distribuição de proposta que coincide com a priori), os autores provam que o ModelSMC fornece uma aproximação de partícula assintoticamente não viesada da posterior do modelo. Embora o algoritmo prático utilize verossimilhanças substitutas e propostas condicionadas ao contexto, essa fundamentação teórica permite a análise formal de propriedades de estabilidade e convergência que estão ausentes em fluxos de trabalho de agentes heurísticos.

Principais Contribuições

1. Formulação Probabilística: O artigo trata a descoberta de modelos automatizada baseada em LLM como inferência probabilística sobre programas executáveis, unificando proposta, refinamento e seleção sob um único objetivo.
2. Algoritmo ModelSMC: Propõe um método de SMC baseado em população onde LLMs servem como a distribuição de proposta, permitindo a exploração de espaços de modelos complexos e abertos (centenas de linhas de código) sem restrições manuais.
3. Validação Empírica: O método é validado em tarefas sintéticas e conjuntos de dados do mundo real em neurociência (dinâmica de neurônios de Hodgkin-Huxley) e farmacologia (regulação renal de aldosterona), demonstrando desempenho competitivo contra baselines.
4. Análise Teórica: Demonstra como a teoria de SMC existente pode ser aplicada para analisar a descoberta automatizada de modelos, fornecendo uma lente para entender a convergência e o papel dos componentes do sistema.

Resultados Experimentais

Os autores avaliaram o ModelSMC contra dois baselines: FunSearch+ (um método de busca evolutiva adaptado para descoberta de modelos com otimização de parâmetros) e ModelSMC N=1 (uma variante sequencial, não probabilística, com uma única partícula).

• Desempenho Quantitativo: Em tarefas sintéticas (modelo epidemiológico SIR) e reais (farmacologia renal, Hodgkin-Huxley), o ModelSMC alcançou verossimilhanças marginais e condicionais competitivas, comparáveis ao FunSearch+ e ao ModelSMC N=1.
• Descoberta Mecanística:
  • Modelo Renal: O ModelSMC inferiu com sucesso a dinâmica regulatória ausente para a aldosterona, descobrindo uma família estreita de mecanismos de feedback que se aproximou fortemente da verdade fundamental, apesar dos dados limitados.
  • Modelo Hodgkin-Huxley: O algoritmo identificou deficiências estruturais no modelo base, atribuindo consistentemente alto peso posterior a extensões envolvendo correntes de potássio lentas do tipo M ($I_M$) pareadas com canais secundários (ex: sódio persistente $I_{NaP}$ ou HCN $I_h$).
• Análise de Posterior: Diferente de métodos que produzem uma única estimativa pontual, o ModelSMC gera uma distribuição posterior sobre os modelos. Isso permitiu aos autores diagnosticar inadequações estruturais versus incerteza de parâmetros e identificar conclusões robustas (ex: a necessidade de $I_M$), enquanto revelavam simetrias e ambiguidades no espaço do modelo.
• Estudos de Ablação: O framework provou ser robusto a variações nos esquemas de ponderação (MSE vs. verossimilhança), orçamentos de simulação, complexidade de prompt e backbones de LLM (Claude Sonnet 4.6 vs. GPT-5 mini).

Significância e Alegações

O artigo afirma que reestruturar a descoberta de modelos impulsionada por LLM como inferência probabilística fornece uma estrutura unificada que:

• Esclarece Suposições: Declara explicitamente o problema de inferência, tornando os modos de falha e as suposições transparentes.
• Permite Rigor: Permite garantias fundamentadas de estabilidade e convergência derivadas da teoria de SMC.
• Facilita a Análise: Permite o raciocínio formal sobre componentes do sistema, suportando ablações e extensões sistemáticas.
• Melhora a Interpretabilidade: Ao marginalizar sobre parâmetros e manter uma população de modelos ponderados, revela quais hipóteses mecanísticas são fortemente apoiadas, quais são descartadas e quais permanecem incertas, em vez de apenas selecionar um único "melhor" modelo.

Os autores enfatizam que sua principal contribuição é metodológica: fornecer um framework de inferência geral onde questões sobre novidade e validade científica podem ser formuladas de forma significativa. Eles não alegam que o ModelSMC gera inerentemente insights científicos novos em todos os casos, observando que tais resultados dependem da aplicação específica, dos dados e das suposições de modelagem. O framework é aplicável a configurações onde os modelos candidatos podem ser executados e admitem aproximações de verossimilhança confiáveis.