🤖 machine learning

MOT-SR: Multi-Objective Tool-Augmented Scientific Equation Discovery with Large Language Models

Este artigo apresenta o MOT-SR, um framework de objetivos múltiplos e aumentado por ferramentas que aproveita modelos de linguagem de grande escala colaborativos e ferramentas analíticas externas para superar as limitações dos métodos de regressão simbólica existentes ao otimizar conjuntamente a precisão, a complexidade e a generalização, alcançando assim um desempenho superior em benchmarks padrão e tarefas complexas de modelagem astronômica.

Autores originais: Boxiao Wang, Runxiang Wang, Kai Li, Chongming Li, Zhiwei Chen, Yifan Zhang, Jian Cheng

Publicado 2026-08-03

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Boxiao Wang, Runxiang Wang, Kai Li, Chongming Li, Zhiwei Chen, Yifan Zhang, Jian Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de impressões digitais ou pegadas, suas pistas são números. Você tem um monte de pontos de dados — talvez temperaturas, velocidades ou reações químicas — e seu objetivo é encontrar a "receita secreta" oculta (uma equação matemática) que explica como todos eles se encaixam. Este campo é chamado de Regressão Simbólica. É como tentar fazer a engenharia reversa de um bolo apenas provando as migalhas; você quer descobrir a lista exata de ingredientes e os passos para assá-lo, não apenas adivinhar o sabor.

Por muito tempo, os computadores tentaram fazer isso adivinhando e testando milhões de receitas aleatórias até que uma tivesse um gosto certo. Mas recentemente, demos aos computadores um novo superpoder: Modelos de Linguagem de Grande Escala (LLMs). Pense neles como robôs superinteligentes que leram quase todos os livros da biblioteca. Eles são ótimos em entender linguagem e identificar padrões, então os cientistas esperavam que eles pudessem facilmente escrever essas receitas secretas para nós. No entanto, há um porém. Esses robôs inteligentes às vezes ficam focados demais em fazer a receita ter exatamente o mesmo gosto das migalhas que têm agora, esquecendo que uma boa receita também deve funcionar se você assá-la em um forno diferente ou com ingredientes ligeiramente diferentes. Eles também tendem a ignorar o quão complicada é a receita, às vezes escrevendo uma lista de instruções de 10 páginas quando um guia simples de três etapas seria suficiente.

É aqui que uma nova equipe de pesquisadores entra com uma ideia fresca. Eles construíram um sistema chamado MOT-SR (Multi-Objective Tool-augmented Scientific Equation Discovery — Descoberta de Equações Científicas Aumentada por Ferramentas e Multiobjetivo). Em vez de apenas deixar o robô adivinhar, eles lhe deram uma "caixa de ferramentas científica" e um conjunto estrito de regras a seguir. Imagine um mestre chef que não apenas prova a comida, mas também usa um termômetro, uma balança e um microscópio para entender por que a comida tem aquele sabor. O MOT-SR usa essas ferramentas para analisar os dados primeiro, e então pede ao robô que escreva uma equação que não seja apenas precisa, mas também simples e robusta o suficiente para funcionar em novas situações.

Os pesquisadores testaram este sistema em 40 diferentes quebra-cabeças, variando desde o crescimento de bactérias até o modo como materiais se esticam. Eles descobriram que o MOT-SR foi muito melhor em encontrar as "receitas secretas" do que os métodos anteriores. Ele não apenas acertou a resposta; ele encontrou respostas que eram mais simples e funcionavam melhor quando as condições mudavam. Mas o verdadeiro teste veio quando o aplicaram a um problema vindo dos confins do espaço: modelar a dança de dois buracos negros espiralando um em direção ao outro. Neste cenário, mesmo um erro minúsculo na equação pode fazer com que o computador perca o rastro dos buracos negros após um longo tempo. O MOT-SR descobriu uma pequena fórmula de correção que manteve os buracos negros no caminho certo, reduzindo o erro em uma quantidade massiva em comparação com outros métodos. Ele provou que, ao combinar ferramentas inteligentes com uma abordagem equilibrada de simplicidade e precisão, podemos ajudar os computadores a descobrir as leis fundamentais do universo de forma mais confiável.

A Ideia Central: Um Detetive com uma Caixa de Ferramentas

O artigo aborda um problema que intrigou cientistas por anos: como fazer os computadores encontrarem as equações matemáticas mais simples e precisas escondidas dentro de dados desordenados. Embora modelos de IA recentes (LLMs) tenham mostrado potencial, os autores argumentam que eles possuem duas falhas principais. Primeiro, eles são frequentemente "cegos" para as relações específicas entre as variáveis; eles adivinham sem realmente entender a estrutura dos dados. Segundo, eles geralmente só se preocupam com uma coisa: fazer os números coincidirem perfeitamente agora. Isso leva ao "overfitting" (sobreajuste), onde a IA memoriza os pontos de dados específicos que recebeu, mas falha miseravelmente quando confrontada com novos dados não vistos. É como um aluno que memoriza as respostas de um teste prático, mas reprova no exame real porque não entendeu os conceitos.

Para corrigir isso, os autores propõem o MOT-SR, um framework que atua como uma equipe colaborativa de cientistas. O sistema opera em um ciclo com dois principais "personagens" de IA:

O Gerador de Estratégia Meta: Este é o detetive. Antes de pedir uma nova equação, ele utiliza um conjunto de ferramentas externas (como verificadores de correlação, analisadores de frequência e ferramentas de descoberta causal) para examinar os dados. Ele faz perguntas como: "Essas duas variáveis estão se movendo em sincronia?" ou "Existe um ritmo oculto aqui?". Ele então escreve uma "estratégia de busca" baseada nessas descobertas.
O Gerador de Equações: Este é o escritor. Ele pega a estratégia do detetive e gera novas equações candidatas.

Crucialmente, o MOT-SR não busca apenas a "melhor" equação baseada em apenas uma pontuação. Ele utiliza uma Avaliação Multiobjetivo. Ele julga cada equação em três frentes simultaneamente:

Precisão: Ela se ajusta aos dados que temos?
Generalização: Ela funciona em dados que ainda não vimos (especificamente, dados das "bordas" do conjunto de dados)?
Complexidade: A equação é simples e legível, ou é uma bagunça emaranhada?

O sistema mantém uma "fronteira de Pareto", que é essencialmente um placar das melhores compensações (trade-offs). Ele se recusa a aceitar uma equação que seja super precisa, mas impossivelmente complexa, ou uma que seja simples, mas grosseiramente imprecisa. Ele refina constantemente sua busca, descartando ideias ruins e focando nas mais promissoras.

Os Resultados: Dos Benchmarks aos Buracos Negros

Os autores testaram o MOT-SR em uma variedade de quebra-cabeças científicos padrão, incluindo sistemas oscilantes (como um pêndulo oscilante), crescimento biológico (bactérias E. coli) e testes de tensão de materiais. Eles o compararam com métodos antigos e outras abordagens baseadas em IA.

Os resultados foram claros: o MOT-SR superou consistentemente a concorrência. Nos benchmarks padrão, ele encontrou equações com erros significativamente menores. Por exemplo, em uma tarefa de oscilação, ele alcançou uma taxa de erro de aproximadamente $1,27 \times 10^{-15}$ , o que é praticamente zero, enquanto outros métodos ficaram presos em erros em torno de $10^{-5}$ . Ele também encontrou equações que eram muito mais compactas (curtas e simples) e que generalizavam melhor para novos dados.

Mas o teste de "nível chefe" foi na astrofísica. Os pesquisadores aplicaram o MOT-SR a Inspirais de Razão de Massa Extrema (EMRIs). Este é um cenário onde um objeto compacto pequeno (como uma estrela de nêutrons) espirala para dentro de um buraco negro massivo. Este é um problema crítico para futuros detectores de ondas gravitacionais baseados no espaço. A física aqui é incrivelmente sensível; se sua equação tiver um erro minúsculo, ela pode parecer boa por alguns segundos, mas ao longo de milhares de órbitas, esse pequeno erro se acumula, e a trajetória prevista do buraco negro torna-se completamente errada.

Neste teste, o MOT-SR foi encarregado de encontrar uma fórmula de correção para consertar uma aproximação conhecida (PN5) que estava ligeiramente incorreta. O sistema descobriu uma correção simbólica compacta. Quando testaram essa nova fórmula em 30 configurações de buracos negros completamente inéditas (configurações que a IA nunca tinha visto durante seu treinamento), ela teve um desempenho notável.

O erro da correção do MOT-SR foi cerca de 26,8 vezes menor do que o melhor método de IA anterior (LLM-SR).
Foi aproximadamente três ordens de magnitude (1.000 vezes) melhor do que uma linha de base de rede neural.
Mais importante, conforme a simulação rodava por mais tempo (simulando anos de tempo), os erros na linha de base da rede neural cresciam massivamente, enquanto o erro do MOT-SR permanecia minúsculo e estável.

O Que Isso Significa

O artigo sugere que a chave para desbloquear todo o potencial da IA na ciência não é apenas tornar a IA "mais inteligente" ou dar a ela mais dados. É sobre dar a ela as ferramentas certas para analisar os dados e forçá-la a equilibrar precisão com simplicidade e robustez. Ao imitar o processo científico humano — analisar dados, formular hipóteses e testá-las contra múltiplos critérios — o MOT-SR pode encontrar equações que não são apenas matematicamente corretas, mas fisicamente significativas e confiáveis ao longo de longos períodos.

Os autores ressaltam cuidadosamente que este é um estudo de simulação e benchmark; eles ainda não descobriram uma nova lei da física que mude o mundo, mas demonstraram um novo método poderoso para fazê-lo. Eles também apontam que seu sistema atual depende de um conjunto fixo de ferramentas e objetivos, e que trabalhos futuros precisarão automatizar a descoberta de novas ferramentas e lidar com dados ainda mais complexos e de alta dimensão. No entanto, o sucesso no problema de EMRI sugere que esta abordagem pode ser um divisor de águas para modelar dinâmicas científicas complexas de longo prazo, onde a precisão é tudo.

Resumo Técnico: MOT-SR

Declaração do Problema

A Regressão Simbólica (SR) visa descobrir equações matemáticas compactas e interpretáveis a partir de dados observacionais, uma tarefa crítica para a compreensão de sistemas científicos complexos. Embora abordagens recentes que utilizam Grandes Modelos de Linguagem (LLMs) mostrem promessa, elas enfrentam duas limitações primárias:

Falta de Análise Sistemática de Dados: Métodos de SR baseados em LLM existentes frequentemente dependem de descrições de problemas como contexto, sem mecanismos dedicados para descobrir dependências entre variáveis (ex: linearidade, periodicidade, causalidade). Isso resulta em espaços de busca mal restringidos e uma exploração de equações ineficiente.
Avaliação de Objetivo Único: A maioria dos métodos otimiza apenas o erro de ajuste (ex: minimização de NMSE), negligenciando a complexidade estrutural e a generalização. Essa tendência frequentemente leva ao sobreajuste (overfitting), convergência prematura para ótimos locais e uma incapacidade de explorar o espaço de equações de forma mais ampla.

Metodologia: Estrutura MOT-SR

Os autores propõem a Regressão Simbólica com Ferramentas Multi-Objetivo (MOT-SR), uma estrutura unificada que integra ferramentas analíticas externas, avaliação multi-objetivo e LLMs cooperativos. O sistema opera de maneira iterativa e em ciclo fechado (Figura 1), consistindo em três componentes principais:

1. Análise de Variáveis Aumentada por Ferramentas

O MOT-SR emprega um conjunto de ferramentas analíticas para extrair priors estruturais e relações entre variáveis, que são destiladas em orientação de linguagem natural para o LLM. Essas ferramentas incluem:

Correlação Linear: Correlação de Pearson, regressão linear simples e análise de variância baseada em PCA.
Dependência Não Linear: Correlação de posto de Spearman, informação mútua e regressão de informação mútua.
Análise de Tempo-Frequência: Transformada de Fourier (FFT) e espectros de energia de transformada wavelet para detectar periodicidade.
Inferência Causal: Causalidade de Granger e Convergent Cross Mapping (CCM).
Complexidade Dinâmica: Expoentes de Lyapunov, dimensão de correlação e Dynamic Time Warping (DTW).
Consistência de Distribuição: Testes de Kolmogorov–Smirnov (KS) para detectar mudanças distributivas.

2. Avaliação Multi-Objetivo

Em vez de otimizar apenas o erro de ajuste, o MOT-SR otimiza conjuntamente três objetivos para manter uma fronteira de Pareto dinâmica via ordenação não dominada:

Acurácia Intra-Domínio (ID): Erro Quadrático Médio Normalizado (NMSE) em um subconjunto central dos dados de treinamento ( $D^{ID}_{train}$ ).
Generalização Fora-do-Domínio (OOD): NMSE nas regiões periféricas dos dados de treinamento ( $D^{OOD}_{train}$ ), servindo como um proxy para robustez a mudanças distributivas sem utilizar dados de teste retidos durante a busca.
Complexidade da Equação: Medida pelo comprimento da Árvore de Sintaxe Abstrata (AST), promovendo interpretabilidade e compacidade.

3. Evolução Cooperativa de LLM

A estrutura utiliza dois módulos de LLM colaborativos:

Gerador de Estratégia Meta ( $\pi_{stg}$ ): Analisa os resíduos dos candidatos Pareto-ótimos atuais, aplica as ferramentas analíticas e realiza abstração estrutural (extração de comunalidade, análise de disparidade, descoberta de pontos cegos) para formular uma estratégia de busca.
Gerador de Equações ( $\pi_{eq}$ ): Recebe a estratégia e realiza a seleção de pais consciente da diversidade (baseada na sobreposição de subárvores de AST) para gerar novas equações candidatas. Esses candidatos são avaliados e integrados à fronteira de Pareto.

Principais Contribuições

Estrutura Unificada: O MOT-SR é a primeira estrutura de SR que integra sistematicamente ferramentas científicas externas para extração de priors estruturais com um mecanismo de avaliação multi-objetivo guiado por LLMs cooperativos.
Otimização Multi-Objetivo: Introduz uma estratégia de seleção baseada em Pareto que equilibra acurácia, generalização e complexidade, evitando a convergência prematura para soluções estruturalmente complexas, mas localmente ótimas.
Modelagem Científica de Ciclo Fechado: O sistema mimetiza o processo científico humano ao analisar dados iterativamente, refinar estratégias de busca e gerar equações, em vez de depender de prompts estáticos.
Aplicação no Mundo Real: Os autores aplicam o MOT-SR à modelagem orbital de Inspirais de Massa Extremamente Desproporcional (EMRI), um problema desafiador na astronomia de ondas gravitacionais baseada em espaço, onde pequenos erros locais se acumulam ao longo da evolução de longo prazo.

Resultados Experimentais

Os autores avaliaram o MOT-SR em cinco benchmarks (quatro tarefas padrão e um conjunto de dados de química) e na tarefa de modelagem orbital EMRI, utilizando tanto LLaMA-3.1 quanto GPT-4o-mini.

Desempenho nos Benchmarks: Em 40 tarefas padrão, o MOT-SR superou consistentemente métodos clássicos (ex: PySR, GPleaRn) e bases recentes baseadas em LLM (ex: LLM-SR, LaSR). Alcançou NMSE significativamente menor e maior acurácia (ex: atingindo $1.27 \times 10^{-15}$ de NMSE em Oscillation 1 vs. $2.55 \times 10^{-5}$ para o LLM-SR).
Generalização: O MOT-SR demonstrou generalização superior em conjuntos de teste fora-do-domínio (OOD), alcançando valores de NMSE ordens de magnitude menores que as bases de comparação. Isso é atribuído à otimização explícita do desempenho OOD durante a fase de descoberta.
Eficiência: O método convergiu para soluções de alta qualidade mais rapidamente que as bases, frequentemente atingindo os melhores resultados dentro das primeiras 1000 iterações, comparado às 2000 de outros modelos.
Estudo de Caso EMRI: Na modelagem da evolução orbital EMRI, o MOT-SR descobriu uma correção simbólica compacta que reduziu o erro de integração ao nível de trajetória em aproximadamente três ordens de magnitude em comparação com uma base de resíduo neural e 26,8 vezes menor que o LLM-SR. Crucialmente, essa correção permaneceu eficaz em 30 configurações retidas não vistas durante a descoberta, demonstrando transferibilidade entre configurações físicas.

Significância e Alegações

O artigo afirma que o MOT-SR demonstra o potencial da descoberta de equações multi-objetivo e aumentada por ferramentas para construir modelos confiáveis e interpretáveis de dinâmicas científicas complexas. Ao ir além do ajuste de objetivo único e de prompts estáticos, o MOT-SR permite a descoberta de equações que são não apenas precisas, mas também generalizáveis e estruturalmente sólidas.

Os autores destacam que a correção EMRI descoberta alcança o menor erro de integração ao nível de trajetória em configurações retidas, sugerindo que o MOT-SR pode recuperar estruturas de correção transferíveis que permanecem confiáveis através de horizontos longos e cenários físicos não vistos. Isso posiciona a estrutura como uma ferramenta viável para sistemas dinâmicos científicos exigentes, onde a interpretabilidade e a estabilidade de longo prazo são primordiais.

O artigo reconhece limitações, observando sua dependência atual de um conjunto fixo de objetivos de avaliação e ferramentas especificadas manualmente, com trabalhos futuros planejados para automatizar a descoberta de ferramentas e estender a estrutura para dados de alta dimensão.