In Context Learning and Reasoning for Symbolic Regression with Large Language Models

Título: Aprendizado e Raciocínio em Contexto para Regressão Simbólica com Grandes Modelos de Linguagem (LLMs)

1. O Problema

A Regressão Simbólica (SR) é uma técnica de aprendizado de máquina que busca descobrir equações matemáticas simples e precisas a partir de dados, inferindo tanto a estrutura funcional quanto os parâmetros, em vez de ajustar apenas coeficientes em uma estrutura pré-definida.

• Desafio Tradicional: Os métodos existentes (como algoritmos genéticos, MCMC e programação evolutiva) muitas vezes exigem modificações complexas de software para incorporar conhecimento de domínio ou restrições teóricas. Além disso, eles podem gerar equações que se ajustam bem aos dados, mas carecem de significado físico ou consistência científica.
• Limitação dos LLMs: Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado habilidades notáveis em várias tarefas, eles tendem a "alucinar" coeficientes numéricos quando solicitados a gerar equações diretamente a partir de dados, e muitas vezes falham em realizar otimização numérica precisa sem ajuda externa.

2. Metodologia

Os autores propõem um fluxo de trabalho híbrido que combina a capacidade de raciocínio e geração de linguagem natural dos LLMs (GPT-4 e GPT-4o) com ferramentas de otimização numérica externas (Python/SciPy).

• Fluxo de Trabalho Iterativo:

  1. Geração de Expressões: O LLM recebe dados e contexto científico (em linguagem natural) e sugere expressões matemáticas (estrutura da equação) sem ajustar os coeficientes numéricos.
  2. Otimização Externa: Um script Python (usando SciPy e o método Nelder-Mead com basin-hopping) otimiza os coeficientes das expressões geradas pelo LLM.
  3. Avaliação e Feedback: O script calcula o Erro Quadrático Médio (MSE) e a complexidade (número de nós na árvore de expressão). Os melhores resultados são formatados e enviados de volta ao LLM como feedback para a próxima iteração.
  4. Loop de Feedback: O processo repete-se por um número definido de iterações, onde o LLM refina suas sugestões com base no desempenho anterior.

• Engenharia de Prompt e Técnicas de Raciocínio:

  • Rascunho (Scratchpad): O LLM é instruído a primeiro analisar os dados e o contexto em uma seção de "rascunho" antes de gerar a equação final. Isso força o modelo a raciocinar sobre padrões de dados e princípios físicos.
  • Contexto Científico: Em vez de apenas dados brutos, o prompt inclui descrições em linguagem natural sobre o fenômeno físico (ex: "adsorção de nitrogênio em mica", variáveis independentes e dependentes).
  • Restrições Naturais: Restrições teóricas (ex: "a função deve passar pela origem", "a derivada deve ser positiva") são inseridas via prompts em linguagem natural, eliminando a necessidade de codificação complexa de restrições simbólicas.
  • Evitar Vieses: O sistema foi projetado para evitar que o LLM apenas copie exemplos fornecidos no prompt, utilizando uma configuração de dois prompts (inicial e iteração) e convertendo a saída para formatos compatíveis com Python.

3. Contribuições Principais

• Interface Natural para Restrições Teóricas: Demonstra que é possível impor restrições físicas e matemáticas complexas a um processo de SR usando apenas prompts em linguagem natural, tornando o processo acessível a pesquisadores sem profundo conhecimento de programação de algoritmos de SR.
• Raciocínio em Contexto (Chain-of-Thought): Valida a eficácia do uso de "rascunhos" (scratchpads) para melhorar a qualidade das equações geradas, permitindo que o LLM analise padrões de dados e contexto antes de propor soluções.
• Arquitetura Híbrida: Propõe uma abordagem onde o LLM atua como o "cientista" que propõe hipóteses (estruturas de equações) e o computador atua como o "laboratório" que valida e otimiza numericamente essas hipóteses, mitigando a alucinação de coeficientes.
• Validação em Problemas Reais: Testa o método não apenas em dados sintéticos, mas em conjuntos de dados experimentais reais e complexos, incluindo um caso sem equação-alvo conhecida.

4. Resultados

Os experimentos foram realizados em três conjuntos de dados principais:

1. Modelo de Langmuir (Adsorção):

   • O LLM conseguiu rediscover a equação correta ($q = c_1 p / (c_2 + p)$) na maioria dos casos.
   • O uso de contexto e rascunho melhorou significativamente a precisão e a velocidade de descoberta.
   • Sem contexto, o modelo tendia a sugerir outros modelos de adsorção (Freundlich, BET) incorretos.

2. Modelo de Langmuir de Dois Sítios (Dual-site):

   • Um problema mais desafiador onde equações mais curtas e menos complexas podiam ter um erro similar ao modelo real, mas eram fisicamente inconsistentes (ex: prever adsorção negativa).
   • O uso de restrições em linguagem natural (ex: "a carga não pode ser negativa") foi crucial para filtrar equações fisicamente impossíveis e guiar o modelo para a solução correta, superando métodos tradicionais que não tinham essas restrições codificadas.

3. Conjunto de Dados de Nikuradse (Escoamento em Tubos Rugosos):

   • Um problema multivariado sem uma equação-alvo conhecida na literatura.
   • O LLM (especialmente o GPT-4o) gerou expressões competitivas em termos de erro médio absoluto (MAE) e complexidade.
   • Embora o método BMS (Bayesian Symbolic Regression) tenha encontrado uma solução ligeiramente mais precisa, o LLM fez isso explorando um espaço de busca muito menor (153 expressões vs. 18.000+ passos de Monte Carlo do BMS), demonstrando eficiência em "amostragem inteligente" guiada por contexto.

• Comparação de Modelos: O GPT-4o superou consistentemente o GPT-4, demonstrando melhor raciocínio sobre padrões de dados e capacidade de seguir instruções complexas de contexto.

5. Significado e Conclusão

O trabalho demonstra que os LLMs, quando integrados a ferramentas de otimização numérica e guiados por prompts estratégicos (contexto, rascunho e restrições naturais), podem ser ferramentas poderosas para a descoberta científica.

• Vantagem: A abordagem simplifica drasticamente a integração de conhecimento de domínio na regressão simbólica, permitindo que cientistas "conversem" com o algoritmo para impor leis físicas sem reescrever o código do motor de busca.
• Limitação: O método não supera necessariamente os programas de SR estabelecidos em problemas extremamente complexos onde a equação-alvo é muito intrincada, mas oferece uma via mais acessível e interpretável para a descoberta de leis físicas.
• Futuro: A técnica sugere um novo paradigma onde a interface natural (linguagem) substitui a necessidade de codificação manual de restrições, democratizando o uso de SR avançada.

Em suma, o artigo valida que a combinação de raciocínio em contexto (via LLM) e otimização numérica rigorosa (via Python) é uma estratégia eficaz para a descoberta de equações científicas interpretáveis e fisicamente consistentes.