LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression

Each language version is independently generated for its own context, not a direct translation.

Imagine que você tem um jardineiro muito inteligente, mas que nunca plantou nada antes. Você quer que ele descubra a fórmula perfeita para fazer uma planta crescer rápido e forte, mas você não sabe qual é essa fórmula. Você só tem dados: "quando choveu, a planta cresceu X; quando fez sol, cresceu Y".

O Jardineiro é o que chamamos de Regressão Simbólica. O objetivo dele é escrever uma equação matemática (uma receita) que explique esses dados.

Agora, imagine que esse jardineiro não trabalha sozinho. Ele tem uma equipe de ajudantes (algoritmos) que tentam diferentes receitas. Para decidir quais ajudantes ficam e quais são demitidos, o jardineiro precisa de um Gerente de Seleção. Esse gerente olha para os ajudantes e diz: "Você, que acertou a fórmula da chuva, fique! Você, que errou, vá embora."

O problema é que, até agora, esse "Gerente de Seleção" era sempre escolhido por especialistas humanos. Eles tentavam várias regras de "quem fica e quem sai" até achar uma que funcionasse bem. Mas os humanos podem se cansar ou não ter a melhor ideia.

A Grande Ideia do Papel: O "Chef" IA

Os autores deste artigo tiveram uma ideia brilhante: E se usássemos uma Inteligência Artificial (um Modelo de Linguagem Grande, como o GPT) para criar o próprio Gerente de Seleção?

Eles chamam isso de LLM-Meta-SR. É como se você pedisse para a IA: "Crie um gerente de seleção que seja tão bom que consiga encontrar as melhores receitas para qualquer tipo de planta, sem que eu precise te ensinar as regras."

Os Dois Grandes Problemas que Eles Resolveram

Ao pedir para a IA criar esse gerente, eles encontraram dois problemas engraçados:

O Problema do "Código Gordo" (Bloat):
Imagine que você pede para a IA escrever um código de seleção. Ela, tentando ser muito detalhista, escreve um manual de 500 páginas para decidir quem fica na equipe. O código funciona, mas é lento, difícil de ler e cheio de coisas inúteis. É como ter um manual de instruções de um fogão que tem 100 páginas só para explicar como ligar o botão.
- A Solução: Eles ensinaram a IA a ser "minimalista". Eles disseram: "Escreva um código curto, direto e eficiente. Se for muito longo, não é bom." Isso forçou a IA a criar gerentes elegantes e rápidos.
O Problema da "Cegueira Semântica":
Às vezes, a IA olhava apenas para a média de desempenho. "O ajudante A acertou 50% das vezes no total, o ajudante B acertou 50% também. Vamos escolher o A."
Mas e se o ajudante A só acertava quando chovia e o B só acertava quando fazia sol? Se você escolher apenas um, você perde a capacidade de lidar com o outro clima. A IA precisava entender a nuance (a semântica) de onde cada um era bom.
- A Solução: Eles deram para a IA um "mapa de calor" detalhado. Em vez de dizer "média 50%", eles mostraram: "A é ótimo na chuva, péssimo no sol. B é o oposto". Assim, a IA aprendeu a criar um gerente que mistura o melhor dos dois mundos, escolhendo ajudantes que se complementam.

Como Funciona a "Meta-Aprendizagem"?

Pense nisso como um Torneio de Culinária dentro de um Torneio de Culinária.

O Torneio Interno (A Cozinha): A IA cria um "Gerente de Seleção". Esse gerente é colocado dentro de um algoritmo que tenta resolver problemas reais (como prever preços de casas ou crescimento de plantas). O gerente tenta escolher as melhores receitas.
O Torneio Externo (O Julgamento): A IA observa se o gerente que ela criou foi bom. Se o gerente fez o algoritmo funcionar muito bem, a IA guarda essa ideia. Se foi ruim, ela descarta.
A Evolução: A IA pega os melhores gerentes, mistura as partes boas deles (como um chef pegando o tempero do prato A e o molho do prato B) e cria uma nova versão, ainda melhor. Ela repete isso milhares de vezes.

O Resultado: O "Super-Gerente" (Omni)

No final, a IA criou um gerente chamado Omni.

Ele é melhor que os humanos: Quando testado em 116 problemas diferentes (desde prever o clima até o preço de ações), o gerente criado pela IA superou 9 gerentes criados por especialistas humanos.
Ele é versátil: Ele não é apenas bom em um tipo de problema; ele se adapta a tudo.
Ele é eficiente: Os códigos que ele gera são curtos e fáceis de entender (interpretáveis), o que é raro em inteligência artificial.

A Analogia Final: O Maestro

Imagine uma orquestra.

Os músicos são as equações matemáticas tentando resolver o problema.
O Gerente de Seleção é o maestro que decide quem toca e quem fica em silêncio.
Antes, tínhamos maestros humanos que seguiam partituras antigas e rígidas.
Agora, usamos uma IA para compor um novo maestro (o Omni). Esse novo maestro ouve cada músico individualmente, entende onde cada um brilha (na chuva ou no sol), evita que a orquestra toque músicas desnecessariamente longas e complexas, e cria uma sinfonia perfeita.

Em resumo: Os autores mostraram que podemos usar uma Inteligência Artificial para criar outra Inteligência Artificial (o algoritmo de seleção) que é tão boa, ou até melhor, do que qualquer coisa que um humano pudesse inventar manualmente. Eles provaram que a IA não só pode resolver problemas, mas pode inventar as regras do jogo para resolver problemas melhor do que nós.

Each language version is independently generated for its own context, not a direct translation.

Título: LLM-Meta-SR: Aprendizado em Contexto para Evolução de Operadores de Seleção em Regressão Simbólica

1. O Problema

A Regressão Simbólica (SR) é a tarefa de descobrir expressões matemáticas que modelam com precisão um conjunto de dados, oferecendo modelos interpretáveis. Algoritmos evolutivos, como a Programação Genética (GP), são amplamente utilizados para SR. No entanto, o componente crítico que determina a eficácia desses algoritmos é o operador de seleção (que decide quais soluções são preservadas e recombinadas).

Os desafios identificados pelos autores são:

Design Manual: Os operadores de seleção atuais (como seleção por torneio, lexicase, Boltzmann) são projetados manualmente por especialistas, exigindo esforço significativo e tentativa e erro.
Limitações dos Métodos Baseados em LLM: Embora Grandes Modelos de Linguagem (LLMs) tenham sido usados para gerar soluções em SR, a seleção ainda é manual. Além disso, abordagens anteriores de evolução de algoritmos por LLM sofrem de:
1. Falta de Orientação Semântica: Os LLMs frequentemente recebem apenas uma pontuação média de desempenho, ignorando diferenças comportamentais finas entre tarefas (ex: um algoritmo pode ser bom em um dataset e ruim em outro, mas ter a mesma média).
2. Inchaço de Código (Code Bloat): Os LLMs tendem a gerar código excessivamente longo e complexo, o que prejudica a interpretabilidade, desperdiça tokens e estagna a evolução.

2. Metodologia: O Framework LLM-Meta-SR

O artigo propõe um framework de meta-aprendizado onde um LLM evolui automaticamente operadores de seleção para algoritmos de SR, em vez de evoluir as próprias expressões simbólicas.

Arquitetura Principal:

Representação da Solução: Cada indivíduo na população meta-evolutiva é um trecho de código Python que implementa um operador de seleção.
Loop Duplo (Nested Loops):
- Loop Interno: Executa um algoritmo de SR em múltiplos conjuntos de dados de treinamento para avaliar a qualidade do operador de seleção candidato.
- Loop Externo (Meta-Evolução): O LLM gera novos operadores de seleção com base no histórico de design e avaliação dos operadores anteriores.

Inovações Chave para Superar Limitações:

Evolução Consciente de Semântica (Semantics-Aware Evolution):
- Em vez de usar apenas a pontuação média, o framework fornece ao LLM vetores de desempenho detalhados (pontuação em cada dataset individual).
- Seleção Complementar: O algoritmo seleciona pares de operadores pais que são complementares (um performa bem onde o outro performa mal). Isso permite que o LLM integre pontos fortes distintos para criar um operador híbrido superior.
Controle de Inchaço (Bloat Control):
- Limitação por Prompt: Instruções explícitas no prompt para limitar o número de linhas de código.
- Seleção de Sobrevivência Multi-objetivo: Uma estratégia de seleção que considera tanto o desempenho (fitness) quanto o comprimento do código, utilizando uma métrica de dominância fraca de Pareto e similaridade de código (CodeBLEU) para eliminar operadores redundantes e complexos.
Incorporação de Conhecimento de Domínio:
- O prompt inclui princípios de design específicos para operadores de seleção ideais:
  - Consciência de Diversidade: Manter populações diversas.
  - Consciência de Interpretabilidade: Preferir soluções com menos nós.
  - Pressão de Seleção Dinâmica: Ajustar a pressão de seleção conforme a evolução avança (exploração inicial vs. exploração final).
  - Consciência de Complementaridade: Favorecer pais com erros não correlacionados.
  - Eficiência Vetorial: Priorizar operações vetoriais (NumPy) para velocidade.

3. Contribuições Principais

Framework Automatizado: Propõe o primeiro framework que usa LLMs para evoluir automaticamente operadores de seleção para SR, superando o design manual.
Descoberta de Operadores Superiores: Demonstra que um LLM pode descobrir operadores que superam os projetados por especialistas humanos.
Mecanismos de Controle: Introduz estratégias eficazes para mitigar o inchaço de código e alavancar informações semânticas granulares, que são frequentemente negligenciadas.
Integração com SOTA: Integra o operador evoluído em um algoritmo de SR assistido por Transformer de última geração (RAG-SR), elevando seu desempenho.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark SRBench (120 datasets de regressão).

Desempenho contra Baselines: O operador evoluído (chamado Omni) superou 9 operadores de seleção baseados em especialistas (como Lexicase, Tournament, Boltzmann) em 116 datasets.
- O Omni alcançou o melhor desempenho geral em termos de $R^2$ (coeficiente de determinação).
- Estatisticamente, o Omni foi superior na maioria das comparações pareadas (Teste de Wilcoxon).
Interpretabilidade e Tamanho: O operador evoluído gerou modelos com tamanhos de árvore menores (mais interpretáveis) em comparação com muitos baselines, mantendo alta precisão.
Impacto em Algoritmos Modernos: Ao substituir o operador de seleção padrão no algoritmo RAG-SR (State-of-the-Art), a versão modificada (RAG-SR-Omni) alcançou o melhor desempenho entre 28 algoritmos (incluindo SR e outros métodos de aprendizado de máquina) em 116 datasets.
Ablação: Estudos mostraram que remover o conhecimento de domínio ou o controle de inchaço resultou em queda significativa de desempenho e aumento excessivo no tamanho do código.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na Automação de Design de Algoritmos (AutoML). Ele demonstra que os LLMs não são apenas ferramentas para gerar soluções, mas podem atuar como "meta-engenheiros" capazes de projetar os próprios mecanismos de busca de algoritmos evolutivos.

A principal implicação é que a combinação de conhecimento de domínio estruturado com a capacidade de raciocínio e síntese de código dos LLMs permite superar o conhecimento humano especializado na criação de componentes algorítmicos. O framework LLM-Meta-SR oferece um caminho para criar algoritmos de regressão simbólica mais robustos, eficientes e interpretáveis, com potencial de aplicação em outras áreas de computação evolutiva além da regressão.