Resumo Técnico: Quando Equações Boas Recebem Pontuações Ruins

Declaração do Problema

A Regressão Simbólica (RS) visa descobrir equações matemáticas interpretáveis a partir de dados observacionais. A maioria dos métodos modernos de RS opera dentro de um framework de otimização de dois níveis: um loop externo busca estruturas de equações discretas (por exemplo, árvores de expressão), enquanto um loop interno otimiza os parâmetros contínuos (constantes, coeficientes) para uma dada estrutura.

O artigo identifica um gargalo crítico denominado "Estrutura Boa, Pontuação Ruim". Neste fenômeno, equações estruturalmente corretas recebem pontuações de aptidão (fitness) pobres porque a otimização de parâmetros do loop interno falha em localizar o mínimo global. Essa falha decorre de:

1. Paisagens Não Convexas: Operadores não lineares aninhados (por exemplo, exponenciais, funções trigonométricas) criam superfícies de perda altamente não convexas com numerosos mínimos locais, frequentemente descritos como uma topologia de "Agulha em um Lago".
2. Solucionadores Inadequados: Os sistemas atuais de RS dependem de solucionadores locais genéricos e rápidos (por exemplo, BFGS, Nelder-Mead) que são sensíveis à inicialização. Esses solucionadores frequentemente convergem para mínimos locais subótimos ou estagnam em planícies planas, atribuindo pontuações injustificadamente baixas a estruturas corretas.
3. Desvio na Busca: O loop externo, enganado por essas pontuações pobres, descarta candidatos promissores, impedindo a convergência para a verdadeira lei física e desperdiçando recursos computacionais.

Os autores argumentam que o gargalo mudou da geração de estruturas válidas para a avaliação precisa delas.

Metodologia: SAGE-Fit

Para abordar isso, os autores propõem o SAGE-Fit (Avaliador Consciente de Estrutura e Guiado por Semântica para Regressão Simbólica), um framework unificado de ajuste de parâmetros projetado como um módulo plug-and-play. O SAGE-Fit explora dois "priors nativos" inerentes às expressões simbólicas: estrutura algébrica e semântica funcional.

O framework consiste em três módulos integrados:

1. Redução de Dimensionalidade Consciente de Estrutura (Módulo 1)

• Conceito: Explora o prior de estrutura algébrica. Nem todos os parâmetros em uma equação são não lineares; alguns são condicionalmente lineares (por exemplo, amplitudes em $a \sin(bx+c)$).
• Mecanismo: O sistema analisa a Árvore de Sintaxe Abstrata (AST) da equação candidata para identificar parâmetros condicionalmente lineares. Emprega Projeção de Variáveis (VarPro) para desacoplar deterministicamente esses parâmetros lineares ($\alpha$) dos não lineares ($\beta$).
• Efeito: Para qualquer conjunto fixo de parâmetros não lineares $\beta$, os parâmetros lineares ótimos $\alpha^*$ são resolvidos em forma fechada via mínimos quadrados lineares. Isso colapsa o espaço de busca misto de alta dimensão em uma variedade puramente não linear de dimensão inferior, eliminando o acoplamento espúrio linear-a-não-linear que causa má condicionamento.

2. Inicialização Guiada por Semântica (Módulo 2)

• Conceito: Explora o prior de semântica funcional. A distância no espaço de parâmetros é enganosa (por exemplo, $\sin(x)$ e $\sin(x+2\pi)$ têm parâmetros diferentes, mas funções idênticas). A amostragem aleatória de parâmetros leva ao "colapso do lago", onde múltiplos pontos de partida convergem para o mesmo mínimo local.
• Mecanismo: Os autores introduzem a Amostragem do Ponto Mais Distante no Espaço de Funções (FS-FPS).
  1. Gere um conjunto superamostrado de vetores de parâmetros candidatos.
  2. Mapeie esses vetores para seus vetores de saída previstos (impressões digitais funcionais) nos dados de treinamento.
  3. Selecione um conjunto diversificado de pontos de partida que estejam maximamente separados no espaço de funções (distância euclidiana normalizada das saídas), em vez do espaço de parâmetros.
• Efeito: Isso garante que múltiplos pontos de partida explorem bacias de atrator genuinamente distintas, reduzindo significativamente o risco de perder o ótimo global devido a uma inicialização pobre.

3. Atração Local Especializada em RS (Módulo 3)

• Conceito: Mesmo na variedade reduzida, a paisagem permanece não convexa. O gradiente descendente padrão é ineficiente.
• Mecanismo: O SAGE-Fit emprega um método Gauss-Newton Projetado com amortecimento de Região de Confiança Reflexiva (TRF). A Jacobiana é computada implicitamente, levando em conta a dependência dos parâmetros lineares em relação aos não lineares.
• Efeito: Isso fornece uma descensão consciente da curvatura na variedade não linear irredutível, permitindo convergência rápida para o ótimo global a partir das sementes de alta qualidade fornecidas pelo Módulo 2.

Contribuições Principais

1. Diagnóstico do Gargalo: O artigo fornece uma análise em nível de paisagem caracterizando as falhas de otimização de RS em topologias de "Agulha em um Lago" para estruturas corretas e comportamentos diversos e instáveis para estruturas parcialmente corretas.
2. Framework SAGE-Fit: Um avaliador novo e plug-and-play que integra priores estruturais (via VarPro) e priores semânticos (via FS-FPS) para superar as limitações de otimizadores genéricos.
3. Validação Empírica: Experimentos extensos em diversos paradigmas de RS (Programação Genética, Aprendizado por Reforço e busca baseada em LLM) demonstram que atualizar apenas o otimizador do loop interno melhora significativamente o desempenho sem modificar a lógica de busca do loop externo.

Resultados Experimentais

Os autores avaliaram o SAGE-Fit no conjunto de dados LSR-Synth (128 problemas de descoberta de equações) em quatro domínios: Química, Biologia, Física e Ciência dos Materiais. Eles o testaram como substituto do otimizador do loop interno em quatro sistemas de base: PySR, uDSR, LaSR e LLM-SR.

• Acurácia Simbólica (AS): As variantes "Plus" (bases + SAGE-Fit) superaram consistentemente as bases. Por exemplo, o PySR+ aumentou a Acurácia Simbólica de 2,78% para 8,33% (uma melhoria de 3x), e o uDSR+ alcançou a maior AS de 13,89% no conjunto de dados LSR-Synth.
• Fidelidade Numérica: As variantes "Plus" mostraram melhorias significativas na Acurácia à Tolerância ($Acc_{0.1}$) e no Erro Quadrático Médio Normalizado (NMSE), indicando que a busca foi guiada para formas estruturalmente superiores em vez de apenas ajustar melhor as incorretas.
• Análise de Fidelidade do Avaliador:
  • Taxa de Perda: Nas trajetórias do LLM-SR, o avaliador original causou uma "taxa de perda" de até 61,79% em Ciência dos Materiais, significando que candidatos promissores foram descartados devido a um ajuste pobre. O SAGE-Fit reduziu isso significativamente.
  • Análise em Nível de Candidato: No Banco de Progresso Estrutural (um benchmark de 200 candidatos intermediários), o SAGE-Fit reduziu a taxa de "progresso perdido" de 51,5% (usando BFGS multi-início padrão) para 8,0%.
  • Melhoria em Log-Razão: A substituição do avaliador original pelo SAGE-Fit resultou em melhorias medianas em log-razão no NMSE de 1,91 (Biologia), 1,59 (Química), 0,69 (Física) e 5,67 (Ciência dos Materiais), indicando reduções de erro de ordens de magnitude em alguns domínios.

Significado e Afirmações

O artigo afirma que a fidelidade do avaliador do loop interno é um gargalo majoritário na regressão simbólica em loop fechado, particularmente para abordagens guiadas por LLM. O significado deste trabalho reside em demonstrar que:

• A otimização do loop interno é uma alavanca autônoma: Melhorar apenas o ajuste de parâmetros pode fortalecer substancialmente os sistemas principais de RS sem exigir mudanças complexas na lógica de busca simbólica (por exemplo, novos operadores evolutivos ou prompts de LLM).
• Priors importam: Tratar expressões simbólicas como caixas pretas ignora informações algébricas e semânticas críticas. Aproveitar explicitamente esses priores resolve o fenômeno "Estrutura Boa, Pontuação Ruim".
• Melhoria Universal: A abordagem é "plug-and-play", melhorando universalmente o desempenho de diversos sistemas de RS (de evolutivos a baseados em LLM) garantindo que candidatos estruturalmente corretos não sejam descartados prematuramente devido a falhas de otimização.

Os autores concluem que, ao mitigar a patologia "Agulha em um Lago" e prevenir o colapso de bacias, o SAGE-Fit permite que os sistemas de RS realizem seu potencial total na descoberta de leis científicas complexas.