Multi-Modal Learning meets Genetic Programming: Analyzing Alignment in Latent Space Optimization

Título: Aprendizado Multimodal encontra Programação Genética: Analisando o Alinhamento na Otimização no Espaço Latente

1. Problema e Contexto

A Regressão Simbólica (SR) visa descobrir equações matemáticas interpretáveis a partir de dados numéricos. Tradicionalmente, isso é feito usando Programação Genética (GP), que realiza uma busca combinatória sobre estruturas simbólicas. Métodos recentes, conhecidos como Otimização no Espaço Latente para GP (LSO-GP), tentam transformar essa busca combinatória em otimização contínua, mapeando expressões simbólicas para espaços latentes densos usando codificadores neurais.

O modelo SNIP (Meidani et al., 2024) foi proposto como uma evolução do LSO-GP. Inspirado no modelo multimodal CLIP, o SNIP utiliza um aprendizado contrastivo para alinhar dois codificadores:

1. Um codificador simbólico (estrutura da equação).
2. Um codificador numérico (comportamento dos dados de entrada/saída).

A premissa é que, ao alinhar essas duas modalidades em um espaço latente compartilhado, a otimização no espaço numérico (onde é mais fácil) guiará implicitamente a busca por soluções simbólicas corretas. No entanto, a literatura sobre modelos como o CLIP sugere que o alinhamento aprendido é frequentemente granularidade grosseira (captura semântica de alto nível, mas falha em distinções estruturais finas).

O Problema Central: O SNIP realmente cumpre a promessa de uma otimização bimodal eficaz para SR? O alinhamento aprendido é suficientemente fino para distinguir entre expressões simbolicamente diferentes, e o algoritmo de otimização realmente explora esse alinhamento?

2. Metodologia

Os autores investigam duas hipóteses principais através de dois estudos experimentais complementares:

• Hipótese 1 (H1 - Exploração do Algoritmo): O procedimento de LSO do SNIP explora ativamente o alinhamento cruzado aprendido durante a otimização?
• Hipótese 2 (H2 - Granularidade do Alinhamento): O alinhamento aprendido é suficientemente fino para distinguir entre expressões simbolicamente diferentes (estruturalmente similares)?

Estudo 1: Alinhamento Cruzado Durante a Otimização

• Objetivo: Verificar se a melhoria na aptidão numérica ($R^2$) correlaciona-se com a melhoria no alinhamento entre a representação simbólica da solução candidata e a representação numérica dos dados alvo.
• Procedimento:
  • Replicação da configuração experimental original do SNIP.
  • Execução de 80 iterações de otimização (usando Grey Wolf Optimizer - GWO) em benchmarks Feynman e Strogatz.
  • Monitoramento simultâneo da métrica de aptidão ($R^2$) e da similaridade de cosseno (alinhamento) entre o embedding simbólico do melhor indivíduo e o embedding numérico do alvo.

Estudo 2: Granularidade do Alinhamento (Tarefa de Recuperação)

• Objetivo: Avaliar se o modelo consegue distinguir a expressão correta de variantes perturbadas estruturalmente.
• Procedimento:
  • Dataset: Equações de física (Feynman) e expressões sintéticas.
  • Perturbações: Geração de variantes minimamente alteradas da expressão base (troca de operadores unários, troca de operadores binários, mudança de constantes, substituição de variáveis).
  • Tarefa: Dado o embedding numérico dos dados observados, o modelo deve classificar quais das $K$ expressões candidatas (base + perturbações) possui o maior alinhamento (similaridade de cosseno) com o alvo.
  • Métrica: Taxa de recuperação (acurácia de rank 1) comparada a uma linha de base aleatória.

3. Principais Contribuições e Resultados

Resultado 1: Falta de Exploração Ativa (Confirmação de H1)

• Aptidão Numérica ($R^2$): Aumenta consistentemente durante a otimização (de ~0.73 para ~0.99 no benchmark Feynman), indicando que o algoritmo encontra soluções que se ajustam bem aos dados.
• Alinhamento Cruzado: Permanece plano ou até diminui ligeiramente durante todo o processo de otimização.
• Conclusão: O algoritmo de otimização não utiliza o alinhamento aprendido para guiar a busca. A melhoria na precisão numérica ocorre independentemente da relevância simbólica medida pelo alinhamento no espaço latente.

Resultado 2: Granularidade Grosseira (Confirmação de H2)

• Desempenho de Recuperação: O modelo falha em distinguir a expressão correta das perturbações.
  • No conjunto Feynman, a acurácia de recuperação foi de 18,3%, inferior à linha de base aleatória de 27,3%. Isso significa que o modelo frequentemente classifica expressões perturbadas como mais similares ao alvo do que a expressão correta.
  • No conjunto Sintético (dados de treinamento), a acurácia foi de 23,0%, equivalente ao acaso (22,9%).
• Análise por Tipo de Perturbação:
  • Trocas de Operadores Binários: São as mais difíceis de detectar (65,8% de "taxa de engano"). O modelo não consegue distinguir, por exemplo, entre $x+y$ e $x \times y$ se o comportamento numérico for similar.
  • Substituição de Variáveis: É a mais fácil de detectar, sugerindo que o modelo aprende a identidade das variáveis, mas falha na estrutura operacional.
• Conclusão: O alinhamento aprendido pelo SNIP é muito grosseiro. Ele captura comportamentos numéricos gerais, mas falha em capturar as distinções estruturais finas necessárias para uma busca simbólica principista.

4. Significado e Implicações

1. Limitação Fundamental do SNIP: O sucesso do SNIP em ajustar dados ($R^2$ alto) não se traduz em sucesso na recuperação da estrutura simbólica correta. Existe uma lacuna fundamental entre a otimização numérica e a busca simbólica neste modelo.
2. Crítica ao Uso de Alinhamento Contrastivo: Assim como o CLIP falha em distinguir nuances visuais/linguísticas finas, o SNIP falha em distinguir nuances simbólicas finas. O alinhamento "saco de conceitos" (bag of concepts) não é suficiente para SR, onde pequenas mudanças estruturais (ex: trocar $\sin$ por $\cos$) podem alterar drasticamente a função.
3. Roteiro para Trabalhos Futuros:
   • Melhorias no Modelo: É necessário desenvolver objetivos de treinamento que forcem uma alinhamento de granularidade fina. Isso pode envolver "negativos difíceis" (expressões estruturalmente similares mas semanticamente diferentes) e tarefas auxiliares que exijam compreensão simbólica detalhada.
   • Melhorias no Algoritmo: Mesmo que o alinhamento fosse melhorado, os algoritmos de LSO precisam ser modificados para explorar ativamente essa relação cruzada (otimizar tanto a aptidão quanto o alinhamento), em vez de apenas otimizar a aptidão numérica.
4. Impacto na Comunidade: O trabalho alerta que a simples adição de um codificador numérico e aprendizado contrastivo não resolve o problema da SR. A granularidade do alinhamento deve ser explicitamente avaliada e projetada, pois é um gargalo crítico para qualquer método de LSO multimodal.

Conclusão Final

O artigo demonstra que, embora a Otimização no Espaço Latente Multimodal tenha um potencial significativo para a Regressão Simbólica, a abordagem atual do SNIP não realiza essa promessa na prática. O modelo falha em dois níveis: o algoritmo não usa o alinhamento aprendido, e o próprio alinhamento é insuficientemente preciso para guiar a busca por estruturas simbólicas corretas. O caminho futuro reside em refinar os objetivos de aprendizado para alcançar alinhamentos de alta granularidade e desenvolver algoritmos que integrem explicitamente essas relações multimodais.