LLM Driven Design of Continuous Optimization Problems with Controllable High-level Properties

Resumo Técnico: Design de Problemas de Otimização Contínua Orientado por LLM com Propriedades de Alto Nível Controláveis

Enunciado do Problema
O benchmarking em otimização de caixa-preta contínua é atualmente dificultado pela limitada diversidade estrutural das suítes de testes existentes, como a suíte BBOB (Black-Box Optimization Benchmarking). Como observado em trabalhos anteriores, essas suítes frequentemente cobrem apenas regiões estreitas do espaço de problemas, o que restringe a generalização de modelos de Seleção Automática de Algoritmos (AAS) e torna a avaliação altamente dependente de divisões de dados. Embora tentativas anteriores de gerar novos problemas — como combinações afins de funções existentes ou geradores baseados em árvores aleatórias — tenham sido propostas, elas oferecem ou uma novidade limitada ou carecem da capacidade de controlar propriedades específicas de alto nível do landscape. Este artigo investiga se Grandes Modelos de Linguagem (LLMs), inseridos em um loop evolutivo, podem ser usados para sintetizar automaticamente problemas de otimização que exibam características de landscape de alto nível claramente definidas e interpretáveis.

Metodologia
Os autores propõem um framework que estende o LLaMEA (Large Language Model–driven Evolutionary Algorithm), originalmente projetado para a geração de algoritmos, para o domínio da geração de problemas. A metodologia segue um processo de três etapas:

1. Definição do Modelo de Características:
   Os autores visam cinco propriedades de alto nível derivadas de Análise de Landscape Exploratória (ELA): multimodalidade, separabilidade, homogeneidade do tamanho da bacia, homogeneidade do espaço de busca e contraste entre ótimo global e local. Modelos de aprendizado de máquina (especificamente regressores XGBoost) são treinados no conjunto de dados BBOB para prever essas propriedades com base em características ELA extraídas de amostras de amostragem de hipercubo latino. Para a separabilidade, um teste numérico direto usando estimativas de diferença finita de interações de variáveis é empregado em vez de um modelo preditivo.

2. Geração de Problemas via LLM:
   O framework LLaMEA evolui código Python executável que representa funções de otimização. O LLM (especificamente o gpt5-nano foi selecionado por seu equilíbrio entre desempenho e eficiência) recebe prompts em linguagem natural descrevendo as propriedades alvo.

   • Avaliação de Fitness: Os candidatos gerados são pontuados pelos modelos de predição de propriedades treinados.
   • Mecanismo de Diversidade: Para evitar que a população convirja para landscapes redundantes, os autores introduzem um mecanismo de compartilhamento de fitness no espaço ELA. Isso ajusta o fitness de um indivíduo com base em sua densidade no espaço de características ELA (usando distâncias de Manhattan padronizadas por z-score), penalizando soluções que são muito similares a outras e incentivando a exploração de estruturas geométricas diversas. Um raio de nicho adaptativo garante robustez ao longo das gerações.

3. Verificação de Propriedades:
   Como os modelos preditivos são aproximações, uma etapa rigorosa de verificação é aplicada. Isso envolve uma análise de bacia de atração (buscando iterativamente caminhos de melhoria para identificar ótimos locais e tamanhos de bacia) e testes estatísticos. Esta etapa é computacionalmente cara e é aplicada primariamente a instâncias 2D para confirmar que as funções geradas realmente exibem os traços estruturais pretendidos.

Principais Contribuições

• Primeira Síntese de Problemas Orientada por LLM: Este trabalho apresenta o primeiro caso de uso de computação evolutiva orientada por LLM para a síntese automática de problemas de otimização com propriedades de alto nível pré-especificadas, indo além da geração de solvers para a geração de instâncias de problemas.
• Compartilhamento de Fitness Adaptativo: O artigo estende o framework LLaMEA com um novo mecanismo de compartilhamento de fitness operando no espaço de características ELA para promover a diversidade entre os landscapes gerados.
• Framework de Verificação: Os autores propõem e aplicam uma abordagem de verificação multifacetada combinando modelagem preditiva, análise de bacia de atração e inspeção visual para validar a integridade estrutural dos problemas gerados.
• Biblioteca Aberta: O resultado é uma biblioteca reproduzível e interpretável de problemas de benchmark com propriedades de alto nível específicas, disponibilizada como uma biblioteca Python.

Resultos

• Seleção de Modelo: Experimentos preliminares compararam cinco LLMs. O gpt5-nano alcançou a maior taxa de sucesso (98,7%) na geração de problemas com combinações específicas de propriedades (ex: homogeneidade do tamanho da bacia e separabilidade) e foi selecionado para o estudo principal.
• Diversidade: O mecanismo de compartilhamento de fitness mostrou aumentar significativamente a diversidade dos landscapes gerados. As distribuições de distâncias de vizinho mais próximo no espaço ELA deslocaram-se para valores maiores quando o compartilhamento de fitness estava ativo, confirmando que o mecanismo direciona com sucesso o gerador para longe de soluções redundantes.
• Verificação de Propriedades: A análise de bacia de atração confirmou que muitos dos problemas gerados exibiram os traços pretendidos. Por exemplo, problemas otimizados para multimodalidade continham consistentemente múltiplas bacias de atração, e aqueles otimizados para alto contraste global-local mostraram diferenças significativas de fitness entre o ótimo global e os ótimos locais.
• Expansão do Espaço de Problemas: Uma visualização t-SNE dos problemas gerados contra o conjunto BBOB demonstrou que as instâncias geradas pelo LLM expandem o espaço de problemas existente em vez de formar um cluster não relacionado. Elas preenchem lacunas no espaço de características, particularmente em regiões sub-representadas por benchmarks padrão.

Significância e Alegações
O artigo afirma que a geração de problemas orientada por LLM é uma "direção promissora e flexível" para a criação de benchmarks interpretáveis. Ao vincular grupos de características ELA a descrições qualitativas legíveis por humanos, a abordagem permite a geração de landscapes diversos e verificáveis sem exigir conhecimento especializado para selecionar alvos numéricos de características. A biblioteca resultante oferece um amplo conjunto de problemas que podem beneficiar a análise de landscape e tarefas downstream, como a seleção automática de algoritmos. Os autores observam modestamente que, embora a abordagem seja eficaz, trabalhos futuros são necessários para comparar estruturalmente este método com outros geradores, examinar sistematicamente a sensibilidade à escolha do LLM e verificar se estas instâncias melhoram a generalização de seletores de algoritmos em conjuntos de problemas não vistos.