Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization

Resumo Técnico: Estimativa de Difusão Aprimorada por Proximidade de Suporte (SPADE) para Otimização de Caixa-Preta Offline

Declaração do Problema
A otimização de caixa-preta offline (BBO) busca descobrir novos projetos com altas pontuações de propriedades utilizando apenas um conjunto de dados estático de avaliações passadas, sem acesso a um oráculo de verdade fundamental para verificação. Esse cenário é prevalente em áreas onde a coleta de dados online é proibitivamente cara ou perigosa, como no design de proteínas, otimização de sequências de DNA e ajuste de aceleradores de hardware. O desafio central no BBO offline é o problema de extrapolação fora da distribuição (OOD): algoritmos de otimização tendem a explorar erros epistêmicos em modelos substitutos, gravitando em direção a regiões adversariais onde o desempenho é superestimado.

As abordagens existentes geralmente se enquadram em dois paradigmas com limitações distintas:

1. Métodos Inversos: Estes modelam a distribuição condicional de projetos $p(x|y)$ para gerar candidatos com altas pontuações-alvo. No entanto, aprender o mapeamento inverso é frequentemente um problema mal posto de um-para-muitos, levando a dificuldades de treinamento e colapso de modos.
2. Métodos Diretos: Estes aprendem um substituto $y \approx f_\theta(x)$ para guiar a busca. Modelos de regressão padrão (por exemplo, redes neurais determinísticas) frequentemente falham em capturar a incerteza distribucional complexa necessária para detectar riscos OOD. Embora existam métodos de ensemble ou bayesianos, eles podem ser computacionalmente intensivos e difíceis de escalar. Além disso, simplesmente substituir um regressor por um modelo de difusão é insuficiente, pois o treinamento padrão de difusão foca em capturar a distribuição de treinamento sem garantir os valores esperados calibrados ou a precisão de classificação global necessárias para uma otimização eficaz.

Metodologia: SPADE
Os autores propõem o SPADE (Estimativa de Difusão Aprimorada por Proximidade de Suporte), um framework unificado que reinventa a modelagem de substitutos diretos por meio de modelagem generativa condicional. O SPADE modela a verossimilhança direta $p(y|x)$ usando um modelo de difusão, aprimorado por dois módulos sinérgicos para atender às necessidades específicas da otimização:

1. Estimativa de Difusão Calibrada:
   Para garantir que o modelo de difusão sirva como um substituto confiável, este módulo impõe consistência global nos momentos estatísticos e classificações pareadas. Ele introduz uma função de perda de calibração que inclui:

   • Correspondência de momento de primeira ordem: Ancoragem da média preditiva à verdade fundamental.
   • Consistência de classificação: Garantia de que a topologia do substituto se alinhe com a paisagem real do objetivo, penalizando ordenações pareadas incorretas de projetos.
     Isso preenche a lacuna entre objetivos padrão de previsão de ruído e as estatísticas globais necessárias para a otimização.

2. Regularização por Proximidade de Suporte:
   Para abordar o problema OOD, o SPADE internaliza a restrição do manifold de dados $p(x)$ diretamente no modelo de verossimilhança, sem treinar um modelo generativo separado. Ele utiliza um estimador de densidade k-vizinhos mais próximos (kNN) não paramétrico para medir o suporte dos dados.

   • Mecanismo: Para projetos distantes do manifold de dados (baixa densidade), a regularização penaliza explicitamente o substituto induzindo redução da média (prevendo pontuações mais baixas) e inflação da variância (aumentando a incerteza).
   • Equivalência Teórica: Os autores provam que essa regularização geométrica é equivalente de primeira ordem à maximização de uma posteriori bayesiana $p(x|y) \propto p(y|x)p(x)$. Especificamente, mostra-se que maximizar uma função de aquisição consciente do suporte é equivalente a otimizar o objetivo conjunto de utilidade (verossimilhança) e probabilidade a priori.

Estratégia de Otimização
Uma vez treinado o substituto, o framework emprega uma estratégia de otimização baseada em aquisição. Diferentemente de métodos determinísticos que usam ascensão de gradiente, o SPADE utiliza um substituto probabilístico para permitir uma busca global. Ele emprega o Limite Inferior de Confiança (LCB) como função de aquisição, que equilibra o desempenho esperado e a incerteza epistêmica. A otimização é realizada usando um Algoritmo Evolutivo (EA) inicializado com sementes de alta pontuação do conjunto de dados.

Principais Contribuições

• Modelagem de Difusão Direta: O artigo explora o potencial dos modelos de difusão para modelagem de substitutos diretos ($p(y|x)$), demonstrando sua superioridade sobre a regressão determinística na captura de distribuições preditivas complexas (heterocedasticidade e multimodalidade) para BBO offline.
• Estimativa de Difusão Calibrada: A introdução de um módulo que incorpora correspondência de momentos e regularização de classificação pareada, adaptando efetivamente o objetivo de treinamento de difusão aos requisitos de otimização.
• Regularização por Proximidade de Suporte: Um mecanismo inovador para impor restrições de manifold de dados via estimativa de densidade baseada em kNN, com uma prova teórica mostrando sua equivalência à maximização da utilidade conjunta e probabilidade a priori.
• Desempenho de Estado da Arte: Validação empírica mostrando que o SPADE alcança resultados superiores em diversos benchmarks.

Resultados Experimentais
Os autores avaliaram o SPADE em seis tarefas do conjunto Design-Bench (cobrindo domínios contínuos como Supercondutor, Morfologia de Formiga e Morfologia de D'Kitty, e domínios discretos como TF Bind 8 e TF Bind 10) e um benchmark de otimização de Mistura de Dados de LLM.

• Desempenho: O SPADE alcançou desempenho de estado da arte, garantindo a melhor Classificação Média (2,8) e Classificação Mediana (1,5) entre 24 métodos avaliados. Alcançou pontuações máximas normalizadas no top-2 em 5 de 6 tarefas.
• Robustez: Em tarefas contínuas, o SPADE demonstrou capacidades de extrapolação excepcionais com baixa variância, evitando a instabilidade observada em métodos como CMA-ES. Em tarefas discretas, superou métodos generativos inversos (que frequentemente sofrem de colapso de modos) e métodos de ensemble padrão, particularmente na complexa tarefa TF Bind 10.
• Estudos de Ablação: Experimentos confirmaram que tanto o módulo de Estimativa de Difusão Calibrada quanto o de Regularização por Proximidade de Suporte são essenciais e complementares; a remoção de qualquer um resultou em degradação de desempenho em comparação com o framework completo.

Significado e Alegações
O artigo afirma que o SPADE estabelece um novo benchmark de estado da arte no BBO offline, equilibrando efetivamente a exploração de regiões de alta pontuação com restrições rigorosas de proximidade de suporte. Ao unificar a modelagem direta com princípios de inferência bayesiana por meio de regularização geométrica, o framework produz projetos que não são apenas de alto desempenho, mas também fisicamente ou biologicamente plausíveis, mitigando assim o "hacking de recompensa" e melhorando a confiabilidade em regiões OOD. Os autores posicionam este trabalho como um passo em direção a sistemas de otimização mais seguros e robustos para descoberta científica e design de engenharia.