ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion

Resumo Técnico: ParetoPilot

Definição do Problema

A Otimização Multiobjetivo Offline (Offline MOO) busca descobrir novos designs Pareto-otimizados utilizando apenas conjuntos de dados estáticos e pré-coletados, evitando interações caras com ambientes online. Isso é crítico em domínos como descoberta de fármacos, design de materiais e busca de arquitetura de hardware, onde as avaliações de função são custosas ou restritas.

O desafio central reside em alcançar simultaneamente a convergência (empurrar as soluções em direção à verdadeira Fronteira de Pareto não observada) e a diversidade (garantir uma ampla cobertura através do espaço de trocas de objetivos). As abordagens de estado da arte atuais dependem predominantemente de modelos substitutos externos (ex: regressores de proxy ou classificadores de preferência) para guiar processos generativos. Essa dependência introduz três gargalos significativos:

1. Sobrecarga Computacional: Treinar substitutos separados para cada objetivo exige extensa sintonia de hiperparâmetros e recursos.
2. Extrapolação Não Confiável: Proxies externos frequentemente produzem pontuações enganosas para designs fora da distribuição (OOD), levando ao colapso do manifold e a soluções inválidas.
3. Restrições de Privacidade e Implantação: Treinar proxies específicos para tarefas exige acesso contínuo ao conjunto de dados offline original, violando o paradigma de modelos de fundação de implantar modelos apenas como pesos e conflitando com regulamentações estritas de privacidade de dados.

Metodologia: ParetoPilot e o Mecanismo IPG

Os autores propõem o ParetoPilot, um framework de difusão zero-surrogate que elimina a necessidade de modelos auxiliares externos. Em vez disso, ele aproveita os priors condicionais inerentemente incorporados em um modelo de difusão condicional pré-treinado. O framework opera intercalando um novo mecanismo de Inferência-Perturbação-Guia (IPG) dentro dos passos de denoising incondicional do processo de geração reversa.

O mecanismo IPG executa três operações sequenciais em intervalos específicos durante o processo de difusão:

1. Inferência: Ancoragem Implícita de Manifold

Em vez de usar um regressor externo, o framework infere implicitamente a direção objetiva instantânea ($y^*_t$) para uma amostra ruidosa $x_t$.

• Mecanismo: Ele minimiza uma perda de alinhamento ($L_{align}$) que mede a distância entre a previsão de ruído condicional ($\epsilon_\theta(x_t, y, t)$) e a previsão de ruído incondicional ($\epsilon_\theta(x_t, \emptyset, t)$).
• Estabilização: Para neutralizar a estocasticidade de alta frequência das previsões de ruído em timesteps grandes, o método emprega um otimizador Adam global, sem reset. Ao manter o estado de momentum do otimizador através dos passos de difusão, ele atua como um filtro passa-baixa natural, suavizando a trajetória de otimização do âncora inferido $y^*_t$.

2. Perturbação: Dinâmica de Fluidos Ortogonal

Uma vez estabelecido o âncora $y^*_t$, o mecanismo sintetiza um vetor de perturbação para guiar o lote de candidatos em direção à Fronteira de Pareto enquanto mantém a diversidade. Isso é alcançado através de um sistema de dinâmica de fluidos matematicamente ortogonalizado:

• Fase de Warmup: As perturbações são confinadas a passos onde $t \le T - T_{warmup}$ para permitir que o âncora se estabilize e evitar o colapso prematuro do manifold.
• Força de Convergência (Gravidade Paralela): Um campo de gravidade paralela unificado ($\vec{d}_{conv}$) impulsiona todas as soluções em direção a regiões ótimas enquanto preserva suas distâncias laterais relativas, mantendo assim a diversidade a priori da distribuição incondicional.
• Força de Diversidade (Repulsão Consciente de Bordas): Para garantir a cobertura de designs de trocas extremas, um multiplicador de "bordas" ($E_i$) é aplicado a soluções próximas aos limites, amplificando uma força repulsiva ($\vec{F}_{rep}$) que as empurra para fora.
• Ortogonalização: Para evitar que forças repulsivas se oponham à convergência, o vetor repulsivo é projetado no complemento ortogonal do campo de gravidade usando a ortogonalização de Gram-Schmidt. Isso desacopla estritamente a exploração (diversidade) da explotação (convergência).
• Annealing Dinâmico: Um cronograma temporal mistura as forças de convergência e diversidade, transitando de uma fase pesada em convergência para uma pesada em diversidade (ou vice-versa) conforme o processo se aproxima de $t=0$.

3. Guia: Extrapolação de CFG

O alvo perturbado pela condição ($y^{target}_t$) é alimentado diretamente na formulação padrão de Classifer-Free Guidance (CFG).

• A previsão de ruído modificada $\tilde{\epsilon}_t$ é computada como:
  $$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$$
• A escala de guia $w_t$ é interpolada linearmente junto com o cronograma de perturbação. Isso permite que o modelo direcione a geração para regiões diversas e Pareto-otimizadas sem nunca deixar o manifold de dados válido definido pela distribuição incondicional.

Principais Contribuições

1. Framework Zero-Surrogate: O ParetoPilot é o primeiro framework a realizar MOO offline aproveitando diretamente a informação condicional intrínseca de modelos de difusão pré-treinados, eliminando a necessidade de treinar modelos de proxy auxiliares.
2. Mecanismo IPG: Um mecanismo inovador que altera dinamicamente as trajetórias generativas ao inferir condições implícitas e aplicar forças de fluido ortogonalizadas. Isso guia explicitamente o processo de denoising para aproximar a verdadeira fronteira de Pareto enquanto preserva a privacidade dos dados.
3. Capacidade Plug-and-Play: O método atua como um módulo que pode ser implantado em distribuições aprendidas sem acesso aos dados de treinamento originais, alinhando-se com cenários práticos de implantação downstream.

Resultados Experimentais

Os autores avaliaram o ParetoPilot em 51 tarefas de MOO offline contínuas em quatro domínios: Funções Sintéticas, Busca de Arquitetura de Rede Neural Multiobjetivo (MO-NAS), Design Científico (SciDesign) e Engenharia do Mundo Real (RE).

• Desempenho: O ParetoPilot alcançou um Rank Médio de 6.81 e uma melhoria de 10,46% no Hypervolume (HV) em todas as tarefas, superando 14 baselines de estado da arte (incluindo métodos de forward baseados em surrgate como IOM, PcGrad e métodos inversos generativos como ParetoFlow e PGD-MOO).
• Robustez: Diferente dos métodos baseados em surrgate que sofreram degradação severa de desempenho (e melhorias negativas de HV) em tarefas complexas discretas/estruturais (MO-NAS, SciDesign) devido a erros de avaliação OOD, o ParetoPilot manteve um desempenho robusto. Os passos de difusão incondicional restringem inerentemente as trajetórias a manifolds de dados válidos, evitando a síntese de moléculas sem sentido ou arquiteturas quebradas.
• Estudos de Ablação: A remoção de componentes chave confirmou sua necessidade:
  • Sem Smoothing: O desempenho caiu significativamente (Rank 3.08) devido a oscilações de trajetória causadas por ruído não filtrado.
  • Sem Edgeness: O sistema falhou em descobrir eficientemente designs de trocas extremas.
  • Sem Ortogonalização: As forças de convergência e diversidade se neutralizaram mutuamente, reduzindo a melhoria geral de HV.

Significância e Alegações

O artigo afirma que o ParetoPilot representa uma mudança de paradigma no Offline MOO ao resolver a tensão entre privacidade de dados, eficiência computacional e confiabilidade de otimização.

• Preservação de Privacidade: Ao remover a necessidade de surrogates externos, o método preserva estritamente a privacidade dos dados, pois não requer o reacesso ao conjunto de dados offline original para o treinamento do proxy.
• Confiabilidade: Evita as "avaliações enganosas" comuns em métodos baseados em surrgate, que frequentemente levam ao colapso do manifold ao extrapolar para regiões OOD.
• Viabilidade de Implantação: A abordagem alinha-se ao paradigma de modelos de fundação, permitindo que modelos sejam compartilhados apenas como pesos, enquanto ainda possibilitam tarefas de otimização complexas downstream.

Os autores reconhecem limitações, observando que a qualidade da geração é inerentemente dependente da capacidade do modelo de difusão base em capturar a distribuição de dados inicial e que o mecanismo IPG introduz latência de inferência adicional em comparação com simples avaliações de surrgate forward. No entanto, eles sustentam que a troca é justificada pela eliminação do overhead de treinamento de proxy e pela robustez dos resultados.