Resumo Técnico: Inferência Posterior em Espaço Latente para Otimização Escalável de Caixa-Preta com Restrições

Definição do Problema

O artigo aborda a otimização de caixa-preta com restrições (CBBO), uma tarefa fundamental em domínios científicos e de engenharia, como aprendizado de máquina, descoberta de fármacos e design industrial. O objetivo é encontrar uma entrada $x^*$ que maximize uma função objetivo $f(x)$ sujeita a $M$ restrições de caixa-preta $g^{(m)}(x) \leq 0$.

Os autores destacam que a CBBO é significativamente mais difícil do que a otimização sem restrições devido a dois fatores principais:

1. Regiões Viáveis Intratáveis: As regiões viáveis são analiticamente indefinidas e frequentemente ocupam uma fração ínfima do espaço de busca.
2. Alta Dimensionalidade: Métodos existentes, particularmente a Otimização Bayesiana (BO), lutam para escalar para espaços de alta dimensionalidade (por exemplo, $D=200$). Embora a BO lide com restrições por meio de novas funções de aquisição ou relaxação Lagrangiana, ela sofre de baixa escalabilidade e dificuldade em estimar com precisão modelos substitutos em paisagens complexas e restritas.

Modelos generativos emergiram como uma alternativa, mas a amostragem a partir da distribuição alvo de candidatos viáveis e de alta pontuação é frequentemente intratável em altas dimensões devido à multimodalidade e a grandes regiões planas. Abordagens padrão como Cadeias de Markov Monte Carlo (MCMC) escalam mal, e o ajuste fino (fine-tuning) de modelos generativos frequentemente leva ao colapso de modos.

Metodologia: CiBO

Os autores propõem o CiBO (Otimização de Caixa-Preta Baseada em Inferência com Restrições), um framework que reformula a seleção de candidatos como inferência posterior realizada no espaço latente de modelos generativos. O método opera em um loop iterativo consistindo em duas fases:

Fase 1: Treinamento de Modelos

Dado um conjunto de dados $\mathcal{D}_r$ de entradas observadas, objetivos e violações de restrições:

1. Treinamento do Prior: Um modelo baseado em fluxo $p_\theta(x)$ é treinado para capturar a distribuição do conjunto de dados atual. Isso é feito usando Flow Matching com treinamento reponderado, onde os pontos de dados são ponderados com base em uma pontuação aumentada por Lagrangeano $l(y, c) = y - \lambda \sum \max(0, c_m)$. Isso foca o prior em regiões promissoras e viáveis.
2. Treinamento do Substituto: Um ensemble de $K$ redes neurais é treinado para prever valores de objetivo ($\mu_\phi, \sigma_\phi$) para quantificar a incerteza. Proxies separados são treinados para cada restrição $g^{(m)}$. Estes também são treinados usando a perda reponderada.

Fase 2: Amostragem de Candidatos

Em vez de ajustar finamente o prior baseado em fluxo (o que arrisca colapso de modos), o CiBO lança a seleção de candidatos como amostragem a partir de uma distribuição posterior:
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
onde $r_\phi(x)$ é uma função de recompensa combinando a média do substituto, bônus de incerteza e penalidade de restrição.

Inovação Chave: Inferência Amortizada no Espaço Latente
Os autores observam que, enquanto $p_{post}(x)$ no espaço de dados é altamente multimodal e complexo, o posterior correspondente no espaço latente ($z$) é significativamente mais suave.

1. Amostrador de Difusão Terceirizado: Eles treinam um modelo de difusão separado $p_\psi(z)$ para aproximar o posterior latente $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$.
2. Equilíbrio de Trajetória (TB): O amostrador de difusão é treinado usando o objetivo de Equilíbrio de Trajetória, o que permite treinamento off-policy. Isso é crucial para cobrir múltiplos modos e evitar o colapso de modos no espaço latente.
3. Projeção e Filtragem: Amostras são extraídas de $p_\psi(z)$, projetadas no espaço de dados via o mapeamento determinístico $x = f_\theta(z)$, e filtradas para selecionar os $B$ melhores candidatos com base na função de recompensa $r_\phi(x)$.

Contribuições Principais

1. Reformulação como Inferência Posterior: O artigo formaliza a seleção de candidatos com restrições como amostragem a partir de uma distribuição posterior, aproveitando a suavidade do espaço latente para contornar as dificuldades da amostragem direta em espaços de dados de alta dimensionalidade.
2. Amortização no Espaço Latente: Ao desacoplar o processo de amostragem em uma etapa de geração de ruído no espaço latente e uma projeção determinística, o método evita os problemas de colapso de modos associados ao ajuste fino de modelos baseados em fluxo diretamente em distribuições alvo complexas e multimodais.
3. Escalabilidade: O uso de substitutos leves baseados em MLP e modelos de fluxo/difusão permite que o método escale para altas dimensões (até 180 dimensões em tarefas do mundo real) onde métodos tradicionais de BO falham.
4. Restrições Indicador: O framework demonstra lidar com "restrições indicador" (apenas feedback de viabilidade binária), um cenário desafiador onde informações de restrições baseadas em gradiente ou contínuas estão indisponíveis.

Resultados Experimentais

Os autores avaliam o CiBO em três benchmarks sintéticos (Rastrigin, Ackley, Rosenbrock em $D=200$) e quatro tarefas do mundo real (Planejamento de Rover, HalfCheetah, Mopta, Lasso DNA) com dimensões variando de 60 a 180.

• Desempenho: O CiBO supera consistentemente as linhas de base mais avançadas, incluindo variantes de BO (cEI, LogcEI, SCBO, PCAGP-SCBO, FuRBO), algoritmos evolutivos (CMA-ES) e outras abordagens generativas (DiffOPT).
• Viabilidade: Em tarefas sintéticas, o CiBO alcança taxas de viabilidade quase perfeitas dentro de 5–10 lotes, significativamente mais rápido do que as linhas de base de BO. Em tarefas do mundo real, é frequentemente o único método a encontrar soluções viáveis em benchmarks difíceis como Mopta e DNA-180D.
• Eficiência de Amostra: O método demonstra superior eficiência de amostra, encontrando soluções viáveis de alta qualidade com menos avaliações em comparação com concorrentes.
• Estudos de Ablação: Experimentos confirmam que o treinamento reponderado, a filtragem e o treinamento off-policy do amostrador de difusão são componentes críticos. O método é robusto a variações em hiperparâmetros como o multiplicador de Lagrange $\lambda$ e o tamanho do buffer $L$.
• Tempo de Execução: Apesar de treinar múltiplos modelos a cada rodada, o CiBO mantém um tempo de execução por rodada comparável ou inferior aos métodos baseados em BO, pois evita o ajuste de Processo Gaussiano (GP) caro exigido pela BO tradicional.

Significado e Alegações

O artigo alega que o CiBO representa um passo significativo para frente na otimização escalável de caixa-preta com restrições. Seu significado principal reside em:

• Superar a "Maldição da Dimensionalidade" em Restrições: Ao realizar inferência no espaço latente, o método navega efetivamente por regiões viáveis complexas e multimodais que são intratáveis para a BO padrão ou ajuste fino direto de modelos generativos.
• Robustez: O framework é robusto em diversas tarefas, incluindo aquelas com feedback de restrição binário e um grande número de restrições.
• Aplicabilidade Prática: O método é computacionalmente eficiente o suficiente para implantação prática em problemas de design e controle do mundo real onde orçamentos de avaliação são limitados.

Os autores notam modestamente limitações, especificamente a necessidade de re-treinar modelos a cada rodada e o potencial para melhorias futuras aproveitando avanços no treinamento baseado em fluxo e amostradores de difusão. Eles enfatizam que seu trabalho fornece uma base para frameworks de otimização mais robustos e conscientes de restrições.