Resumo Técnico: Otimização Bayesiana Adaptativa a Regimes via Misturas de Processos de Dirichlet de Processos Gaussianos (RAMBO)

1. Definição do Problema

A Otimização Bayesiana (BO) padrão baseia-se em substitutos de Processos Gaussianos (GP) que assumem suavidade uniforme e características de ruído estacionárias em todo o espaço de busca. Essa suposição é frequentemente violada em problemas de design científico caracterizados por estruturas de múltiplos regimes, onde a função objetivo consiste em regiões distintas e localmente coerentes separadas por fronteiras nítidas, em vez de transições graduais.

O artigo identifica três domínios primários onde essa limitação é crítica:

• Busca de Conformação Molecular: Ligações rotacionáveis criam bacias de energia distintas separadas por barreiras torcionais; cada bacia é localmente suave, mas o panorama global compreende centenas dessas bacias com curvaturas inconmensuráveis.
• Descoberta de Fármacos: Paisagens químicas são fragmentadas entre scaffolds moleculares, onde diferentes famílias químicas exibem relações estrutura-atividade (SAR) fundamentalmente diferentes.
• Design de Reatores de Fusão: Variações na geometria do plasma atravessam regimes de estabilidade qualitativamente distintos, com transições abruptas entre configurações estáveis e instáveis.

Nesses cenários, um único GP global ou suaviza demais as transições nítidas ou alucina ruído em regiões suaves, levando a uma calibração incorreta da incerteza. Abordagens de kernel não estacionário existentes (ex: escalas de comprimento dependentes da entrada ou GPs profundos) tipicamente modelam hiperparâmetros que variam suavemente e exigem a especificação da forma funcional da variação a priori, falhando em capturar a heterogeneidade discreta e abrupta de paisagens científicas reais.

2. Metodologia: RAMBO

Os autores propõem o RAMBO (Regime-Adaptive Mixture Bayesian Optimization), que substitui o substituto GP monolítico por uma Mistura de Processos Gaussianos de Processo de Dirichlet (DPMM-GP). Este framework bayesiano não paramétrico particiona adaptativamente o espaço de busca em um número desconhecido de regimes inferidos diretamente dos dados.

2.1 Modelo Generativo

A função objetivo é modelada como uma mistura contável de GPs independentes. O processo generativo envolve:

1. Construção de Quebra de Bastão (Stick-Breaking): Os pesos da mistura são gerados via $\beta_k \sim \text{Beta}(1, \alpha)$, onde $\alpha$ é o parâmetro de concentração.
2. Atribuição de Regime: Cada observação $i$ é atribuída a um regime latente $z_i$ extraído de uma distribuição Categórica baseada nos pesos.
3. Modelagem Local: Cada regime $k$ é modelado por um GP independente com hiperparâmetros otimizados localmente $\theta_k = \{\sigma^2_{f,k}, \ell_k, \sigma^2_{n,k}\}$ (variância do sinal, escala de comprimento e variância do ruído).
4. Priors: Os hiperparâmetros seguem priors de Distribuição Inversa-Gamma para garantir estabilidade numérica e momentos finitos.

2.2 Inferência via Amostragem de Gibbs Colapsada

Para lidar com a intratabilidade de otimizar as atribuições de regimes discretos e o espaço de parâmetros transdimensional, os autores derivam um amostrador de Gibbs colapsado.

• Marginalização Analítica: Os valores de função latentes $f$ são marginalizados analiticamente, reduzindo o espaço de estados apenas para as atribuições discretas $z$ e hiperparâmetros $\Theta$. Isso melhora significativamente a eficiência de mistura em comparação com métodos que amostram $f$ diretamente (ex: HMC).
• Amostragem de Atribuições: As atribuições de regime são atualizadas com base no prior do Processo do Restaurante Chinês (CRP) e na verossimilhança condicional do GP.
• Atualização de Hiperparâmetros: Os hiperparâmetros para regimes ativos são atualizados via empirismo Bayesiano (maximizando a log-verossimilhança marginal usando Adam) ou passos de Metropolis-Hastings.

2.3 Distribuição Preditiva Espacialmente Modulada

Uma inovação fundamental é o tratamento da distribuição preditiva. DPMMs padrão agregam regimes com base na popularidade global ($\pi_k$), que é independente da entrada. Para paisagens de múltiplos regimes, isso faz a média sobre regimes irrelevantes em um ponto de teste específico.

• Solução Proposta: Os autores introduzem pesos preditivos espacialmente modulados $w_k(x^*)$. Esses pesos combinam a popularidade global ($\pi_k$) com um termo de confiança espacial derivado da variância do posterior do GP ($\sigma^{-1}_{*,k}(x^*)$).
• Justificativa: Este esquema de ponderação é justificado por duas perspectivas: (i) a responsabilidade posterior esperada sob o próprio preditivo do componente e (ii) a medida de referência invariante de escala de Jeffreys. Isso suprime regimes que são incertos em $x^*$ sem introduzir novos parâmetros de controle aprendíveis.

2.4 Agendamento do Parâmetro de Concentração Adaptativo

O parâmetro de concentração $\alpha$ controla a propensão de criar novos regimes. O artigo introduz uma estratégia de agendamento adaptativo (Esquema Log-Sqrt) onde $\alpha_t = \alpha_0 \cdot \frac{\sqrt{t}}{\log(t+e)}$.

• Racional: No início da otimização, os dados são esparsos; um $\alpha$ pequeno evita a fragmentação prematura. À medida que os dados se acumulam, $\alpha$ aumenta para permitir a descoberta de estruturas de regimes mais refinadas. Isso espelha o tradeoff exploração-explotação, mas opera no nível da complexidade do modelo.

2.5 Funções de Aquisição

O framework deriva um Melhoria Esperada (EI) de forma fechada para o posterior DPMM-GP. O valor de aquisição é uma soma ponderada da EI de cada componente GP constituinte, onde os pesos são os $w_k(x)$ espacialmente modulados. Isso decompõe naturalmente a incerteza em:

• Variância intra-regime: Incerteza aleatória dentro de um regime específico.
• Desacordo inter-regime: Incerteza epistêmica decorrente do desacordo entre diferentes regimes.

O artigo também descreve extensões para outras funções de aquisição (UCB, Thompson Sampling, MES, KG, PES) usando os momentos da mistura derivados.

3. Principais Contribuições

1. Substituto DPMM-GP: Desenvolvimento de um substituto DPMM-GP completo para BO que utiliza amostragem de Gibbs colapsada para marginalizar analiticamente as funções latentes, melhorando a eficiência da inferência.
2. Agendamento de $\alpha$ Adaptativo: Introdução de um mecanismo de agendamento dinâmico para o parâmetro de concentração para equilibrar parcimônia e expressividade do modelo ao longo do processo.
3. Aquisição Consciente de Regime: Derivação de Melhoria Esperada de forma fechada que decompõe a incerteza em componentes intra-regime e inter-regime, permitindo o tratamento robusto de objetivos de múltiplos regimes.
4. Modulação Espacial: Uma escolha de modelagem preditiva que introduz dependência espacial nos pesos da mistura sem parâmetros de controle adicionais, garantindo que as predições sejam relevantes para o espaço de busca local.

4. Resultados Experimentais

Os autores avaliam o RAMBO em benchmarks sintéticos e aplicações científicas do mundo real, comparando-o com baselines de estado da arte, incluindo SGP padrão, TuRBO, SAASBO, BAxUS, ALEBO, HEBO e outros.

• Benchmarks Sintéticos: Nas funções Levy e Schwefel (6D e 10D), o RAMBO com agendamento adaptativo consistentemente iguala ou supera os baselines. Ele converge significativamente mais rápido na função Levy rugosa e evita ficar preso em bacias subótimas no cenário enganoso de Schwefel.
• Otimização de Conformação Molecular (12D): O RAMBO alcança uma melhoria de 39,73% na redução de energia em comparação com o melhor baseline (SAASBO) após 200 iterações, navegando eficientemente entre bacias rotaméricas distintas.
• Triagem Virtual de Fármacos (50D): Na otimização de scores de docking para uma proteína relacionada ao câncer, o RAMBO alcança uma melhoria de 4,06% na afinidade de ligação prevista em relação ao TuRBO, particionando com sucesso o espaço químico em regimes específicos de scaffold.
• Design de Reator de Fusão (80D): O RAMBO descobre 3–5 regimes correspondentes a distintas topologias magnéticas, alcançando valores de qualidade de confinamento aproximadamente 51,55% superiores ao melhor método concorrente. Ele evita os modos de falha de métodos baseados em embedding (que assumem estrutura de baixo rank) e métodos de região de confiança (que estagnam em fronteiras de estabilidade).

5. Significância e Alegações

O artigo afirma que o RAMBO aborda uma limitação fundamental da BO padrão: a incapacidade de modelar heterogeneidade discreta e transições abruptas em problemas de design científico. Ao substituir substitutos estacionários por um modelo de mistura não paramétrico, o RAMBO captura a natureza de "mosaico" de paisagens reais onde regimes distintos exibem propriedades localmente coerentes, mas globalmente inconmensuráveis.

Os autores enfatizam que sua abordagem não requer a especificação prévia da forma funcional da não-estacionariedade. Em vez disso, as fronteiras de regime e o número de regimes são inferidos diretamente dos dados. A consistência das melhorias em diversos benchmarks de alta dimensão e multimodais sugere que o RAMBO fornece um framework robusto para acelerar a descoberta científica em domínios onde as avaliações de função são caras e as estruturas físicas ou químicas subjacentes exibem propriedades complexas e não estacionárias.

O trabalho é apresentado como um método para reduzir o número de simulações ou experimentos custosos necessários para atingir soluções de alta qualidade, diminuindo assim a pegada de recursos e energia dos fluxos de trabalho de ciência computacional. Os autores observam que, embora o método acelere a otimização, ele produz recomendações pontuais sob incerteza, e os tomadores de decisão a jusante devem tratar os valores de aquisição como entradas para um processo deliberativo, e não como rankings de verdade absoluta, particularmente em aplicações críticas de segurança.