Resumo Técnico: Otimização Bayesiana Restrita com Múltiplas Fontes de Informação

Declaração do Problema

A Otimização Bayesiana (BO) é um framework padrão para otimizar funções de caixa-preta caras, mas enfrenta desafios significativos ao lidar com restrições desconhecidas e regiões viáveis pequenas. Em espaços de alta dimensão, onde os dados são esparsos (ex: design de crashworthiness), descobrir até mesmo um único ponto viável é difícil. Métodos existentes tipicamente dependem de uma única fonte de informação (a "verdade fundamental" ou ground truth), que é frequentemente computacionalmente proibitiva de ser avaliada com frequência.

Muitas aplicações de engenharia e científicas possuem fontes de informação auxiliares (ex: simulações grosseiras, modelos de física simplificados ou aproximações analíticas) que são mais baratas de avaliar, mas potencialmente enviesadas ou ruidosas, mas sua integração na BO restrita permanece subexplorada. A maioria dos métodos multi-fonte (ou multi-fidelidade) existentes aborda ou as restrições ou as múltiplas fontes de forma isolada. Há uma falta de frameworks escaláveis que possam aproveitar fontes auxiliares baratas e fracamente correlacionadas para guiar a exploração inicial em configurações restritas sem comprometer a precisão da solução final.

Metodologia: MS-CMES

Os autores propõem o Multi-Source Constrained Max-value Entropy Search (MS-CMES), um framework unificado que estende o Max-value Entropy Search (MES) para cenários com múltiplas fontes de informação e restrições de caixa-preta.

1. Modelagem de Processo Gaussiano Multi-Fonte

O framework modela o objetivo $f$ e as restrições $c_i$ através de um conjunto de fontes $S = \{0, \dots, L\}$, onde $L$ é a fonte alvo (cara, precisa) e $0$ é a fonte auxiliar mais barata.

• Framework MISO: Em vez de assumir uma fidelidade hierárquica estrita (como nos modelos de Kennedy-O'Hagan) ou uma estrutura latente compartilhada (como em Multi-Task GPs), os autores adotam a abordagem de Otimização de Múltiplas Fontes de Informação (MISO).
• Estrutura Aditiva: Cada função específica da fonte é modelada como $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$, onde $u^{(L)}$ é uma função alvo latente e $\Delta^{(\ell)}$ é uma discrepância específica da fonte, modelada como um Processo Gaussiano (GP) independente.
• Inferência Conjunta: Esta estrutura aditiva permite a inferência conjunta sobre a função latente e as discrepâncias, capturando correlações entre fontes enquanto mantém a flexibilidade para fontes com correlações fracas ou desconhecidas.

2. Função de Aquisição: Busca de Entropia com Correção de Variância

O núcleo do método é uma função de aquisição $\alpha_n(x, \ell)$ que equilibra o ganho de informação sobre o ótimo restrito $f^*$ contra o custo de avaliação $\lambda(x, \ell)$.

• Objetivo: Maximizar o ganho de informação esperado sobre o ótimo restrito $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$.
• Limite Inferior Variacional: Como a informação mútua $I(u^{(\ell)}; f^*)$ é intratável, o método utiliza um limite inferior variacional adaptado de Takeno et al. (2022). Isso envolve a amostragem do ótimo restrito $f^*$ via amostragem de Thompson discreta e a estimativa da probabilidade de uma nova observação cair dentro do conjunto viável definido por $f^*$.
• Correção de Variância: Uma novidade crítica é o mecanismo de correção de variância. Como o conjunto viável é definido na fonte alvo $L$, mas as observações podem vir da fonte $\ell$, existe o risco de viabilidade espúria. Os autores introduzem um fator de correção baseado no coeficiente de correlação $\rho(x, \ell)$ entre as fontes auxiliares e a alvo. Isso infla a variância das previsões de fontes fracamente correlacionadas, evitando que o algoritmo selecione pontos que parecem viáveis em fontes baratas, mas que são inviáveis na fonte alvo.

3. Escalabilidade via Regiões de Confiança

Para lidar com espaços de entrada de alta dimensão ($d \ge 40$), a otimização da aquisição é restrita a uma Região de Confiança (TR - Trust Region) atualizada dinamicamente, centrada no melhor ponto viável observado (ou no ponto com o mínimo de violação de restrição, caso nenhum exista). Isso evita que a busca se desvie para regiões promissoras e melhora a eficiência computacional.

Principais Contribuições

1. Framework Unificado: O primeiro framework baseado em teoria da informação para BO restrita que integra múltiplas fontes de informação. Ele combina amostras auxiliares baratas com um heurístico de região de confiança para escalar para espaços de alta dimensão.
2. Correção de Variância: Uma abordagem sistemática para lidar com discrepâncias entre fontes, corrigindo as variâncias preditivas com base na correlação inter-fonte, garantindo robustez mesmo quando os dados auxiliares são fracamente correlacionados.
3. Comparação Sistemática: Uma avaliação rigorosa da escala de modelos GP multi-fonte (MISO vs. KOH vs. MTGP), demonstrando que a estrutura aditiva MISO é mais robusta a variações na força de correlação do que abordagens hierárquicas ou de multi-tarefa estritas.
4. Validação Empírica: Experimentos extensos em benchmarks sintéticos e baseados em física (até $d=100$) mostrando superação consistente sobre métodos de BO restrita de última geração.

Resultados Experimentais

Os autores avaliaram o MS-CMES em cinco problemas de benchmark (Pressure Vessel, Rosenbrock, Rastrigin, Rotated Rastrigin, Different Powers) com dimensões variando de 4 a 100.

• Descoberta de Viabilidade: Em regiões viáveis esparsas e de alta dimensão (ex: variantes de Rastrigin), a maioria dos métodos de baseline (incluindo CMFBO, VBO e busca aleatória) falhou em encontrar um único ponto viável. O MS-CMES identificou regiões viáveis imediatamente após o design inicial de experimentos.
• Desempenho de Otimização: O MS-CMES alcançou consistentemente valores de objetivo finais menores comparado aos baselines como SCBO, FuRBO e CMES-IBO+.
• Robustez à Correlação: O modelo MISO manteve alta precisão mesmo quando as fontes auxiliares eram não correlacionadas ou fracamente correlacionadas, enquanto os modelos hierárquicos (KOH) degradaram significativamente nesses cenários.
• Estudos de Ablação: O heurístico de região de confiança mostrou-se crucial para a eficiência em altas dimensões, e o método provou ser robusto ao número de amostras de Monte Carlo ($K$) usado para a estimativa de entropia.

Significância e Alegações

O artigo afirma que o MS-CMES aborda uma lacuna crítica na literatura ao fornecer uma solução escalável para otimização restrita na presença de múltiplas fontes de informação.

• Exploração Precoce: O método é particularmente eficaz nos estágios iniciais de otimização, onde as regiões viáveis são desconhecidas. Ao aproveitar dados baratos e potencialmente enviesados, ele pode povoar o espaço de design e guiar a busca em direção à viabilidade de forma mais eficiente do que métodos de fonte única.
• Aplicabilidade Geral: O framework não assume uma hierarquia de fidelidade estrita, tornando-o adequado para diversos cenários do mundo real (ex: simulações simplificadas, dados de arquivo) que podem ser estruturalmente divergentes do alvo.
• Impacto Prático: Os autores destacam o potencial desta abordagem em domínios que vão desde o design de engenharia (ex: crashworthiness, aerodinâmica) até a descoberta de fármacos, onde equilibrar o custo de experimentos de alta fidelidade com simulações de baixa fidelidade é primordial.

Os autores notam modestamente as limitações, especificamente a suposição de que objetivos e restrições são avaliados conjuntamente em uma fonte e a dependência de funções de custo especificadas pelo usuário. No entanto, eles argumentam que o framework proposto oferece um passo significativo para tornar a otimização bayesiana restrita prática para problemas de engenharia complexos, de alta dimensão e com escassez de dados.