Resumo Técnico: Otimização Bayesiana Generativa

Declaração do Problema

A Otimização Bayesiana (BO) é uma abordagem padrão para resolver problemas complexos de otimização de caixa preta, utilizando modelos substitutos probabilísticos, como Processos Gaussianos (GPs), para maximizar um critério de utilidade esperado conhecido como função de aquisição. Embora eficaz, a BO tradicional enfrenta desafios significativos de escalabilidade em configurações em lote, particularmente ao lidar com espaços de design de alta dimensão e combinatórios (por exemplo, design de proteínas).

Os métodos existentes de BO em lote frequentemente dependem da construção incremental de conjuntos de candidatos amostrando observações "fantasmas", um processo que se torna computacionalmente intratável à medida que os tamanhos dos lotes aumentam. Alternativamente, abordagens que treinam modelos generativos como distribuições de proposta tipicamente empregam um processo de duas etapas: primeiro ajustam um modelo substituto (regressão ou classificação) para aproximar a função objetivo ou de aquisição, e depois treinam um modelo generativo sobre ele. Esse pipeline de duas etapas acumula erros de aproximação e aumenta os custos computacionais. Além disso, muitas abordagens generativas existentes são específicas de certas funções de aquisição (por exemplo, Probabilidade de Melhoria) ou exigem modelos de recompensa explícitos que introduzem fontes adicionais de erro.

Metodologia

O artigo propõe a Otimização Bayesiana Generativa (GenBO), um quadro unificado que transforma modelos generativos diretamente em amostradores de soluções candidatas para BO em lote, sem modelos substitutos intermediários. A ideia central é treinar o modelo generativo para aproximar uma distribuição-alvo cuja densidade é proporcional à função de aquisição da BO (utilidade esperada), efetivamente realizando inferência direta sobre a localização ótima $x^*$ em vez da função objetivo $f$.

O quadro oferece duas estratégias principais para treinar o modelo generativo $q$ usando valores de utilidade ruidosos derivados de observações:

1. Aprendizado Baseado em Preferências (inspirado em DPO):
   Inspirado na Otimização Direta de Preferências (DPO) para Grandes Modelos de Linguagem, essa abordagem formula uma perda contrastiva em pares. Em vez de treinar um modelo de recompensa intermediário, o modelo generativo é treinado diretamente em pares de entradas $(x_{i,1}, x_{i,2})$ e seus respectivos valores de utilidade $(u_{i,1}, u_{i,2})$.

   • Perda de Preferência Robusta (rPL): Para lidar com o ruído inerente às avaliações de caixa preta (onde o sinal das diferenças de utilidade pode ser invertido), os autores empregam uma versão robusta da perda DPO. Essa perda elimina a necessidade de um modelo de recompensa explícito e de uma função de partição, otimizando diretamente o modelo generativo para aproximar a distribuição-alvo $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$.

2. Aprendizado Baseado em Divergência:
   Essa abordagem treina o modelo generativo para corresponder à distribuição-alvo diretamente usando minimização de divergência.

   • KL Direto: O modelo minimiza a divergência de Kullback-Leibler (KL) entre a proposta e o alvo. Os autores derivam um objetivo de treinamento não tendencioso usando pesos de amostragem por importância.
   • KL Direto Balanceado: Para abordar a questão em que o KL Direto padrão falha em penalizar regiões com utilidade zero (por exemplo, abaixo de um limiar de melhoria), é introduzida uma variante balanceada. Isso adiciona um termo de penalidade suave derivado de divergências de Bregman, garantindo que o modelo não mantenha alta densidade de probabilidade em regiões de baixa utilidade.

O quadro é generalizável para qualquer função de aquisição expressível como uma utilidade esperada (por exemplo, Probabilidade de Melhoria, Melhoria Esperada, Melhoria Esperada Suave) e suporta várias funções de utilidade, incluindo variantes de média e softplus.

Contribuições Principais

• Quadro de Modelo Único: A GenBO elimina a necessidade de substitutos intermediários de regressão ou classificação, reduzindo erros de aproximação e sobrecarga computacional ao treinar um único modelo generativo diretamente a partir de observações ruidosas.
• Codificação de Utilidade Geral: O método codifica funções de utilidade gerais diretamente nos objetivos de treinamento de modelos generativos, estendendo-se além do feedback baseado em preferências para sinais de recompensa gerais e funções de perda.
• Convergência Teórica: O artigo fornece análise teórica mostrando que, sob suposições de regularidade brandas (por exemplo, modelos situados em um Espaço de Hilbert de Kernel Reproduzível), a sequência de modelos generativos segue distribuições que aproximam assintoticamente a distribuição-alvo ótima. A análise estabelece que o erro de aproximação se concentra de forma semelhante aos métodos de kernel.
• Escalabilidade: A abordagem é projetada para escalar para grandes lotes e espaços combinatórios de alta dimensão onde a BO tradicional e os métodos generativos de duas etapas lutam.

Resultados Experimentais

Os autores avaliaram a GenBO em tarefas desafiadoras de otimização de sequências, incluindo otimização de texto (minimizando a distância de edição para "ALOHA") e design de proteínas (otimizando estabilidade e área de superfície acessível ao solvente, bem como funções sintéticas de Ehrlich).

• Desempenho: Variantes da GenBO, particularmente aquelas usando a Perda de Preferência Robusta (rPL) e o KL Direto Balanceado (bfKL), alcançaram desempenho competitivo ou superior em comparação com bases fortes, incluindo CbAS, VSD (Distribuições de Busca Variacional) e LaMBO-2.
• Eficiência: A GenBO demonstrou melhorias significativas no tempo de execução, sendo aproximadamente 3 vezes mais rápida que o VSD em tarefas de otimização de texto devido à eliminação da etapa intermediária de ajuste de substituto.
• Robustez: Em tarefas de design de proteínas, as variantes da GenBO mostraram convergência rápida na tarefa SASA, enquanto lidavam com a tarefa de estabilidade mais desafiadora de forma comparável a outros métodos. Os experimentos destacaram que a GenBO é relativamente menos sensível a esquemas de annealing de limiar em comparação com bases guiadas por classificadores.
• Escalonamento de Lote: O método lidou com sucesso com grandes tamanhos de lote ($B=128$) em espaços de sequências de proteínas de alta dimensão ($M=64$), demonstrando melhorias monotônicas com o aumento do tamanho do lote.

Significado e Alegações

O artigo afirma que a GenBO oferece uma alternativa mais simples e escalável aos métodos de geração guiada em múltiplas etapas para otimização de caixa preta. Ao remover o modelo substituto intermediário, a GenBO reduz o pipeline ao aprendizado de um único modelo generativo, cortando assim recursos computacionais e eliminando uma fonte de erros de aproximação.

Os autores posicionam a GenBO como uma "receita geral" que unifica a BO livre de verossimilhança com técnicas modernas de modelagem generativa. Eles enfatizam que, embora o quadro atualmente se concentre em funções de aquisição expressíveis como utilidades esperadas, os fundamentos teóricos permitem extensões para outras regras de pontuação e tipos de modelos (por exemplo, modelos de difusão, correspondência de fluxo). O trabalho sugere que a inferência direta sobre a localização ótima, impulsionada por fatores de pseudo-verossimilhança baseados em utilidade, é um caminho viável e eficiente para otimizar espaços de design complexos e de alta dimensão.