🤖 machine learning

Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity

Este artigo apresenta o KENDO, um framework unificado que aprimora a otimização bayesiana e o aprendizado ativo ao substituir a amostragem de hiperparâmetros computacionalmente dispendiosa por um ensemble de kernels e estratégias de aquisição baseadas em discordância, alcançando desempenho superior e acelerações significativas em relação aos métodos de estado da arte.

Autores originais: Heng Zhang, Haotian Xiang, Qin Lu, Konstantinos D. Polyzos, Tara Javidi

Publicado 2026-08-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Heng Zhang, Haotian Xiang, Qin Lu, Konstantinos D. Polyzos, Tara Javidi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, muitos problemas são como tentar encontrar o pico mais alto em uma vasta cordilheira envolta em névoa sem um mapa. Você só consegue ver o chão diretamente sob seus pés, e cada passo que você dá para explorar custa tempo e energia. Este é o desafio de otimizar funções caras e misteriosas, uma tarefa que impulsiona tudo, desde o design de novos medicamentos até o ajuste das configurações de modelos computacionais complexos. Para navegar nesta névoa, os cientistas usam uma estratégia chamada otimização bayesiana. Eles constroem um mapa probabilístico, um tipo de palpite instruído sobre o terreno, que os ajuda a decidir onde procurar a seguir. Este mapa depende de uma ferramenta matemática chamada kernel, que atua como uma lente, determinando como o sistema entende a relação entre dois pontos no espaço. Se a lente for muito borrada ou tiver a forma errada, o mapa torna-se enganoso e a busca pela melhor solução falha.

Durante anos, pesquisadores lutaram com uma escolha difícil. Eles podiam escolher uma única lente e torcer para que ela se ajustasse ao terreno, correndo o risco de um palpite ruim, ou poderiam tentar considerar todas as variações possíveis dessa lente executando milhares de simulações computacionais pesadas e lentas. O primeiro método é rápido, mas frequentemente errado; o segundo é preciso, mas tão lento que se torna impraticável. Uma equipe de pesquisadores da Universidade de Georgia e da Universidade da Califórnia em San Diego propôs agora um novo caminho a seguir. Eles chamam sua abordagem de KENDO, um sistema que deixa de tentar adivinhar a lente única perfeita e, em vez disso, constrói uma equipe de diferentes lentes, cada uma com sua própria perspectiva. Ao permitir que essas diferentes visões discordem e aprender com essa discordância, o sistema pode navegar pela névoa de forma eficiente sem o pesado custo computacional dos métodos antigos.

O cerne desta nova abordagem é uma mudança na forma como o computador lida com a incerteza. Tradicionalmente, quando um sistema não tinha certeza sobre a forma do terreno, ele executava uma simulação massiva para amostrar milhares de possibilidades, um processo que leva muito tempo. O novo método substitui isso por uma coleção de modelos distintos, cada um usando um tipo diferente de kernel, ou lente. Em vez de pedir ao computador para imaginar milhares de variações sutis de uma única lente, ele simplesmente pede para comparar algumas lentes inteiramente diferentes. O sistema então pesa essas lentes com base em como elas se saíram até agora. Se uma lente prevê o terreno consistentemente melhor do que as outras, o sistema dá a ela mais influência. Isso cria uma equipe dinâmica onde os melhores modelos lideram o caminho, e o sistema aprende em qual lente confiar à medida que coleta mais dados.

O que torna esta abordagem particularmente inteligente é como ela usa a discordância entre esses modelos para guiar a busca. Nos métodos antigos, o sistema procuraria lugares onde estivesse mais incerto. O novo sistema procura lugares onde as diferentes lentes da equipe discordam fortemente entre si. Se uma lente acha que o chão é alto e outra acha que é baixo, esse ponto é um candidato principal para investigação. Ao focar nesses pontos de conflito, o sistema aprende não apenas onde a melhor solução pode estar, mas também qual lente é a mais confiável para o problema específico em questão. Este processo de aprendizado duplo permite que o sistema corrija seus próprios erros conforme avança, refinando seu mapa em tempo real sem precisar reiniciar ou executar simulações caras.

A equipe testou esta ideia em uma grande variedade de desafios, desde quebra-cabeças matemáticos simples até problemas de engenharia complexos e do mundo real. No domínio da otimização de objetivo único, onde o objetivo é encontrar a melhor solução individual, seu novo sistema igualou ou superou o desempenho dos métodos mais avançados disponíveis hoje. Mais importante ainda, ele o fez rodando até cinco vezes mais rápido. No campo do aprendizado ativo, onde o objetivo é aprender uma função com o menor número possível de pontos de dados, o novo método foi ainda mais dramático, alcançando resultados até vinte e sete vezes mais rápidos que o padrão anterior. Esses aumentos de velocidade são significativos porque significam que problemas que antes levavam horas ou dias para serem resolvidos agora podem ser enfrentados em minutos, abrindo a porta para aplicações mais complexas e frequentes.

A equipe também estendeu este método para lidar com situações onde não há uma única resposta "melhor", mas sim um conjunto de objetivos conflitantes, como tentar fazer com que um carro seja simultaneamente mais seguro e mais econômico. Nestes cenários de múltiplos objetivos, o sistema utiliza uma técnica chamada escalonamento aleatório (random scalarization), que combina temporariamente os diferentes objetivos em uma única pontuação para guiar a busca. Isso permite que o sistema explore toda a gama de compensações sem ficar preso na complexidade de resolver múltiplos objetivos ao mesmo tempo. Os resultados mostraram que esta abordagem pode mapear efetivamente as melhores compensações, superando métodos existentes em benchmarks do mundo real, como o design de segurança veicular e a produção de antibióticos.

Apesar desses sucessos, os pesquisadores reconhecem que seu método não é uma solução mágica para todas as situações. O sistema depende de aproximar as visões combinadas das diferentes lentes, o que pode subestimar ligeiramente a incerteza se as lentes forem drasticamente diferentes umas das outras. Além disso, a equipe ainda precisa selecionar manualmente o conjunto inicial de lentes a serem usadas, embora sugiram que trabalhos futuros possam automatizar essa seleção. No entanto, as descobertas representam um passo substancial para tornar os sistemas de busca inteligente mais rápidos e confiáveis. Ao transformar o problema da incerteza do modelo em uma força através da diversidade e da discordância, os pesquisadores mostraram que uma equipe de modelos simples e especializados pode frequentemente superar um modelo único e excessivamente complexo. Esta abordagem oferece um caminho prático para cientistas e engenheiros que precisam encontrar as melhores soluções em um mundo de tempo e recursos limitados.

Resumo Técnico: Aprimorando a Otimização Bayesiana e o Aprendizado Ativo através da Diversidade de Kernels

Declaração do Problema

A Otimização Bayesiana (BO) e o Aprendizado Ativo Bayesiano (BAL) dependem de modelos substitutos probabilísticos, tipicamente Processos Gaussianos (GPs), para guiar a amostragem sequencial. Um gargalo crítico nesses paradigmas é a seleção de hiperparâmetros (ex: escolha do kernel e parâmetros de escala de comprimento/lengthscale).

Estimativa de Ponto: Métodos tradicionais maximizam a verossimilhança marginal para encontrar um único conjunto de hiperparâmetros. Embora computacionalmente eficientes, essa abordagem é vulnerável à especificação incorreta do modelo e ao sobreajuste (overfitting), particularmente nos estágios iniciais de otimização.
Tratamento Totalmente Bayesiano: Abordagens totalmente bayesianas integram sobre os posteriors dos hiperparâmetros usando amostragem de Cadeias de Markov Monte Carlo (MCMC). Embora isso considere a incerteza, acarreta custos computacionais proibitivos, especialmente ao amostrar de posteriors multimodais ou de alta dimensão.
Especificação Incorreta de Kernel: Além dos hiperparâmetros, a escolha da própria família de kernels é uma fonte de especificação incorreta. Nenhum kernel único (ex: RBF, Matérn) é universalmente ótimo em diferentes paisagens de problemas. Métodos de ensemble existentes frequentemente selecionam um único modelo GP ou falham em aproveitar o desacordo entre modelos durante a fase de aquisição.

Metodologia: KENDO

O artigo propõe o KENDO (Kernel ENsemble Disagreement-aware Operator), um framework unificado que substitui a amostragem de hiperparâmetros por um Processo Gaussiano de Ensemble (EGP) explícito e ponderação bayesiana adaptativa. O mecanismo central desloca a fonte de incerteza da amostragem de hiperparâmetros de um único kernel para o desacordo estrutural entre um conjunto diverso de kernels.

1. Modelo Substituto de Ensemble
Em vez de amostrar hiperparâmetros para um único kernel, o KENDO mantém um dicionário de $M$ kernels $\mathcal{K} = \{\kappa_1, \dots, \kappa_M\}$ .

Cada kernel $m$ possui seu próprio GP com hiperparâmetros $\hat{\theta}_m$ ajustados via maximização de verossimilhança marginal.
O ensemble forma um prior de mistura gaussiana. O posterior é aproximado via correspondência de momentos (moment matching) para gerar um resumo gaussiano único com média $\bar{\mu}_t(x)$ e variância $\bar{\sigma}^2_t(x)$ .
A decomposição da variância separa explicitamente a incerteza dentro do GP (ruído intrínseco) e o desacordo entre GPs (incerteza do modelo devido à escolha do kernel).
Os pesos $w^m_t$ são atualizados adaptativamente via Média de Modelos Bayesianos baseada na verossimilhança marginal de cada kernel.

2. Funções de Aquisição Sensíveis ao Desacordo
O KENDO deriva funções de aquisição que medem o desacordo entre o posterior de margem do ensemble e os posteriors condicionados.

KENDO-BO (Otimização):
- Adapta o conceito de SCoreBO de condicionamento em otimizadores amostrados.
- Para cada kernel $m$ e amostra $n$ , uma realização da função é desenhada, seu otimizador $x^*_{m,n}$ é encontrado, e o GP é condicionado a este ótimo "fantasma".
- A função de aquisição $\alpha(x)$ agrega a distância de Hellinger entre o posterior de margem do ensemble e o posterior de cada kernel condicionado ao otimizador.
- Objetivo: Pontos de consulta onde saber a localização do ótimo causaria uma revisão significativa nas previsões do ensemble, equilibrando exploração e seleção de modelo.
KENDO-AL (Aprendizado Ativo):
- Remove o condicionamento do otimizador, uma vez que o objetivo é a aproximação global da função, não a busca por um ótimo específico.
- Mede a distância de Hellinger entre o ensemble de margem e o posterior de cada componente de kernel individual.
- Objetivo: Pontos de consulta onde a identidade do kernel tem o impacto máximo nas previsões, priorizando regiões de alta incerteza do modelo.

3. Extensão para Otimização Multiobjetivo (MOBO)
Para estender o KENDO para a Otimização Bayesiana Multiobjetivo (MOBO), os autores empregam uma estratégia de escalarização aleatória:

EGPs independentes são mantidos para cada objetivo.
Em cada iteração, vetores de peso aleatórios $\lambda_s$ são amostrados de uma distribuição Dirichlet simétrica para escalar os objetivos.
Um único otimizador é encontrado para o objetivo escalonado usando Características de Fourier Aleatórias (RFF).
A função de aquisição agrega distâncias de Hellinger através dos objetivos e das amostras de escala, preservando a estrutura eficiente de condicionamento de otimizador único enquanto garante a cobertura da fronteira de Pareto, evitando a difusão computacional causada pelo condicionamento em conjuntos completos de Pareto.

Principais Contribuições

Framework Unificado: Propõe o KENDO, que unifica a modelagem de ensemble e a otimização autocorretiva ao substituir a amostragem de hiperparâmetros baseada em MCMC por um ensemble de kernels discretos.
Aquisição Eficiente: Deriva uma função de aquisição computacionalmente eficiente baseada no desacordo entre os posteriors de margem e condicionados do ensemble, eliminando a necessidade de amostragem MCMC dispendiosa.
Extensão MOBO: Introduz uma abordagem de escalação aleatória para otimização multiobjetivo que mantém a estrutura de condicionamento de otimizador único, evitando a complexidade de solvers multiobjetivo.
Generalização para Aprendizado Ativo: Demonstra que o mecanismo de ensemble se generaliza para o Aprendizado Ativo Bayesiano (KENDO-AL), alcançando uma calibração preditiva superior aos baselines de MCMC.

Resultados Experimentais

Testes numéricos extensos foram conduzidos em benchmarks sintéticos e do mundo real abrangendo otimização de objetivo único, otimização multiobjetivo e aprendizado ativo.

BO de Objetivo Único: O KENDO-BO alcança desempenho de otimização competitivo ou superior (medido por regret simples) comparado a métodos de estado da arte (incluindo SCoreBO, PES e JES) em nove benchmarks. Ele reduz o overhead computacional em até 5× em comparação com métodos baseados em MCMC.
BO Multiobjetivo: O KENDO-MO atinge o menor diferencial de log10 de hipervolume na maioria dos benchmarks. Crucialmente, supera uma variante que condiciona em fronteiras de Pareto amostradas (KENDO-MO-PF), validando a eficácia da estratégia de escalação aleatória.
Aprendizado Ativo: O KENDO-AL alcança calibração preditiva superior (menor log-verossimilhança negativa) em sete benchmarks comparado a BALD, BQBC e SAL. Ele alcança uma aceleração de 27× sobre o baseline de SAL baseado em MCMC.
Estudos de Ablação: Confirmam que a ponderação bayesiana adaptativa supera a média uniforme e que o ensemble exibe comportamento de "vencedor leva tudo" quando um kernel superior existe, mantendo a diversidade caso contrário.

Significância e Alegações

O artigo afirma que a diversidade da família de kernels é uma fonte de incerteza do modelo crítica e frequentemente negligenciada. Ao modelar explicitamente essa diversidade através de um ensemble e utilizar o desacordo para a aquisição, o KENDO oferece uma alternativa prática às abordagens totalmente bayesianas.

Eficiência vs. Precisão: O framework demonstra que é possível obter a robustez de métodos totalmente bayesianos (lidando com a especificação incorreta do modelo) sem o custo computacional proibitivo do MCMC.
Escalabilidade: O método escala significativamente melhor do que abordagens baseadas em MCMC, tornando a quantificação de incerteza no estilo totalmente bayesiano viável para orçamentos maiores e aplicações do mundo real.
Abordagem Unificada: Estabelece um mecanismo de autocorreção comum tanto para otimização (busca de ótimos) quanto para aprendizado ativo (aprendizado de funções), impulsionado pelo mesmo princípio de medir o desacordo entre estruturas de modelos.

Limitações Notadas pelos Autores:
O framework atual depende de correspondência de momentos para aproximar os posteriors de mistura gaussiana, o que pode subestimar a incerteza em casos com previsões de kernels altamente díspares. Além disso, o dicionário de kernels requer especificação manual, embora os autores sugitem a construção automática via composição de kernels como uma direção futura.