Rethinking Trust Region Bayesian Optimization in High Dimensions

Resumo Técnico: Repensando a Otimização Bayesiana de Região de Confiança em Altas Dimensões

1. O Problema: Degeneração do Modelo Local

A Otimização Bayesiana de Região de Confiança (TuRBO) é uma estratégia amplamente utilizada para mitigar a "maldição da dimensionalidade" em problemas de caixa-preta. Em vez de um modelo global, o TuRBO utiliza regiões de confiança (TRs) adaptativas e modelos de Processos Gaussianos (GPs) locais.

Os autores identificam uma falha crítica: a complexidade do GP local não é bem calibrada conforme a dimensão ($D$) e o tamanho da região de confiança ($L$) variam.

• Excesso de Complexidade: Em altas dimensões, as distâncias entre pontos amostrados crescem proporcionalmente a $\sqrt{D}$. Se o comprimento de escala (lengthscale $\ell$) não for ajustado, o kernel aproxima-se de uma matriz identidade, fazendo com que o modelo trate as amostras como independentes (o GP torna-se "ruidoso" e não aprende correlações).
• Excesso de Simplicidade: Se o lengthscale for muito grande em relação ao tamanho da TR ($L$), o modelo torna-se excessivamente suave, falhando em capturar estruturas locais complexas da função.

2. Metodologia: AdaScale-TuRBO

Para resolver essa degeneração, os autores propõem o AdaScale-TuRBO, fundamentado em uma nova regra de escalonamento de hiperparâmetros.

• Regra de Escalonamento Baseada em Geometria: Através de uma análise de Ganho de Informação Máximo (MIG), os autores provam que, para manter a geometria do kernel e a complexidade do modelo constantes, o lengthscale ($\ell$) deve escalar proporcionalmente a $L/\sqrt{D}$.
• Prior Log-Normal Adaptativa: Em vez de usar a Estimativa de Máxima Verossimilhança (MLE) pura — que é instável em altas dimensões devido à sobreparametrização — eles propõem uma estimativa de Máxima A Posteriori (MAP). Eles introduzem uma prior Log-Normal para os lengthscales:
  $$\ell_i \sim \text{LogNormal}(\mu_0 + \log(L/\sqrt{D}), \sigma_0)$$
  Isso força o modelo a buscar valores de lengthscale que respeitem a escala geométrica da região de confiança e da dimensão do problema.
• Estabilização: Fixam a variância do sinal ($\sigma_f^2 = 1$) para evitar o acoplamento indesejado entre variância e lengthscale durante o treinamento.

3. Principais Contribuições

1. Diagnóstico Teórico: Demonstração, via análise de MIG, de que o TuRBO padrão sofre de degeneração (torna-se ou muito complexo ou muito simples) em altas dimensões.
2. Prova de Invariância: Demonstração matemática de que o escalonamento $\ell \propto L/\sqrt{D}$ preserva a geometria do kernel e a complexidade do modelo entre o domínio global e o local.
3. Novo Algoritmo: Proposta do AdaScale-TuRBO, que integra a prior dimension/TR-aware com a estimativa MAP.

4. Resultados Experimentais

Os autores testaram o método em benchmarks sintéticos (Schwefel, Rastrigin, Michalewicz) e em um problema real de planejamento de trajetória de um rover (60 dimensões).

• Benchmarks Sintéticos ($D=50$ e $D=100$): O AdaScale-TuRBO superou consistentemente o TuRBO original, o Linear BO e versões do TuRBO que escalonavam apenas com $\sqrt{D}$ (sem considerar $L$).
• Benchmark Real (Rover): O método alcançou o melhor desempenho de todos, confirmando sua robustez em tarefas de engenharia complexas.
• Análise de Ablação: Mostraram que o ganho de performance não depende de uma escolha específica do tamanho inicial da região de confiança ($L_0$), validando a robustez da técnica.

5. Significância

Este trabalho é significativo porque preenche uma lacuna teórica e prática no uso de métodos de região de confiança para otimização de alta dimensão. Ele demonstra que não basta restringir o espaço de busca (usar TRs); é necessário recalibrar o modelo estatístico para que ele "entenda" a escala geométrica desse espaço restrito. O AdaScale-TuRBO oferece uma solução simples e computacionalmente eficiente para tornar a Otimização Bayesiana local muito mais estável e eficaz em problemas de alta dimensionalidade.