Rethinking Trust Region Bayesian Optimization in High Dimensions

Riassunto Tecnico: AdaScale-TuRBO

1. Il Problema: Degenerazione del Modello in Alta Dimensione

L'ottimizzazione Bayesiana (BO) standard soffre della "maledizione della dimensionalità": all'aumentare delle dimensioni ($D$), la distanza tra i punti campionati cresce rapidamente, rendendo il kernel del Processo Gaussiano (GP) quasi identità (matrice di covarianza diagonale). Questo porta a un modello "troppo complesso" (quasi indipendente), dove il GP non riesce a estrarre informazioni significative dai campioni.

Il metodo TuRBO (Trust Region Bayesian Optimization) tenta di mitigare questo problema limitando la ricerca a regioni locali adattive (Trust Regions, TR) di lato $L$. Tuttavia, gli autori identificano un nuovo problema: la degenerazione del modello locale. Anche all'interno di una TR, la distanza attesa tra i punti scala come $\Theta(L/\sqrt{D})$. Se la lunghezza di scala (lengthscale $\ell$) del GP non viene regolata in base sia a $D$ che a $L$, il modello locale può:

• Diventare eccessivamente complesso: Se $\ell$ è troppo piccolo rispetto alla distanza tra i punti, il GP assume che i punti siano indipendenti (fallimento nell'apprendimento).
• Diventare eccessivamente semplice: Se $\ell$ è troppo grande rispetto alla dimensione della TR, il GP diventa troppo "liscio", fallendo nel catturare la struttura locale della funzione.

2. Metodologia: AdaScale-TuRBO

Per risolvere questa instabilità, gli autori propongono AdaScale-TuRBO, un metodo che introduce una regola di scaling del lengthscale consapevole sia della dimensione che della dimensione della regione di fiducia.

I pilastri della metodologia sono:

• Regola di Scaling Derivata: Attraverso l'analisi del Maximum Information Gain (MIG), gli autori dimostrano che per preservare la geometria del kernel e la complessità del modello, il lengthscale $\ell$ deve scalare proporzionalmente a $L/\sqrt{D}$. Questo garantisce che il modello locale mantenga la stessa "complessità effettiva" di un modello globale correttamente scalato.
• Prior Log-Normale TR-Aware: Invece di utilizzare la semplice stima di massima verosimiglianza (MLE), che è instabile in alta dimensione, propongono l'uso della stima MAP (Maximum A Posteriori). Viene introdotta una prior Log-Normale per i lengthscales $\ell_i$:
  $$\ell_i \sim \text{LogNormal}\left(\mu_0 + \log\left(\frac{L}{\sqrt{D}}\right), \sigma_0\right)$$
  Questa prior sposta la distribuzione dei parametri in modo che il modello sia intrinsecamente calibrato sulla geometria della Trust Region corrente.
• Stabilizzazione del Training: Viene fissata la varianza del segnale ($\sigma_f^2 = 1$) per evitare accoppiamenti indesiderati tra varianza e lengthscale durante la stima dei parametri.

3. Contributi Chiave

1. Diagnosi Teorica: Identificazione della degenerazione del GP locale in TuRBO tramite l'analisi del comportamento del MIG al variare di $D$ e $L$.
2. Invarianza del MIG: Dimostrazione matematica (Proposizione 2) che lo scaling $\ell \propto L/\sqrt{D}$ preserva l'invarianza del guadagno di informazione sotto trasformazioni di scala del dominio.
3. Algoritmo AdaScale-TuRBO: Proposta di un nuovo framework che integra la prior dimensionale/TR-aware con l'estrazione MAP, stabilizzando l'ottimizzazione in spazi ad alta dimensionalità.

4. Risultati Sperimentali

Gli autori hanno testato il metodo su benchmark sintetici (Schwefel, Rastrigin, Michalewicz) e su un problema reale di pianificazione di traiettorie per un rover (60 dimensioni).

• Benchmark Sintetici (50D e 100D): AdaScale-TuRBO ha superato costantemente TuRBO e altri metodi (come il D-scaled TuRBO). È interessante notare che scalare il lengthscale solo con $\sqrt{D}$ (senza considerare $L$) non è sufficiente e può peggiorare le prestazioni, confermando la necessità di considerare la dimensione della Trust Region.
• Benchmark Real-World (60D): Il metodo ha mostrato un miglioramento significativo rispetto a TuRBO nel problema del rover, dimostrando robustezza in scenari di pianificazione complessi.
• Robustezza: Gli esperimenti di ablazione mostrano che i miglioramenti non dipendono da una scelta specifica dei parametri iniziali della Trust Region ($L_0$).

5. Significato e Impatto

Il lavoro è significativo perché corregge un errore concettuale nell'uso delle Trust Region per l'ottimizzazione Bayesiana in alta dimensione. Dimostra che limitare lo spazio di ricerca non equivale a semplificare il problema del modello: senza una corretta calibrazione geometrica dei parametri del kernel, la riduzione dello spazio di ricerca può paradossalmente rendere il modello surrogato meno efficace. AdaScale-TuRBO fornisce una soluzione elegante e computazionalmente leggera per rendere la BO locale affidabile in spazi ad altissima dimensionalità.