Space-Filling One-Factor-At-A-Time Designs

Sintesi Tecnica: Disegni Space-Filling One-Factor-At-A-Time

Definizione del Problema
Negli esperimenti computazionali deterministici, i disegni space-filling (ad esempio, i Latin Hypercube Designs) sono lo standard per esplorare gli spazi di input al fine di costruire modelli surrogati robusti, come i Processi Gaussiani (GP). Tuttavia, questi disegni sono spesso inefficienti per lo screening dei fattori poiché variano tutti i fattori simultaneamente, rendendo difficile isolare gli effetti causali quando solo un piccolo sottoinsieme di input è influente (l'assunzione di "sparsity degli effetti"). Al contrario, i disegni One-Factor-At-a-Time (OFAT) sono efficaci per lo screening ma storicamente soffrono di scarse proprietà di space-filling, portando a lacune nello spazio di input che degradano l'accuratezza della modellazione surrogata. I disegni di screening esistenti, come i disegni di Morris e i recentemente proposti disegni Maximum One-Factor-At-a-Time (MOFAT), migliorano la capacità di screening ma non riescono a fornire una copertura adeguata dell'interno dello spazio di input, spesso concentrando i punti vicino ai bordi o lasciando ampie regioni inesplorate.

Metodologia
Gli autori propongono una nuova classe di disegni chiamati Space-filling One-Factor-at-a-Time (SOFT). Questi disegni mirano a ottimizzare le proprietà di space-filling mantenendo la struttura di screening dei disegni OFAT. La metodologia coinvolge tre componenti chiave:

1. Criterio di Ottimizzazione: Invece di affidarsi a semplici metriche basate sulla distanza (come la distanza minimax) che potrebbero non tenere conto degli errori di estrapolazione nei modelli GP, gli autori ottimizzano un criterio basato sull'Errore Quadratico Medio Massimo (MMSE) di un modello surrogato GP. Nello specifico, massimizzano la forma quadratica $Q(D; \alpha, \theta) = \min_{x \in E} \{r(x)'R^{-1}r(x)\}$, dove $E$ è un set di valutazione composto da campioni Monte Carlo uniformi e vertici rappresentativi dell'ipercubo di input. Ciò assicura che il disegno minimizzi l'errore di predizione nel caso peggiore sotto un kernel Multiplicative Inverse Multiquadric (MIM).
2. Livelli dei Fattori e Accoppiamento: Per mantenere la capacità di screening, il disegno utilizza $2l$ livelli equispaziati per ogni fattore. Gli autori derivano una strategia di accoppiamento ottimale (Proposizione 1) in cui i livelli sono accoppiati per massimizzare l'entità totale della perturbazione, garantendo una stima accurata degli indici di Sobol' totali. Identificano un offset iniziale robusto ($a = 0.125/l$) per i livelli che performa bene attraverso diverse strutture di correlazione.
3. Ottimizzazione Strutturale: Il documento affronta due strutture OFAT:
   • Struttura Standard: Tutte le traiettorie OFAT originano da una matrice di base comune $A^{(0)}$.
   • Struttura Stretta (Strict): Le traiettorie sono concatenate sequenzialmente.
     Per la struttura stretta, dove valutare tutte le permutazioni è computazionalmente impraticabile, viene proposto un algoritmo greedy per costruire la sequenza di cambiamenti dei fattori che massimizza il criterio di space-filling. Per entrambe le strutture, viene utilizzato un algoritmo di ricerca locale deterministico per ottimizzare le corse di base ($A^{(0)}$) scambiando le righe per migliorare il criterio $Q$.

Contributi Chiave

• Nuova Classe di Disegno: Introduzione dei disegni SOFT, che sono i primi a integrare esplicitamente forti proprietà di space-filling con le capacità di screening dei disegni OFAT nel contesto degli esperimenti computazionali.
• Framework di Ottimizzazione: Sviluppo di un framework di ottimizzazione specifico che bilancia la necessità di screening (tramite la struttura OFAT e l'entità della perturbazione) con la necessità di accuratezza di predizione globale (tramite il criterio di space-filling basato su MMSE).
• Efficienza Algoritmica: Presentazione di algoritmi efficienti (costruzione greedy e ricerca locale) per generare questi disegni, notando che, sebbene richiedano ottimizzazione, sono computazionalmente più efficienti della generazione di disegni ad alta dimensionalità come i MaxPro.

Risultati
Studi numerici che confrontano i disegni SOFT con i disegni MmLHD, MaxPro e MOFAT attraverso dimensioni da $p=2$ a $20$ producono le seguenti conclusioni:

• Proprietà di Space-Filling: I disegni SOFT raggiungono prestazioni di space-filling (misurate tramite i criteri $Q$ e $\Phi$) comparabili ai classici disegni space-filling (MmLHD e MaxPro) e significativamente superiori ai disegni MOFAT, particolarmente in contesti ad alta dimensionalità. La struttura stretta generalmente offre una migliore capacità di space-filling rispetto alla struttura standard all'aumentare delle dimensioni.
• Accuratezza della Modellazione Surrogata: In termini di Errore Quadratico Medio (MSE) fuori dal campione per funzioni benchmark (funzione-g, Levy, Ackley):
  • I disegni SOFT ottengono costantemente il MSE più basso in la maggior parte degli scenari, inclusi quelli con sparsity degli effetti (fattori inerti).
  • Mentre i disegni puramente space-filling (MmLHD, MaxPro) faticano quando molti fattori sono inerti, e i disegni MOFAT faticano quando i fattori sono attivi o in alta dimensione, i disegni SOFT rimangono robusti in entrambi i regimi.
  • La struttura standard dei disegni SOFT offre spesso le prestazioni predittive più stabili.
• Costo Computazionale: I disegni SOFT sono significativamente più veloci da generare rispetto ai disegni MmLHD e MaxPro, sebbene siano leggermente più costosi dei disegni MOFAT a causa del passaggio di ottimizzazione.

Significatività e Rivendicazioni
Il documento afferma che i disegni SOFT offrono un "chiaro vantaggio" rispetto ai metodi esistenti risolvendo il compromesso tra screening e space-filling. Gli autori sostengono che i disegni SOFT siano più robusti per la modellazione surrogata rispetto ai tradizionali disegni space-filling, un risultato che descrivono come "sorprendente" data la convenzionale saggezza che vede lo space-filling come parametro fondamentale negli esperimenti computazionali. Posizionano i SOFT come il primo disegno di questo tipo negli esperimenti computazionali che integra con successo capacità di screening e di modellazione della superficie di risposta, con un potenziale impatto su come i sistemi complessi vengono esplorati e modellati quando è presente la sparsity dei fattori. Il lavoro è supportato dalla National Science Foundation degli Stati Uniti.