Riepilogo Tecnico: DT-PBO – Un Modello Surrogato Basato su Alberi Interpretabile per l'Ottimizzazione Bayesiana Preferenziale

1. Enunciato del Problema

L'Ottimizzazione Bayesiana Preferenziale (PBO) mira a identificare la soluzione più preferita da un decisore (DM) all'interno di uno spazio di ricerca utilizzando il minor numero possibile di confronti a coppie (PC). Sebbene i metodi PBO esistenti facciano prevalentemente affidamento su surrogati basati su Processi Gaussiani (GP), questi modelli soffrono di una limitazione critica: mancanza di interpretabilità. I GP funzionano come modelli a scatola nera, rendendo difficile per i DM comprendere perché certe soluzioni siano preferite. Questa opacità costituisce un ostacolo significativo in domini ad alto rischio (ad esempio, sanità, difesa) dove i quadri normativi (come il GDPR dell'UE) e le linee guida etiche (ad esempio, la strategia sull'IA responsabile della NATO) impongono l'esplicabilità. Inoltre, i metodi di spiegazione post-hoc per i GP sono spesso infedeli al modello sottostante, fornendo potenzialmente intuizioni fuorvianti.

Il documento affronta la necessità di un modello surrogato che sia intrinsecamente interpretabile, mantenendo al contempo la capacità di modellare l'incertezza delle preferenze e supportare l'apprendimento attivo (efficienza del campione).

2. Metodologia: DT-PBO

Gli autori propongono DT-PBO, un nuovo modello surrogato basato su Albero Decisionale (DT) progettato specificamente per la PBO. A differenza degli alberi decisionali standard addestrati su dati di classificazione o ranking, DT-PBO apprende direttamente dai dati di confronto a coppie. Il metodo segue il ciclo di ottimizzazione PBO standard (Figura 1) ma sostituisce il surrogato GP con una struttura ad albero.

2.1 Partizionamento dello Spazio (Euristiche di Divisione)

L'innovazione centrale è un'euristica di divisione basata sul Punteggio di Coerenza progettata per partizionare lo spazio delle caratteristiche in base alle preferenze osservate piuttosto che alle etichette di ranking.

• Meccanismo: Per un nodo $A$ contenente un insieme di confronti $D_A$, l'algoritmo valuta le divisioni candidate (indice della caratteristica $k$ e soglia $t$).
• Punteggio di Coerenza ($S_A$): Una divisione viene valutata in base a quanto bene separa i "vincitori" dai "perdenti". Nello specifico, calcola la media empirica di una variabile $Z_i(s)$, che è $+1$ se il vincitore si trova da un lato della divisione e il perdente dall'altro, $-1$ se invertito, e $0$ se entrambi si trovano dallo stesso lato. Il punteggio è il valore assoluto di questa media.
• Esclusione degli "Straddler": Una caratteristica strutturale chiave è l'esclusione degli "straddler" (coppie in cui un elemento cade nel figlio sinistro e l'altro nel figlio destro) dai dataset utilizzati per le divisioni dei discendenti. Gli autori dimostrano matematicamente che gli straddler non contengono informazioni sulla struttura interna dei nodi figli una volta stabilita la divisione del genitore. Questa esclusione controlla naturalmente la crescita dell'albero, favorendo alberi poco profondi e interpretabili senza richiedere un'aggressiva ottimizzazione degli iperparametri.

2.2 Stima dei Parametri delle Foglie

Una volta determinata la struttura dell'albero, il modello assegna una stima probabilistica a ogni foglia per supportare l'apprendimento attivo.

• Foglie Probabilistiche: Invece di un singolo valore, ogni foglia $j$ è modellata come una distribuzione Gaussiana con media $f_j$.
• Approssimazione di Laplace (LA): Gli autori adottano un approccio bayesiano in cui i valori di utilità latenti tra le foglie seguono un prior congiunto multivariato Gaussiano. Utilizzano l'Approssimazione di Laplace per trovare la stima del Massimo a Posteriori (MAP) e la covarianza a posteriori.
• Identificabilità: Per risolvere l'invarianza traslazionale intrinseca nelle likelihood a coppie (dove aggiungere una costante a tutte le utilità non cambia le preferenze), viene applicato un vincolo di somma zero ($\sum f_i = 0$). Ciò garantisce che il modello sia identificabile e rimuove la varianza irriducibile nella direzione dello spostamento costante.
• Iperparametri: Il modello si basa sul rapporto tra la varianza del rumore e la varianza a priori ($\sigma^2_{noise}/\sigma^2_{prior}$), che risulta essere l'unico parametro identificabile che governa l'ottimizzazione.

2.3 Apprendimento Attivo

Il modello utilizza la funzione di acquisizione qEUBO (Utilità Attesa della Migliore Opzione) per selezionare il successivo confronto a coppie più informativo.

• Inter-foglia vs. Intra-foglia: Mentre qEUBO seleziona efficacemente i confronti tra foglie diverse, collassa all'interno di una singola foglia (dove la media predittiva è costante). Per affrontare ciò, gli autori impiegano un'euristica per la priorità intra-foglia in contesti discreti, focalizzando l'esplorazione sulla foglia attualmente ritenuta contenere l'ottimo.

3. Contributi Chiave

1. Apprendimento delle Preferenze basato su Alberi: Lo sviluppo di un algoritmo che apprende alberi decisionali interpretabili direttamente dai dati di confronto a coppie utilizzando un'euristica di divisione basata sulla coerenza e una stima probabilistica delle foglie.
2. Valutazione Numerica: Verifica empirica che mostra come DT-PBO raggiunga una convergenza competitiva rispetto ai modelli basati su GP all'avanguardia (SkewGP e GP basati su LA), in particolare su funzioni con paesaggi di ottimizzazione accidentati (ad esempio, De Jong, Holder, Schwefel). Il metodo dimostra tempi di esecuzione computazionale significativamente più rapidi (10–400 volte più veloci dei GP).
3. Casi di Studio Reali: Dimostrazione dell'interpretabilità e dell'utilità del modello in due scenari distinti:
   • Preferenze per il Sushi: Mostra come il modello possa recuperare le preferenze dell'utente e generalizzare a elementi non visti.
   • Classifica dei Messaggi ai Pazienti (PMR): Un compito di triage clinico ad alto rischio in cui il modello identifica caratteristiche specifiche (ad esempio, "sindrome da bandiera rossa", "azione del messaggio") che guidano l'urgenza, fornendo intuizioni opache agli approcci basati su LLM o GP a scatola nera.

4. Risultati

• Convergenza: Su otto funzioni di riferimento, DT-PBO si comporta in modo competitivo. Sottoperforma leggermente su funzioni lisce e non accidentate (ad esempio, Rosenbrock, Hartmann) ma supera o eguaglia i GP su funzioni accidentate.
• Efficienza: DT-PBO è computazionalmente superiore, con tempi di esecuzione di circa 12 secondi per 200 iterazioni rispetto a centinaia o migliaia di secondi per le varianti GP. Ciò è attribuito all'evitamento dell'ottimizzazione degli iperparametri per le scale di lunghezza del kernel e alla riduzione della dimensione della matrice Hessiana dal numero di elementi unici ($m$) al numero di foglie ($m_l$).
• Robustezza: Il modello è robusto al rumore nelle preferenze e insensibile a piccoli cambiamenti nel rapporto tra rumore e iperparametro a priori.
• Interpretabilità: Nei casi di studio, gli alberi risultanti (profondità 4–6) forniscono regole chiare e leggibili dall'uomo (ad esempio, "Se è presente dolore al petto, dare priorità") che si allineano con la conoscenza del dominio, a differenza delle output a scatola nera dei GP o dei Modelli Linguistici su Grande Scala (LLM).

5. Significato e Limitazioni

Il documento afferma che DT-PBO offre un'alternativa vitale e intrinsecamente interpretabile ai surrogati GP a scatola nera nella PBO. Il suo significato risiede nel colmare il divario tra l'ottimizzazione efficiente dal punto di vista del campione e la necessità di spiegabilità in domini decisionali critici. Fornendo modelli trasparenti, permette ai decisori di affinare le proprie preferenze con maggiore fiducia e sicurezza.

Limitazioni riconosciute dagli autori:

• Indifferenza: Il modello attuale non può modellare esplicitamente affermazioni di indifferenza ($A \sim B$).
• Alte Dimensioni: Le prestazioni peggiorano su funzioni non accidentate all'aumentare della dimensionalità ($D > 7$), probabilmente a causa della natura allineata agli assi delle divisioni degli alberi decisionali che fatica con confini decisionali complessi e diagonali comuni nelle funzioni lisce ad alta dimensionalità.
• Estrazione delle Caratteristiche: Nel caso di studio PMR, la qualità del modello finale dipende dall'affidabilità dell'LLM utilizzato per l'estrazione delle caratteristiche.

Gli autori concludono che, sebbene esistano limitazioni, DT-PBO dimostra con successo che i modelli surrogati interpretabili possono raggiungere prestazioni competitive nella PBO, in particolare in scenari in cui l'interpretabilità è un prerequisito per il dispiegamento.