Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport

Questo lavoro introduce l'Inferenza della Traiettoria degli Iperparametri (HTI), un approccio basato sul trasporto ottimo lagrangiano condizionale che apprende la dinamica delle distribuzioni di output di una rete neurale al variare degli iperparametri per costruire un modello surrogato capace di prevedere comportamenti a impostazioni non osservate senza costosi riaddestramenti.

L'essenziale

Il Problema: La "Sindrome del Menu Rigido"

Immagina di avere un'auto molto sofisticata (una Rete Neurale). Questa auto è stata progettata e costruita con impostazioni specifiche: la sensibilità del freno, la durezza delle sospensioni, la potenza del motore. Queste impostazioni sono chiamate iperparametri.

Quando compri l'auto, il meccanico la tarra per te. Ma cosa succede se, dopo averla comprata, il tuo stile di guida cambia?

• Oggi vuoi guidare in città con prudenza (freni morbidi).
• Domani devi correre in montagna (freni duri e sospensioni rigide).
• Ieri eri stanco e volevi comfort, oggi sei energico e vuoi sportività.

Nel mondo dell'Intelligenza Artificiale, cambiare queste impostazioni significa riaddestrare l'intero modello da zero. È come se dovessi smontare e rimontare l'intera auto ogni volta che vuoi cambiare stile di guida. È costosissimo, lento e spesso impossibile.

La Soluzione: L'Indovino del "Percorso" (HTI)

Gli autori di questo paper, Harry Amad e Mihaela van der Schaar, hanno ideato un modo per evitare di smontare l'auto ogni volta. Hanno creato un modello surrogato, che chiamano HTI (Inferenza della Traiettoria degli Iperparametri).

Pensa all'HTI non come a un'auto, ma come a un navigatore GPS avanzato che conosce ogni possibile strada tra due punti.

1. L'Esperimento: Invece di addestrare l'auto per ogni singola situazione, gli autori addestrano il modello solo su alcuni punti chiave (es. "Guida molto morbida", "Guida normale", "Guida molto sportiva").
2. La Magia: L'HTI non si limita a collegare questi punti con una linea retta (che sarebbe troppo semplice e imprecisa). Invece, immagina che lo spazio delle impostazioni sia una montagna.
   • Alcune zone della montagna sono piene di "città" (dati densi, dove il modello funziona bene).
   • Altre sono deserti o zone pericolose (dati vuoti o instabili).
3. Il Percorso: L'HTI impara a tracciare il percorso più efficiente (il "principio di minima azione", come una palla che rotola giù da una collina) che collega le impostazioni che conosciamo a quelle che vogliamo, evitando di cadere nelle zone pericolose e passando attraverso le "città" dove il modello è più sicuro.

Come Funziona: La Fisica del Viaggio

Per capire come fa questo navigatore a essere così bravo, usiamo un'analogia fisica: La Lagrangiana.

Immagina che il modello stia cercando di spostarsi da un'opzione all'altra come se fosse un'onda che viaggia sull'acqua.

• Energia Cinetica (K): È quanto velocemente il modello vuole cambiare.
• Energia Potenziale (U): È come una "magnete" che attira il modello verso le zone dove ci sono molti dati (le zone "dense").

Il sistema impara una mappa fisica (una metrica) che dice: "Ehi, se vuoi cambiare l'impostazione, non andare dritto in linea retta attraverso il vuoto! Curva invece verso le zone dove ci sono molti esempi simili, perché lì la strada è più sicura e liscia".

Questo permette al modello di prevedere come si comporterà l'auto (o il medico, o il sistema di previsione) anche per impostazioni che non ha mai visto prima, semplicemente "scorrendo" lungo questo percorso fisico appreso.

A Cosa Serve nella Vita Reale?

Il paper mostra tre esempi concreti di come questa tecnologia cambi le regole del gioco:

1. Oncologia Personalizzata (Il Medico Virtuale):
   Immagina un sistema AI che decide la terapia per il cancro. Deve bilanciare due cose: uccidere il tumore e non distruggere il sistema immunitario del paziente.

   • Il "paziente A" è giovane e forte: vuole un attacco forte al tumore.
   • Il "paziente B" è anziano e fragile: vuole un approccio delicato.
   • Con l'HTI, il medico non deve riaddestrare l'AI per ogni paziente. Basta cambiare un "manopola" (l'iperparametro) al momento della diagnosi, e l'HTI calcola istantaneamente la strategia perfetta per quel specifico paziente, come se fosse stato addestrato apposta per lui.

2. Previsioni Meteo e Finanza (Le Previsioni di Sicurezza):
   Quando prevedi il meteo o il prezzo delle azioni, non ti basta sapere il valore "medio". Vuoi sapere: "Qual è la probabilità che piova molto? E che piova poco?".
   Di solito, per avere queste risposte, devi addestrare modelli separati per ogni livello di rischio. Con l'HTI, addestri solo i modelli per i rischi estremi (piove tantissimo o non piove affatto) e il sistema "colma i buchi" per dirti esattamente cosa aspettarsi per qualsiasi livello di pioggia intermedio.

3. Generazione di Immagini (L'Artista Flessibile):
   Se usi un'AI per disegnare, a volte vuoi immagini iper-realistiche, altre volte vuoi qualcosa di più astratto e creativo. L'HTI ti permette di scivolare dolcemente da un'estremità all'altra dello spettro artistico senza dover ricominciare da capo.

In Sintesi

Il paper introduce un modo intelligente per imparare a navigare tra le diverse impostazioni di un'Intelligenza Artificiale.

Invece di costruire un ponte solido ma rigido tra due punti, costruiscono un sentiero dinamico che si adatta al terreno. Questo sentiero rispetta le "leggi della fisica" dei dati (evitando zone vuote e pericolose), permettendo agli utenti di cambiare le regole del gioco in tempo reale, velocemente e senza costi proibitivi.

È come avere un'auto che, invece di dover essere costruita di nuovo ogni volta che cambi strada, sa istintivamente come modificare le sue sospensioni e il motore mentre guidi, adattandosi perfettamente alla strada che stai percorrendo.

Sommario tecnico

1. Il Problema: Inference di Traiettorie di Iperparametri (HTI)

Le reti neurali (NN) presentano spesso compromessi comportamentali critici determinati dagli iperparametri di design (es. pesi delle ricompense nel Reinforcement Learning, target di quantili nella regressione). Una volta deployate, le preferenze degli utenti o le condizioni operative possono evolvere, rendendo le impostazioni iniziali subottimali.
Ricalibrare o riaddestrare la rete per ogni nuova configurazione è spesso proibitivo in termini di costi computazionali e tempo.

Il paper introduce il compito di Hyperparameter Trajectory Inference (HTI):

• Obiettivo: Apprendere, partendo da dati osservati, come la distribuzione condizionale di output di una NN, $p_{\theta_\lambda}(y|x)$, cambia al variare di un iperparametro continuo $\lambda$.
• Sfida: Costruire un modello surrogato $\hat{p}(y|x, \lambda)$ che possa campionare output a impostazioni di iperparametri non osservate, senza riaddestramento.
• Difficoltà: Le dinamiche indotte dagli iperparametri sono tipicamente non lineari e vivono in spazi non euclidei complessi. Metodi di interpolazione semplici (come il Conditional Flow Matching) falliscono nel garantire che i percorsi inferiti siano "fattibili" (cioè rispettino la geometria dei dati e le leggi fisiche o di ottimizzazione sottostanti).

2. Metodologia: Conditional Lagrangian Optimal Transport (CLOT)

Gli autori propongono un approccio basato sulla Conditional Lagrangian Optimal Transport (CLOT), estendendo le tecniche di Trajectory Inference (TI) per incorporare condizioni e principi fisici.

A. Formulazione del Problema

Il problema è visto come l'inferenza di dinamiche condizionali $t \mapsto p_t(\cdot|x)$ (dove $t$ è l'iperparametro $\lambda$) da distribuzioni marginali sparse osservate. Si utilizza la teoria del Trasporto Ottimo Condizionale (COT) per definire mappe e percorsi ottimali tra queste distribuzioni.

B. Funzione di Costo Lagrangiana

Invece di usare una semplice distanza euclidea, gli autori definiscono una funzione di costo basata sul principio di minima azione di Lagrange. La funzione di costo $c(y_0, y_1|x)$ è l'azione minima lungo una curva $q_t$ che collega due punti:
$$S(q|x) = \int_0^1 L(q_t, \dot{q}_t|x) dt$$
dove la Lagrangiana $L$ è composta da:

1. Energia Cinetica ($K$): Definisce la geometria dello spazio dei dati attraverso una metrica Riemanniana $G(q|x)$.
   $$K(q_t, \dot{q}_t|x) = \frac{1}{2} \dot{q}_t^T G(q_t|x) \dot{q}_t$$
2. Energia Potenziale ($U$): Introduce un bias per favorire il passaggio attraverso regioni dense dei dati (Manifold Hypothesis).
   $$U(q|x) = \alpha \log(\hat{p}(q|x) + \epsilon)$$
   dove $\hat{p}$ è una stima della densità (es. stimatore di Nadaraya-Watson).

C. Apprendimento Neurale

Il metodo apprende congiuntamente:

• La metrica $G_\theta$ (parametrizzata da una rete neurale) che cattura la geometria non euclidea.
• Le mappe di trasporto ottimali e le geodetiche (percorsi) tra le distribuzioni osservate.
• La funzione potenziale $U$ (fissata o appresa) per guidare i percorsi verso regioni ad alta densità.

L'addestramento segue un procedimento min-max:

1. Si massimizza la formulazione duale del COT per stimare i costi di trasporto dati la metrica corrente.
2. Si minimizza il costo totale rispetto alla metrica $G_\theta$ per trovare la geometria che rende le traiettorie più efficienti (principio di minima azione).
3. Si utilizzano approssimatori neurali per le mappe di trasporto e per le geodetiche (rappresentate come spline), evitando ottimizzazioni costose al momento dell'inferenza.

3. Contributi Chiave

1. Introduzione del problema HTI: Formalizzazione dell'adattamento comportamentale delle NN a inferenza tramite l'inferenza di traiettorie condizionali.
2. Metodo Generale per CTI: Proposta di un metodo basato su CLOT che apprende dinamiche condizionali complesse da campioni temporali sparsi.
   • Apprendimento di un termine di energia potenziale dipendente dai dati ($U$) e di un termine cinetico ($K$).
   • Estensione al setting condizionale (CTI) con bias induttivi per la densità e l'azione minima.
   • Una nuova parametrizzazione della metrica neurale $G_\theta$ basata su decomposizione spettrale (autovalori e rotazioni Givens), che evita minimi degeneri e si estende a dimensioni elevate.
3. Validazione Empirica: Dimostrazione che l'approccio ricostruisce meglio le distribuzioni condizionali rispetto ad alternative (Flow Matching, Metric Flow Matching, interpolazione diretta) in diversi domini.

4. Risultati Sperimentali

Gli esperimenti coprono diversi scenari di HTI:

• Esempio Illustrativo (Semicerchi): In un dataset sintetico 2D con condizioni diverse, il metodo completo ($K_\theta - \hat{U}$) ricostruisce fedelmente le traiettorie semicircolari non euclidee, mentre i metodi senza bias di densità o senza metrica appresa falliscono nel seguire la geometria corretta.
• Reinforcement Learning (Cancer Therapy & Reacher):
  • Cancer Therapy: Adattamento dinamico del peso della ricompensa per bilanciare riduzione tumorale e preservazione delle cellule NK. Il surrogato HTI permette di variare l'iperparametro a inferenza con un reward medio superiore rispetto ai baselines, evitando il riaddestramento di policy PPO (che richiederebbe ore).
  • Reacher: Ottimizzazione del trade-off tra precisione e sforzo (torque). Il metodo ottiene i reward più alti su iperparametri non visti.
  • Non-linear Reward: Il metodo rimane robusto anche con funzioni di reward non lineari (hinge loss).
• Regressione Quantile: Predizione di intervalli di confidenza per serie temporali (dataset ETTm2). Il surrogato inferisce quantili intermedi (es. $\tau=0.5$) partendo solo da quelli estremi ($\tau=0.01, 0.99$) con errore MSE inferiore rispetto ai competitor.
• Generative Modeling (Dropout): Interpolazione tra modelli di diffusione addestrati con diversi tassi di dropout. Il metodo con bias di densità ($\hat{U}$) ottiene la minima distanza di Wasserstein.

Efficienza: Il paper evidenzia un vantaggio computazionale enorme: addestrare un surrogato HTI richiede minuti, mentre addestrare nuove policy per ogni iperparametro richiederebbe ore di GPU.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Flessibilità Operativa: Risolve il problema della rigidità delle NN deployate, permettendo agli utenti di adattare il comportamento del modello in tempo reale in base a preferenze contestuali (es. pazienti diversi, condizioni ambientali variabili) senza costi di riaddestramento.
• Avanzamento Teorico: Integra la teoria del Trasporto Ottimo con i principi della meccanica lagrangiana e l'ipotesi del manifold, offrendo un framework matematicamente solido per l'inferenza di dinamiche non euclidee.
• Generalizzabilità: La metodologia non è limitata al RL, ma è applicabile a regressione quantile, modelli generativi e ottimizzazione bayesiana, aprendo la strada a sistemi di IA più adattivi ed efficienti.

In sintesi, il paper propone un ponte tra la teoria fisica dell'ottimizzazione e l'apprendimento automatico pratico, permettendo di "navigare" nello spazio degli iperparametri di una rete neurale in modo efficiente e geometricamente consapevole.