Relative Entropy Estimation in Function Space: Theory and Applications to Trajectory Inference

1. Il Problema: Inferenza di Traiettorie e Limiti delle Metriche Attuali

L'Inferenza di Traiettorie (Trajectory Inference - TI) è un campo cruciale, specialmente nella genomica a cellula singola, che mira a ricostruire processi dinamici latenti (come la differenziazione cellulare) partendo da dati "istantanei" (snapshot).

• La sfida: Le misurazioni biologiche sono spesso distruttive; si osservano solo distribuzioni marginali a tempi discreti, non le traiettorie complete delle singole cellule.
• Il limite attuale: La valutazione degli algoritmi TI si basa quasi esclusivamente sulla ricostruzione delle marginali (distribuzioni di probabilità ai singoli istanti temporali) su dati di validazione tenuti da parte (held-out).
• Il paradosso: Le marginali non sono sufficienti a determinare la legge di probabilità sullo spazio delle traiettorie (spazio funzionale). È possibile che due modelli molto diversi generino le stesse distribuzioni marginali ma dinamiche temporali (accoppiamenti tra stati a tempi diversi) completamente errate. Le metriche attuali (come EMD, Wasserstein, MMD) non riescono a catturare queste discrepanze dinamiche, portando a valutazioni incoerenti e fuorvianti.

2. Metodologia: Stima della Divergenza KL nello Spazio Funzionale

Gli autori introducono un quadro generale per stimare la Divergenza di Kullback-Leibler (KL) tra misure di probabilità definite su uno spazio di Hilbert (spazio delle funzioni/traiettorie), denominato FKL (Function-space KL).

Fondamenti Teorici

Il lavoro si basa sulla teoria dei Flussi Funzionali (Functional Flow Matching - FFM) e sull'analisi di misure gaussiane in spazi infinito-dimensionali.

1. Impostazione Probabilistica: Si considerano due spazi di probabilità che condividono una misura iniziale gaussiana $X_0 \sim \mathcal{N}(0, C)$ ma hanno leggi finali diverse $\nu_A$ e $\nu_B$ (dove $\nu_A$ è la verità fondamentale o un riferimento, e $\nu_B$ è l'inferenza del modello).
2. Interpolazione Lineare: Si definisce un processo stocastico $X_t = (1-t)X_0 + tX_1$ che interpola tra la misura iniziale e quella finale.
3. Campi di Velocità: Utilizzando l'equazione di continuità debole, la divergenza KL può essere espressa in termini dei campi di velocità ($v_t$) che guidano il flusso delle misure.
4. Teorema Principale (FKL): Sotto ipotesi di regolarità e supporto (spazio di Cameron-Martin), la divergenza KL tra le traiettorie può essere scritta come un integrale temporale della discrepanza quadratica tra i campi di velocità dei due modelli:
   $$KL(\nu_A \| \nu_B) = \int_0^1 \int_H \frac{t}{1-t} \|v^A_t(x) - v^B_t(x)\|^2_{H_{\mu_0}} d\mu^A_t(x) dt$$
   Questa formula trasforma un problema complesso di stima di densità in spazi infiniti in un problema di regressione sui campi di velocità, rendendo il calcolo trattabile.

Implementazione Pratica

• Stima: Vengono addestrati due operatori neurali (basati su MINO - Mesh-Informed Neural Operator) per approssimare i campi di velocità $v^A$ e $v^B$ condizionati da un flag binario.
• Stabilizzazione: Per gestire la singolarità $\frac{t}{1-t}$ quando $t \to 1$, si impone un vincolo al contorno $v(x, 1) = x$ tramite una parametrizzazione basata sulla sottrazione.
• Valutazione: La FKL viene stimata tramite Monte Carlo campionando traiettorie, senza necessità di integrare dinamicamente le equazioni differenziali complete.

3. Contributi Chiave

1. Costruzione Teorica: Fornisce una derivazione rigorosa della divergenza KL tra misure su spazi di funzioni, basata sulla continuità assoluta e sulle proprietà dello spazio di Cameron-Martin, portando a un estimatore semplice e scalabile.
2. Validazione Analitica: L'estimatore FKL è stato validato su casi speciali (misure gaussiane e SDE lineari) dove la KL analitica è nota. I risultati mostrano una corrispondenza quasi perfetta tra i valori stimati e quelli analitici, confermando la correttezza della teoria.
3. Benchmark Estensivo: È stato creato un benchmark su dataset sintetici (Lotka-Volterra, Repressilator, Petal) e reali (scRNA-seq: Embryoid Body, hESC, ecc.) confrontando diversi metodi TI (SBIRR, vSB, MSBM, MFL, AM, TIGON).
4. Nuova Metrica di Valutazione: Dimostra che la FKL fornisce un criterio di valutazione coerente e principiato, superando le limitazioni delle metriche basate sulle marginali.

4. Risultati Principali

Lo studio rivela diverse criticità nelle valutazioni tradizionali e i vantaggi della FKL:

• Incoerenza delle Metriche Marginali: Le classifiche dei metodi basate su metriche come EMD o Wasserstein variano drasticamente a seconda del punto temporale di validazione, della scelta della metrica e dei suoi iperparametri. Spesso, metodi che ottengono punteggi marginali eccellenti falliscono nel catturare la dinamica corretta.
• Disallineamento Dinamico: Il paper dimostra che "adattare le marginali" non implica "correttezza dinamica". Ad esempio, su dataset come Repressilator, un metodo (TIGON) può ottenere buone metriche marginali generando traiettorie lisce invece delle oscillazioni caratteristiche, un errore invisibile alle metriche marginali ma evidente nella FKL.
• Coerenza della FKL: La FKL fornisce classifiche stabili e coerenti con l'ispezione visiva delle traiettorie.
  • Identifica correttamente il metodo di riferimento (VAL) come il migliore.
  • Espone le discrepanze dinamiche anche in regioni con dati sparsi o mancanti.
• Asimmetria KL (Forward vs Reverse):
  • Forward KL ($KL(\nu_A \| \nu_B)$): Penalizza la mancata copertura dei modi della distribuzione reale (mode coverage). Favorisce metodi come MFL che coprono ampiamente lo spazio, anche a costo di includere rumore.
  • Reverse KL ($KL(\nu_B \| \nu_A)$): Penalizza l'assegnazione di massa a regioni vuote (mode seeking). Favorisce metodi come MSBM che sono più precisi ma potrebbero perdere modi a bassa densità.
  • Questa asimmetria offre una visione più ricca rispetto alle metriche simmetriche tradizionali.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per la valutazione rigorosa dei modelli generativi dinamici in spazi continui.

• Superamento del "Cecità Dinamica": Offre il primo strumento pratico per valutare direttamente la qualità delle traiettorie inferite, non solo dei loro istanti temporali.
• Applicabilità: La metodologia è scalabile a dataset reali di grandi dimensioni (come quelli della genomica a cellula singola) e non richiede la conoscenza della dinamica sottostante per essere calcolata (basta campionare le traiettorie generate).
• Implicazioni per la Biologia: Permette di distinguere tra modelli che sembrano buoni statisticamente ma biologicamente errati, guidando lo sviluppo di algoritmi di inferenza di traiettorie più affidabili per la comprensione dei processi di sviluppo cellulare.

In sintesi, gli autori propongono la FKL come nuovo standard "gold" per l'Inferenza di Traiettorie, spostando il focus dalla semplice ricostruzione delle distribuzioni istantanee alla fedeltà delle dinamiche temporali complete.