Relative Entropy Estimation in Function Space: Theory and Applications to Trajectory Inference

Resumen Técnico: Estimación de Entropía Relativa en Espacio de Funciones

1. El Problema: Limitaciones de la Inferencia de Trayectorias (TI)

La Inferencia de Trayectorias (TI) busca reconstruir procesos dinámicos latentes a partir de datos de "instantáneas" (snapshots), es decir, muestras independientes de distribuciones marginales en tiempos discretos. Esto es común en genómica de células individuales (scRNA-seq), donde las mediciones son destructivas y no permiten observar trayectorias continuas de células individuales.

El problema central identificado en el artículo es la no identificabilidad de las leyes en el espacio de trayectorias:

• Las métricas de evaluación actuales se basan en la reconstrucción de marginales (distribuciones en tiempos específicos) utilizando métricas como la Distancia de Wasserstein (W2, SWD) o MMD.
• Sin embargo, múltiples medidas de probabilidad distintas sobre trayectorias completas pueden compartir el mismo conjunto finito de marginales.
• Esto significa que un método puede obtener puntuaciones excelentes en métricas marginales (ajustando bien los puntos de tiempo) pero inferir dinámicas temporales incorrectas (acoplamientos erróneos entre tiempos). Las métricas marginales son insuficientes para evaluar la fidelidad dinámica real.

2. Metodología: Estimador de Divergencia KL Funcional (FKL)

Los autores proponen un marco general para estimar la Divergencia de Kullback-Leibler (KL) entre dos medidas de probabilidad definidas sobre un espacio de funciones (el espacio de trayectorias completas), en lugar de solo sobre espacios de estados finitos.

Fundamentos Teóricos:

• Marco de Flujos Funcionales (FFM): Se basan en el Functional Flow Matching, que modela la evolución de medidas de probabilidad mediante campos de velocidad en un espacio de Hilbert separable.
• Derivación Matemática:
  • Asumen la existencia de la derivada de Radon-Nikodym y que las medidas están soportadas en el espacio de Cameron-Martin asociado al ruido.
  • Utilizan la ecuación de continuidad débil para expresar la divergencia KL entre dos medidas de trayectoria ($\nu_A$ y $\nu_B$) en términos de sus campos de velocidad ($v_A$ y $v_B$).
  • Demuestran que la divergencia KL funcional puede calcularse integrando la discrepanza cuadrática entre los campos de velocidad a lo largo del tiempo, ponderada por la norma del espacio de Cameron-Martin:
    $$KL(\nu_A \| \nu_B) = \int_0^1 \int_H \frac{t}{1-t} \| v_A(x,t) - v_B(x,t) \|_{H_{\mu_0}}^2 d\mu_t(x) dt$$
  • Esta formulación elimina la necesidad de calcular densidades de probabilidad explícitas en espacios de alta dimensión, transformando el problema en la estimación de campos de velocidad.

Implementación Práctica:

• Utilizan un Operador Neuronal Condicional (MINO) para aproximar simultáneamente dos campos de velocidad (uno para la distribución de referencia y otro para la inferida) mediante un único modelo con una variable de condición binaria.
• Se imponen condiciones de frontera ($v(x,1)=x$) para cancelar la singularidad en $t=1$ y estabilizar la estimación.
• El estimador final se calcula mediante Monte Carlo, muestreando trayectorias y evaluando la discrepancia de velocidades, sin necesidad de integrar dinámicas generativas completas (ODE/SDE) durante la evaluación.

3. Contribuciones Clave

1. Construcción General: Proporcionan una construcción teórica rigurosa para estimar la divergencia KL entre distribuciones sobre funciones, abordando cuidadosamente la continuidad absoluta y las covarianzas de ruido.
2. Validación Analítica: Validan el estimador en casos especiales (medidas Gaussianas y SDEs lineales) donde la KL analítica es conocida, demostrando una coincidencia casi perfecta entre los valores estimados y los analíticos.
3. Benchmark Exhaustivo: Evalúan métodos de TI de última generación (basados en SDEs como SBIRR, vSB, MSBM, y ODEs como TIGON) en conjuntos de datos sintéticos (Lotka-Volterra, Repressilator, Petal) y reales (scRNA-seq).
4. Nueva Métrica de Evaluación: Introducen el FKL como un criterio principista para evaluar la inferencia de trayectorias bajo observabilidad parcial, superando las limitaciones de las métricas marginales.

4. Resultados Principales

• Inconsistencia de Métricas Marginales: Las métricas tradicionales (EMD, W2, MMD) muestran rankings inestables que dependen fuertemente del punto de tiempo de validación, la elección de la métrica y sus hiperparámetros. A menudo, métodos con dinámicas incorrectas obtienen puntuaciones marginales competitivas.
• Fidelidad Dinámica vs. Ajuste Marginal: Se demuestra que "ajustar marginales" no implica "recuperar dinámicas". Por ejemplo, en el dataset Repressilator, TIGON obtiene buenos scores marginales pero genera trayectorias suaves en lugar de las oscilaciones características, algo que el FKL detecta correctamente.
• Ranking Coherente con el FKL:
  • El FKL proporciona rankings consistentes con la inspección visual y la teoría subyacente.
  • Identifica correctamente a SBIRR como el mejor método en dinámicas cíclicas y bifurcaciones, y a MSBM en estructuras de ramificación complejas (Petal), mientras que las métricas marginales a menudo favorecen incorrectamente a otros métodos.
• Asimetría KL (Cobertura vs. Búsqueda de Modos):
  • KL Directa ($KL(\nu_{ref} \| \nu_{est})$): Penaliza la falta de cobertura de modos (el modelo estimado debe cubrir todo el soporte de la referencia). Favorece métodos como MFL que generan trayectorias más dispersas.
  • KL Inversa ($KL(\nu_{est} \| \nu_{ref})$): Penaliza asignar masa a regiones sin soporte (búsqueda de modos). Favorece métodos como MSBM que se ajustan estrictamente a la distribución de datos, aunque puedan perder modos de baja densidad.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la evaluación de modelos generativos dinámicos:

• Cambio de Paradigma: Mueve el foco de la evaluación basada en "instantáneas" (marginales) a la evaluación basada en "trayectorias completas" (espacio de funciones).
• Solución a la No Identificabilidad: Ofrece una herramienta cuantitativa para distinguir entre modelos que, aunque parezcan similares en los datos observados, tienen dinámicas latentes radicalmente diferentes.
• Aplicabilidad: Es escalable a conjuntos de datos reales de genómica y simulaciones físicas, proporcionando un criterio robusto para seleccionar el método de inferencia de trayectorias más adecuado para un problema dado, especialmente cuando los datos son escasos o ruidosos.

En conclusión, el FKL se establece como una métrica superior y necesaria para validar la calidad de la inferencia de trayectorias, revelando discrepancias en la dinámica que las métricas tradicionales ocultan.