Relative Entropy Estimation in Function Space: Theory and Applications to Trajectory Inference

Título: Estimativa de Entropia Relativa em Espaço de Funções: Teoria e Aplicações à Inferência de Trajetórias

1. O Problema

A Inferência de Trajetórias (TI) visa recuperar processos dinâmicos latentes a partir de dados de "instantâneos" (snapshots), onde apenas amostras independentes de marginais indexados no tempo são observadas. Isso é comum em genômica de célula única (scRNA-seq), onde as medições são destrutivas, impedindo o rastreamento contínuo de células individuais.

• Limitação Atual: A avaliação padrão dos métodos de TI baseia-se na reconstrução de marginais em instantâneos de validação (held-out marginals). No entanto, métricas baseadas em marginais são intrinsicamente limitadas porque marginais não determinam como os estados em tempos diferentes são acoplados.
• O Desafio: Diferentes modelos de trajetória podem produzir marginais idênticos (ou muito similares) enquanto induzem distribuições de trajetórias completas drasticamente diferentes. Métricas atuais falham em detectar essas discrepâncias dinâmicas, levando a classificações inconsistentes e avaliações enganosas da qualidade do modelo.
• Objetivo: Desenvolver uma métrica de avaliação que compare diretamente as medidas de probabilidade sobre o espaço de funções completas (trajetórias), e não apenas sobre os pontos no tempo.

2. Metodologia

Os autores propõem um framework geral para estimar a Divergência de Kullback-Leibler (KL) entre medidas de probabilidade em um espaço de Hilbert de dimensão infinita (espaço de funções), denominando-o FKL (Functional KL).

• Fundamentação Teórica:

  • O método baseia-se no Functional Flow Matching (FFM), que modela a distribuição de trajetórias através de um fluxo de medidas condicionais Gaussianas interpolando entre uma lei de referência (ruído) e a lei induzida pelos dados.
  • Utilizando a equação de continuidade fraca e o teorema de Cameron-Martin, os autores derivam uma representação da divergência KL que depende apenas dos campos de velocidade (velocity fields) que geram os fluxos.
  • Fórmula Chave (Teorema 3.6): Sob certas condições de regularidade e suporte (Assunções 3.1 e 3.2), a KL entre duas medidas $\nu_A$ e $\nu_B$ é expressa como:
    $$KL(\nu_A \parallel \nu_B) = \int_0^1 \int_H \frac{t}{1-t} \|v^A_t(x) - v^B_t(x)\|^2_{H_{\mu_0}} d\mu^A_t(x) dt$$
    Onde $v^A_t$ e $v^B_t$ são os campos de velocidade estimados para cada distribuição, e a norma é calculada no espaço de Cameron-Martin associado ao ruído.

• Implementação Prática:

  • Utiliza-se um Operador Neural Condicional (MINO) para aproximar simultaneamente dois campos de velocidade ($v^A$ e $v^B$) usando uma variável de condicionamento binária.
  • Para estabilizar a estimativa e lidar com a singularidade em $t=1$ (devido ao termo $\frac{t}{1-t}$), impõe-se uma condição de fronteira onde o campo de velocidade converge para a identidade ($v(x,1)=x$).
  • A estimativa final é feita via Monte Carlo, amostrando trajetórias e tempos, sem a necessidade de integrar dinâmicas generativas completas via ODE/SDE.

3. Contribuições Principais

1. Construção Geral de FKL: Uma formulação teórica rigorosa para estimar a divergência KL entre distribuições sobre funções, baseada em tratamento cuidadoso de continuidade absoluta e covariâncias de ruído de classe traço.
2. Validação Analítica: O estimador foi validado em casos especiais (medidas Gaussianas e SDEs lineares) onde a KL analítica é conhecida, demonstrando alta precisão e estabilidade numérica.
3. Benchmark Abrangente: Avaliação extensiva de métodos de TI modernos (baseados em SDE e ODE) em dados sintéticos (Lotka-Volterra, Repressilator, Petal) e reais (scRNA-seq: EB, hESC, ME, HF).
4. Descoberta de Inconsistências: Demonstração de que métricas baseadas em marginais (como EMD, Wasserstein, MMD) frequentemente fornecem classificações inconsistentes e não correlacionadas com a fidelidade dinâmica real, enquanto o FKL oferece uma avaliação coerente.

4. Resultados

• Inconsistência das Métricas de Marginal:
  • As classificações dos métodos variam drasticamente dependendo do ponto de tempo de validação, da métrica escolhida e dos hiperparâmetros (ex.: largura do kernel no MMD).
  • Métricas de marginal podem favorecer modelos que falham em capturar a dinâmica correta (ex.: TIGON gerando espirais suaves em vez de oscilações tridimensionais no dataset Repressilator), desde que os instantâneos finais coincidam.
• Superioridade do FKL:
  • O FKL alinha-se consistentemente com a inspeção visual das trajetórias e com a fidelidade dinâmica esperada.
  • Exemplo no Dataset Petal: Métricas de marginal sugerem que TIGON e MSBM têm desempenho similar em $\tau=0.75$. O FKL, contudo, revela uma grande discrepância nas dinâmicas subjacentes, separando claramente os métodos.
• Assimetria KL (Forward vs. Reverse):
  • KL Direta ($KL(\nu_{ref} \parallel \nu_{est})$): Favorece a cobertura de modos (mode coverage). Penaliza se o modelo estimado não cobrir regiões onde a referência tem massa. O método MFL tende a performar bem aqui, mas gera trajetórias que se espalham para fora do suporte dos dados.
  • KL Reversa ($KL(\nu_{est} \parallel \nu_{ref})$): Favorece a busca de modos (mode seeking). Penaliza se o modelo estimado atribuir massa a regiões vazias na referência. O método MSBM tende a performar bem aqui, mantendo-se próximo aos dados, mas podendo perder modos de baixa densidade.

5. Significado e Conclusão

O trabalho estabelece o FKL (Divergência KL Funcional) como um critério principista e necessário para a avaliação de métodos de Inferência de Trajetórias sob observabilidade parcial.

• Impacto: Resolve a ambiguidade na avaliação de modelos dinâmicos, permitindo distinguir entre modelos que apenas "encaixam" os dados pontuais e aqueles que realmente aprendem a dinâmica temporal subjacente.
• Aplicabilidade: O método é escalável para conjuntos de dados reais de genômica e simulações físicas, oferecendo uma ferramenta robusta para o desenvolvimento futuro de algoritmos de TI, especialmente em áreas onde a dinâmica temporal é crítica, como biologia de desenvolvimento e modelagem de sistemas complexos.

Em resumo, o artigo argumenta que avaliar trajetórias exige olhar para as trajetórias completas, e não apenas para seus instantâneos, e fornece a ferramenta matemática e computacional para fazer isso de forma eficiente.