Resumo Técnico: Decodificador Generativo Riemanniano

Declaração do Problema

Dados do mundo real frequentemente possuem estruturas intrínsecas não euclidianas (por exemplo, árvores evolutivas, redes sociais, sinais periódicos) que são mal representadas por espaços latentes euclidianos padrão ($\mathbb{R}^d$). Forçar tais dados para configurações euclidianas distorce suas relações geométricas, levando a visualizações pobres e perda de sinais.

As abordagens existentes para aprendizado de representação Riemanniana, principalmente Autoencoders Variacionais (VAEs), tentam incorporar dados em variedades impondo priors específicos (por exemplo, von Mises–Fisher em esferas ou normais Riemannianas em espaços hiperbólicos). No entanto, esses métodos enfrentam desafios significativos:

1. Fragilidade Numérica: Eles exigem a otimização de objetivos complexos envolvendo constantes de normalização intratáveis e estimativas de Monte Carlo para densidades em variedades arbitrárias.
2. Escalabilidade: Essas aproximações de densidade frequentemente limitam a escalabilidade para variedades gerais ou espaços latentes de alta dimensão.
3. Complexidade: A imposição de restrições de variedade tipicamente depende de um codificador para estimar densidades, adicionando sobrecarga arquitetônica e computacional.

Metodologia

Os autores propõem o Decodificador Generativo Riemanniano (RGD), um quadro unificador que descarta completamente o codificador. Em vez de amortizar a inferência, o modelo trata os códigos latentes como parâmetros livres a serem otimizados diretamente em uma variedade Riemanniana escolhida.

Formulação Central

O problema de aprendizado é formulado como uma estimativa de Máxima A Posteriori (MAP). Dado um conjunto de dados $X = \{x_i\}_{i=1}^N$ e um decodificador diferenciável $f_\theta: \mathcal{M} \to \mathcal{X}$, o modelo otimiza conjuntamente os parâmetros do decodificador $\theta$ e os códigos latentes $Z = \{z_i\}_{i=1}^N$ minimizando o log-posterior negativo:
$$\mathcal{L}(\theta, Z) = \sum_{i=1}^N \left( -\log p_\theta(x_i|z_i) - \log p(z_i) \right) - \log p(\theta)$$

• Verossimilhança: Modelada via perda de reconstrução (por exemplo, erro quadrático para ruído Gaussiano).
• Prior: Para variedades compactas, é utilizado um prior uniforme; para variedades não compactas, são empregadas distribuições envoltas ou normais Riemannianas.
• Otimização: Os códigos latentes são atualizados usando descida de gradiente Riemanniana (especificamente Adam Riemanniano), garantindo que as iterações permaneçam na variedade $\mathcal{M}$ por meio de mapas de retração. Os parâmetros do decodificador são atualizados via Adam Euclidiano padrão.

Regularização Geométrica

Para alinhar a suavidade do decodificador com a geometria da variedade sem exigir estimativa explícita de densidade, os autores introduzem uma regularização sensível à geometria via ruído de entrada.

• Durante o treinamento, cada latente $z$ é perturbado por ruído Gaussiano $\epsilon \sim \mathcal{N}(0, \sigma^2 G^{-1}(z))$, onde $G(z)$ é o tensor métrico Riemanniano.
• Esse ruído é injetado via mapa exponencial (aproximado como identidade para ruído pequeno).
• Derivação Teórica: Com base em Bishop (1995) e An (1996), a perda esperada sob essa perturbação de ruído produz um regularizador aditivo:
  $$\mathbb{E}_\epsilon[\mathcal{L}(z')] \approx \mathcal{L}(z) + \sigma^2 \text{Tr}\left( J(z)^\top G^{-1}(z) J(z) \right)$$
  onde $J(z)$ é o Jacobiano do decodificador. Este termo penaliza grandes gradientes de saída ponderados pela métrica inversa, efetivamente incentivando o decodificador a respeitar a curvatura local da variedade.

Flexibilidade

O quadro suporta qualquer variedade Riemanniana implementada na biblioteca geoopt, incluindo esferas, bolas de Poincaré, modelos de Lorentz e ProductManifolds (permitindo geometrias latentes heterogêneas onde diferentes dimensões do espaço latente residem em variedades diferentes).

Principais Contribuições

1. Quadro Unificador: Um método para aprendizado de representação em qualquer variedade Riemanniana, combinando otimização Riemanniana com um modelo generativo sem codificador, eliminando a necessidade de aproximações variacionais de densidade.
2. Regularização Geométrica Escalável: Uma técnica de regularização baseada em ruído que promove coerência entre a função do decodificador e a métrica da variedade, evitando penalidades de curvatura de segunda ordem computacionalmente caras.
3. Validação Empírica: Demonstração do método em diversos conjuntos de dados, mostrando melhor alinhamento com a geometria intrínseca e estabilidade em altas dimensões onde as bases variacionais falham.

Resultados e Avaliação

O método foi validado em três estudos de caso:

1. Processo de Difusão Ramificado Sintético:

   • Tarefa: Recuperar dados estruturados em árvores.
   • Descobertas: Projeções euclidianas e UMAP falharam em revelar a topologia da árvore. Incorporações hiperbólicas regularizadas (disco de Poincaré) recuperaram com sucesso a hierarquia.
   • Ablação: O aumento da escala de ruído $\sigma$ melhorou a correlação entre distâncias geodésicas latentes e distâncias no espaço de dados até um ponto ótimo ($\sigma \approx 0.9$), após o qual o ruído sobrepôs o sinal.

2. DNA Mitocondrial Humano (hmtDNA):

   • Tarefa: Inferir padrões de migração e linhagem a partir de sequências genéticas.
   • Descobertas: Modelos hiperbólicos (Lorentz/Poincaré) recuperaram hierarquias de haplogrupos e correlações geográficas significativamente melhor do que as bases euclidianas ou UMAP.
   • Utilidade a Jusante: Em tarefas de classificação (previsão de regiões geográficas e haplogrupos), o RGD hiperbólico superou as bases euclidianas e P-VAE, particularmente em configurações de alta dimensão.

3. Estágios do Ciclo Celular (scRNA-seq):

   • Tarefa: Modelar a progressão cíclica da divisão celular.
   • Descobertas: Incorporações esféricas ($S^2$) e toroidais ($S^1 \times S^1$) capturaram a natureza cíclica dos dados. Enquanto espaços euclidianos ofereceram fidelidade de reconstrução ligeiramente melhor (devido a maiores graus de liberdade), os modelos Riemannianos mostraram correlação superior com a geometria da fase biológica.
   • Escalabilidade: O RGD demonstrou escalabilidade estável para dimensões latentes altas (até 500D), enquanto as bases variacionais (P-VAE, $\Delta$VAE) tornaram-se numericamente instáveis ou inviáveis.

Significado e Alegações

O artigo afirma que o Decodificador Generativo Riemanniano oferece uma alternativa mais simples e estável aos métodos existentes de aprendizado de variedades. Ao remover o codificador, o método evita as funções objetivo "numericamente frágeis" associadas à estimativa de densidade em espaços curvos.

• Interpretabilidade: Os espaços latentes aprendidos estão explicitamente alinhados com a geometria prescrita, facilitando a exploração orientada por hipóteses em domínios científicos.
• Generalidade: A abordagem não se limita a variedades específicas (como esferas ou espaços hiperbólicos), mas estende-se a produtos de variedades heterogêneas.
• Praticidade: O método requer apenas um decodificador e é compatível com arquiteturas de redes neurais existentes.

Os autores reconhecem limitações, observando que a parametrização por amostra (armazenar cada latente explicitamente) leva a um crescimento linear da memória com o tamanho do conjunto de dados, o que pode ser proibitivo para milhões de pontos. Eles sugerem esquemas híbridos (por exemplo, inferência amortizada) como uma direção futura. O trabalho é posicionado como uma ferramenta para análise exploratória e teste de hipóteses em campos científicos, particularmente onde a topologia dos dados é conhecida ou hipotetizada.