Resumo Técnico: A Geometria da Memorização

Declaração do Problema

Estruturas generativas de tempo contínuo, como o Flow Matching, constroem trajetórias de probabilidade entre domínios de base e alvo através da otimização de campos de velocidade dependentes do tempo. Embora a teoria do transporte ótimo sugira trajetórias de linha reta na otimalidade global, redes neurais treinadas empiricamente frequentemente desenvolvem deformações de trajetória não lineares e complexas, influenciadas pela arquitetura e pelas características do conjunto de dados.

Um desafio crítico neste domínio é o diagnóstico da memorização generativa, onde modelos de alta capacidade sofrem overfitting ao colapsar espaços latentes contínuos sobre amostras de treinamento discretas. Os métodos de diagnóstico existentes são predominantemente extrínsecos e dependentes de dados, baseando-se em buscas de vizinhos mais próximos post-hoc contra pools de treinamento ou ataques de inferência de pertinência (membership inference attacks). Essas abordagens exigem acesso aos dados de treinamento e bases externas, o que limita sua utilidade em cenários onde a privacidade dos dados ou a disponibilidade é restrita. Além disso, rastrear a geometria interna desses modelos via derivadas espaciais exatas (por exemplo, construir o Jacobiano espacial completo) é computacionalmente proibitivo para modelos de imagem de alta dimensão, pois requer $O(d)$ passagens de retropropagação para uma dimensão ambiente $d$.

Metodologia: Sensibilidade Espectral de Tempo Finito (FTSS)

Para abordar essas limitações, o artigo introduz a Sensibilidade Espectral de Tempo Finito (FTSS), denotada por $g(t)$. Esta é uma métrica de passagem direta (forward-pass) livre de gradiente projetada para expor a geometria de modelos de flow matching ao rastrear o valor singular raiz-quadrada média (RMS) da matriz de transição de estado.

Fundamentos Matemáticos

A FTSS é definida com base na propagação de perturbações infinitesimais $\delta_t$ ao longo de uma trajetória governada pela equação diferencial ordinária (ODE) $d x_t / dt = v_\theta(x_t, t)$.

1. Definição: $g(t)$ mede a norma direcional esperada do mapa de fluxo $\phi_{t \to 1}$ atuando sobre perturbações isotrópicas na esfera unitária $S^{d-1}$.
2. Interpretação Espectral: A Proposição 2.2 estabelece que $g(t)$ é diretamente equivalente ao valor singular RMS da matriz de transição de estado $\Phi(1, t; x_t)$. Especificamente, $g(t)^2$ representa o valor singular médio quadrático esperado:
   $$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$$
3. Vantagem sobre Determinantes: Diferente do determinante Jacobiano, que pode mascarar o colapso dimensional se um eixo expandir enquanto outro contrai (ex: $\sigma_1 \to 0, \sigma_2 \to \infty$), a FTSS agrega o espectro de forma aditiva. Isso garante que o colapso dimensional local não seja obscurecido por expansões de valores atípicos (outliers).
4. Limite de Entropia: O artigo deriva um limite superior para a entropia diferencial da distribuição alvo gerada, mostrando que uma queda no $g(0)$ global da FTSS restringe fundamentalmente a capacidade de informação da distribuição gerada.

Implementação Computacional

Para contornar o custo de $O(d)$ da construção de um Jacobiano denso, os autores propõem o Algoritmo 1, um estimador de Monte Carlo paralelizado e livre de gradiente.

• Mecanismo: O algoritmo injeta perturbações isotrópicas $\epsilon u$ em estados intermediários armazenados em cache, propaga-as até o tempo terminal via simulações de trajetória de passagem direta e computa o ganho RMS.
• Complexidade: O custo é $O(K \cdot T \cdot \text{Custo}(\phi))$, onde $K$ é o número de trajetórias e $T$ é o tamanho da grade de tempo. Isso requer apenas passagens diretas, tornando-o escalável para modelos de alta dimensão.

Principais Contribuições

1. Formalização da FTSS: O artigo formaliza $g(t)$ como um observável geométrico intrínseco, provando sua equivalência ao valor singular RMS da matriz de transição de estado e estabelecendo-o como um proxy contínuo para o rank estável.
2. Limites Teóricos: Usando a desigualdade da média aritmética-geométrica, os autores limitam o determinante Jacobiano absoluto ponto a ponto pelo valor singular RMS local. Isso leva à prova de um limite superior explícito sobre a entropia diferencial da distribuição gerada (Proposição 2.5).
3. Razão de Colapso Espectral ($M$): Os autores definem uma métrica $M := g_{\min} / g_{\min}^{\text{full}}$, onde $g_{\min}$ é o valor mínimo de FTSS durante a geração da trajetória. Eles demonstram que esta razão caracteriza a transição da generalização para a memorização.
4. Auditoria Geométrica Interna: O artigo propõe um framework (Algoritmo 2) que detecta memorização generativa usando puramente a dinâmica de trajetória interna. Isso remove a necessidade de consultas externas de pertinência ou comparações com dados de base.

Resultados Empíricos

O artigo apresenta caracterizações empíricas do colapso espectral através de diferentes tamanhos de dados de treinamento, arquiteturas de modelos e conjuntos de dados.

• Fenômeno de Colapso Espectral: Em regimes de poucos dados onde os modelos memorizam, a curva FTSS exibe um "colapso espectral" distinto durante os estágios finais da geração da trajetória ($t \to 1$). O campo de velocidade "estrangula" o fluxo de alta dimensão dos caminhos para atingir alvos de treinamento esparsos e discretos.
• Precisão Diagnóstica: A Razão de Colapso Espectral $M$ identifica com precisão modelos de tempo contínuo com overfitting. Modelos que generalizam mantêm dimensões efetivas estáveis (estabilidade de $g(t)$), enquanto o overfitting causa uma queda significativa em $g_{\min}$, levando a um valor baixo de $M$.
• Escalabilidade: O método audita com sucesso modelos onde diagnósticos baseados em Jacobianos exatos seriam computacionalmente inviáveis.

Significância e Alegações

O artigo afirma que a FTSS fornece um diagnóstico intrínseco e escalável para a memorização generativa. Ao mudar o foco de comparações extrínsecas de dados para propriedades geométricas internas, o framework permite a detecção de overfitting sem acesso ao pool de treinamento. Os autores postulam que a memorização não é meramente um artefato estatístico, mas uma patologia estrutural do mapa de transporte, caracterizada pelo colapso das propriedades espectrais do fluxo. Esta abordagem oferece uma nova perspectiva sobre a auditoria de modelos generativos, vinculando a geometria do campo de velocidade diretamente à capacidade de informação e estabilidade da distribuição gerada.