Resumen Técnico: La Geometría de la Memorización

Planteamiento del Problema

Los marcos generativos de tiempo continuo, como el Flow Matching, construyen trayectorias de probabilidad entre dominios base y objetivo optimizando campos de velocidad dependientes del tiempo. Si bien la teoría del transporte óptimo sugiere trayectorias de línea recta en la optimalidad global, las redes neuronales entrenadas empíricamente suelen desarrollar deformaciones de trayectoria no lineales y complejas influenciadas por la arquitectura y las características del conjunto de datos.

Un desafío crítico en este dominio es diagnosticar la memorización generativa, donde modelos de alta capacidad sobreajustan al colapsar espacios latentes continuos sobre muestras de entrenamiento discretas. Los métodos de diagnóstico existentes son predominantemente extrínsecos y dependientes de los datos, basándose en búsquedas de vecinos más cercanos post-hoc contra repositorios de entrenamiento o ataques de inferencia de membresía. Estos enfoques requieren acceso a los datos de entrenamiento y líneas de base externas, lo que limita su utilidad en escenarios donde la privacidad de los datos o la disponibilidad están restringidas. Además, rastrear la geometría interna de estos modelos mediante derivadas espaciales exactas (por ejemplo, construir el Jacobiano espacial completo) es computacionalmente prohibitivo para modelos de imágenes de alta dimensión, ya que requiere $O(d)$ pasadas hacia atrás para una dimensión ambiente $d$.

Metodología: Sensibilidad Espectral de Tiempo Finito (FTSS)

Para abordar estas limitaciones, el artículo introduce la Sensibilidad Espectral de Tiempo Finito (FTSS), denotada como $g(t)$. Esta es una métrica de paso hacia adelante (forward-pass) y libre de gradientes diseñada para exponer la geometría de los modelos de flow matching mediante el seguimiento del valor singular de raíz cuadrática media (RMS) de la matriz de transición de estado.

Fundamentos Matemáticos

La FTSS se define basándose en la propagación de perturbaciones infinitesimales $\delta_t$ a lo largo de una trayectoria gobernada por la ecuación diferencial ordinaria (ODE) $d x_t / dt = v_\theta(x_t, t)$.

1. Definición: $g(t)$ mide la norma direccional esperada del mapa de flujo $\phi_{t \to 1}$ actuando sobre perturbaciones isotrópicas en la esfera unidad $S^{d-1}$.
2. Interpretación Espectral: La Proposición 2.2 establece que $g(t)$ es directamente equivalente al valor singular RMS de la matriz de transición de estado $\Phi(1, t; x_t)$. Específicamente, $g(t)^2$ representa el valor singular medio cuadrático esperado:
   $$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$$
3. Ventaja sobre los Determinantes: A diferencia del determinante del Jacobiano, que puede enmascarar el colapso dimensional si un eje se expande mientras otro se contrae (por ejemplo, $\sigma_1 \to 0, \sigma_2 \to \infty$), la FTSS agrega el espectro de forma aditiva. Esto asegura que el colapso dimensional local no sea oscurecido por expansiones atípicas (outliers).
4. Límite de Entropía: El artículo deriva un límite superior en la entropía diferencial de la distribución objetivo generada, mostrando que una caída en la FTSS global $g(0)$ restringe fundamentalmente la capacidad de información de la distribución generada.

Implementación Computacional

Para evitar el costo $O(d)$ de la construcción de un Jacobiano denso, los autores proponen el Algoritmo 1, un estimador de Monte Carlo paralelizable y libre de gradientes.

• Mecanismo: El algoritmo inyecta perturbaciones isotrópicas $\epsilon u$ en estados intermedios almacenados en caché, las propaga hasta el tiempo terminal mediante simulaciones de trayectoria de paso hacia adelante, y calcula la ganancia RMS.
• Complejidad: El costo es $O(K \cdot T \cdot \text{Costo}(\phi))$, donde $K$ es el número de trayectorias y $T$ es el tamaño de la rejilla temporal. Esto requiere únicamente pasos hacia adelante, lo que lo hace escalable para modelos de alta dimensión.

Contribuciones Clave

1. Formalización de la FTSS: El artículo formaliza $g(t)$ como un observable geométrico intrínseco, probando su equivalencia con el valor singular RMS de la matriz de transición de estado y estableciéndola como un sustituto continuo para el rango estable (stable rank).
2. Límites Teóricos: Utilizando la desigualdad de la media aritmética-geométrica, los autores acotan el determinante del Jacobiano absoluto punto a punto mediante el valor singular RMS local. Esto conduce a la prueba de un límite superior explícito sobre la entropía diferencial de la distribución generada (Proposición 2.5).
3. Ratio de Colapso Espectral ($M$): Los autores definen una métrica $M := g_{\min} / g_{\min}^{\text{full}}$, donde $g_{\min}$ es el valor mínimo de la FTSS durante la generación de la trayectoria. Demuestran que este ratio caracteriza la transición de la generalización a la memorización.
4. Auditoría Geométrica Interna: El artículo propone un marco (Algoritmo 2) que detecta la memorización generativa utilizando únicamente la dinámica interna de la trayectoria. Esto elimina la necesidad de consultas de membresía externas o comparaciones con datos de referencia.

Resultados Empíricos

El artículo presenta caracterizaciones empíricas del colapso espectral a través de diferentes tamaños de datos de entrenamiento, arquitecturas de modelos y conjuntos de datos.

• Fenómeno de Colapso Espectral: En regímenes de pocos datos donde los modelos memorizan, la curva de la FTSS exhibe un "colapso espectral" distintivo durante las etapas tardías de la generación de la trayectoria ($t \to 1$). El campo de velocidad "estruja" el flujo de alta dimensión de las trayectorias hacia una dimensión menor para alcanzar objetivos de entrenamiento dispersos y discretos.
• Precisión del Diagnóstico: El Ratio de Colapso Espectral $M$ identifica con precisión modelos de tiempo continuo con sobreajuste. Los modelos que generalizan mantienen dimensiones efectivas estables (una $g(t)$ estable), mientras que el sobreajuste provoca una caída significativa en $g_{\min}$, resultando en un valor de $M$ bajo.
• Escalabilidad: El método audita con éxito modelos donde los diagnósticos basados en el Jacobiano exacto serían computacionalmente inviables.

Significado y Reivindicaciones

El artículo sostiene que la FTSS proporciona un diagnóstico intrínseco y escalable para la memorización generativa. Al desplazar el enfoque de las comparaciones de datos extrínsecas hacia las propiedades geométricas internas, el marco permite la detección del sobreajuste sin acceso al grupo de entrenamiento. Los autores postulan que la memorización no es meramente un artefacto estadístico, sino una patología estructural del mapa de transporte, caracterizada por el colapso de las propiedades espectrales del flujo. Este enfoque ofrece una nueva perspectiva para la auditoría de modelos generativos, vinculando la geometría del campo de velocidad directamente con la capacidad de información y la estabilidad de la distribución generada.