Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Resumen Técnico: La Generalización del Modelo de Difusión Caracterizada por Sesgos Inductivos hacia una Variedad de Cresta Dependiente de los Datos

Planteamiento del Problema
Los modelos de difusión han logrado un rendimiento de vanguardia en tareas generativas, sin embargo, persiste una pregunta científica crítica: cuando estos modelos no simplemente memorizan los datos de entrenamiento (es decir, cuando generalizan), ¿dónde residen las muestras generadas en relación con la geometría del conjunto de entrenamiento? Mientras que la teoría clásica de generalización a menudo se centra en la discrepancia entre la distribución generada y una distribución poblacional desconocida, este artículo argumenta a favor de una perspectiva totalmente dependiente de los datos. Los autores buscan describir explícita y cuantitativamente la estructura geométrica que organiza las nuevas muestras producidas por la inferencia en tiempo inverso, específicamente en regímenes donde no ocurre la memorización.

Metodología
El artículo introduce un marco geométrico centrado en variedades de cresta de densidad logarítmica dependientes del tiempo construidas a partir de la distribución empírica suavizada de los datos de entrenamiento.

1. Construcción de la Cresta: Los autores definen una familia de conjuntos de crestas de densidad logarítmica de dimensión $d^*$, $R_t$, derivados de las distribuciones marginales forward $p_t$. Estas crestas representan "máximos locales direccionales" de la densidad logarítmica, sirviendo como la geometría de referencia para el proceso de generación.
2. Mecanismo de Alcance-Alineación-Deslizamiento: La contribución teórica central es la caracterización de la inferencia en tiempo inverso como un proceso de tres etapas en relación con estas crestas:
   • Alcance: Las muestras generadas primero ingresan a una vecindad tubular de la variedad de cresta.
   • Alineación: Las muestras luego se contraen hacia la cresta en las direcciones normales. El artículo demuestra que la magnitud de esta alineación está controlada por la componente normal del error de entrenamiento (la diferencia entre la media posterior aprendida y la verdadera proyectada en el espacio normal).
   • Deslizamiento: Finalmente, las muestras se mueven a lo largo de la cresta en direcciones tangenciales. Este movimiento está controlado por la componente tangencial del error de entrenamiento.
3. Vínculo Entrenamiento-Geometría: Para conectar la dinámica de inferencia con el entrenamiento, los autores descomponen la pérdida de entrenamiento en componentes direccionales (normal vs. tangencial). Utilizan Redes Neuronales de Características Aleatorias (RFNN) entrenadas mediante descenso de gradiente como un entorno tratable y no asintótico para separar explícitamente los efectos de la arquitectura (error de aproximación de ancho finito) y la optimización (entrenamiento incompleto desde la inicialización).

Contribuciones Clave

• Caracterización Geométrica de la Generalización: El artículo establece que la generación no memorizante no es aleatoria, sino organizada por una geometría de cresta dependiente de los datos. Proporciona un mecanismo preciso de "alcance–alineación–deslizamiento" que explica cómo las muestras se concentran cerca de la cresta y luego se dispersan a lo largo de ella.
• Descomposición del Error Direccional: Los autores demuestran que la geometría de la generación está controlada directamente por los componentes direccionales del error de entrenamiento. Específicamente, el error de entrenamiento normal dicta qué tan cerca se alinean las muestras con la cresta, mientras que el error de entrenamiento tangencial dicta la extensión de la dispersión (deslizamiento) a lo largo de la cresta.
• Separación de Arquitectura vs. Optimización: En el contexto de RFNN, el artículo muestra que los errores de arquitectura de ancho finito se manifiestan principalmente como un "suelo" para la dispersión tangencial (evitando el colapso a puntos de entrenamiento exactos), whereas los errores de optimización (dependientes de la inicialización y modos espectrales) pueden retrasar la alineación normal.
• Validación Empírica: Los experimentos en datos sintéticos multimodales (puntos 2D) y difusión latente de MNIST confirman las predicciones teóricas. Los resultados muestran que las muestras generadas exhiben consistentemente el patrón de alcance–alineación–deslizamiento, siendo el grado de dispersión tangencial controlable mediante calendarios de ponderación de pérdida.

Resultados

• Límites Teóricos: El artículo deriva límites no asintóticos que muestran que el desplazamiento al cuadrado fuera de la cresta (error normal) y la distancia de deslizamiento al cuadrado (error tangencial) están acotados por contribuciones acumulativas de las respectivas componentes normal y tangencial del residuo de entrenamiento, escaladas por factores dependientes del tiempo.
• Datos Sintéticos: En experimentos 2D con dos, tres y cuatro puntos, se observó que las muestras generadas se concentraban a lo largo de estructuras de cresta curvas o similares a bordes en lugar de colapsar a los puntos de entrenamiento. Se demostró que la fase de "deslizamiento" es sensible al calendario de pesos de pérdida $w(t)$, con diferentes calendarios produciendo diversos grados de interpolación entre puntos de datos.
• Experimentos MNIST: En experimentos en espacios latentes de alta dimensión, la distancia media a la cresta disminuyó rápidamente (fase de alineación), mientras que el movimiento tangencial disminuyó más lentamente y se estabilizó. Esto respalda la afirmación de que la inferencia pasa la mayor parte de su tiempo alineándose con la geometría de la cresta, con tiempo limitado para un deslizamiento sustancial hacia ejemplos de entrenamiento específicos, explicando así las generaciones intermedias estructuradas.

Significado y Afirmaciones
El artículo afirma ofrecer un cambio de perspectiva desde la discrepancia distribucional global hacia la organización espacial de las muestras generadas en relación con los datos observados. Al vincular explícitamente la geometría de la generación con errores de entrenamiento direccionales, el trabajo proporciona una explicación mecánica de por qué los modelos de difusión generan muestras no memorizantes: los sesgos inductivos de la clase de modelo y el proceso de optimización crean errores normales y tangenciales específicos que moldean la trayectoria de generación.

Los autores posicionan su trabajo como complementario a la literatura existente sobre memorización y sesgo inducido por el entrenamiento. A diferencia de trabajos que asumen una variedad poblacional subyacente o se centran únicamente en métricas de error agregado, este marco construye un objeto geométrico explícito y dependiente del tiempo a partir de los datos empíricos y analiza la dinámica de inferencia en relación con él. El artículo nota modestamente que su descomposición explícita a nivel de entrenamiento se desarrolla actualmente para RFNN como un ejemplo tratable, sirviendo como una prueba de concepto de cómo la arquitectura y la optimización moldean conjuntamente la generación de difusión a través de efectos geométricos dependientes de la dirección, en lugar de un modelo completo de arquitecturas profundas modernas.