💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

Este artículo propone una nueva clase de Procesos Neuronales con equivariancia de traslación que aprovechan las series de Volterra para la transparencia analítica e introducen Convoluciones de Fourier de Conjuntos para modelar eficientemente datos muestreados irregularmente con campos receptivos globales y escalado lineal.

Autores originales: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Prediciendo lo invisible

Imagina que eres un pronosticador del tiempo. Tienes algunas estaciones meteorológicas dispersas (algunas en ciudades, otras en medio de la nada) que informan sobre la temperatura y el viento. Tu objetivo es predecir el clima para cada uno de los otros puntos del mapa, incluso donde no hay sensores.

En el mundo del aprendizaje automático, esto se llama Procesos Neuronales (NPs). Estos son modelos inteligentes que aprenden de unos pocos puntos de datos desordenados e irregulares para adivinar la forma de toda la curva invisible (la "función latente") que los generó.

Sin embargo, los modelos existentes tienen dos grandes problemas:

El problema de la "Cuadrícula": Algunos modelos intentan forzar todos los datos en una cuadrícula perfecta y ordenada (como papel de dibujo milimetrado). Si tus datos están dispersos o el mapa es enorme, esta cuadrícula se vuelve demasiado grande para manejarla, o pierdes detalle.
El problema de "Todos con Todos": Otros modelos (como los Transformers) observan cada uno de los puntos de datos y los comparan con todos los demás para encontrar patrones. Esto es increíblemente preciso pero se vuelve lento y costoso muy rápidamente a medida que añades más datos (como intentar presentar a cada persona de una fiesta con todas las demás personas).

Este artículo propone una nueva forma de resolver ambos problemas a la vez.

Las dos ideas principales

Los autores introducen dos herramientas matemáticas para solucionar estos problemas: Series de Volterra y Transformadas de Fourier.

1. La Serie de Volterra: La "Receta" de la complejidad

El Problema: Los modelos actuales son como cajas negras. Apilan capa tras capa de matemáticas y realmente no sabemos por qué funcionan o qué tipo de patrones están aprendiendo en realidad. Es difícil de interpretar.

La Solución: Los autores utilizan algo llamado Serie de Volterra.

La Analogía: Imagina que estás horneando un pastel. Un modelo simple podría decir simplemente: "Mezcla harina y azúcar". Un modelo complejo podría decir: "Mezcla harina, azúcar, huevos, mantequilla, vainilla y hornea a 350 grados durante 30 minutos, pero si está lloviendo, añade un huevo extra".
La Serie de Volterra es como un libro de recetas maestro que descompone cualquier proceso de "mezcla" complejo en una suma de pasos más simples:
- Paso 1: Solo los ingredientes (Lineal).
- Paso 2: Cómo interactúan los ingredientes entre sí (Cuadrático).
- Paso 3: Cómo interactúan tres ingredientes (Cúbico), y así sucesivamente.

Al usar esto, los autores pueden describir el comportamiento de su modelo con claridad (es "analíticamente transparente") en lugar de simplemente adivinar. Pueden demostrar exactamente cómo el modelo combina los puntos de datos.

2. Convoluciones de Fourier de Conjunto (SFConvs): El "Sintonizador de Radio"

El Problema:

Los modelos de cuadrícula (como ConvCNPs) son rápidos pero necesitan que los datos estén en una cuadrícula perfecta. Si tienes datos de una costa dentada o una nube 3D, tienes que forzarlos dentro de una caja, lo que desperdicia memoria y pierde detalle.
Los modelos de atención (como los Transformers) funcionan con datos desordenados pero son lentos porque comparan cada punto con todos los demás.

La Solución: Los autores utilizan Transformadas de Fourier (SFConvs).

La Analogía: Imagina que estás escuchando la radio.
- Dominio Espacial (la forma antigua): Observas la onda de sonido a medida que se mueve a través del tiempo. Para entender toda la canción, tienes que analizar cada pequeño movimiento de la onda. Esto es difícil si la onda es desordenada.
- Dominio de la Frecuencia (la nueva forma): Sintonizas la radio en frecuencias específicas (notas). En lugar de mirar toda la onda desordenada, solo miras los controles de "Bajos", "Medios" y "Agudos".
Por qué funciona: La mayoría de las señales naturales (como el clima, las imágenes o el flujo de fluidos) tienen la mayor parte de su información importante en las "notas bajas" (frecuencias bajas).
La Magia: Al trabajar directamente con estas "notas" (frecuencias) en lugar de con la "onda" desordenada (puntos espaciales), el modelo:
1. Se salta la Cuadrícula: No necesita forzar los datos en una cuadrícula. Puede manejar puntos dispersos directamente.
2. Lo ve todo a la vez: En el mundo de la frecuencia, una "nota" conecta con toda la señal. Esto le da al modelo una "visión global" (puede ver cómo una tormenta en Londres afecta el clima en París) sin tener que comparar cada punto individualmente.
3. Se mantiene rápido: Escala linealmente (añadir más datos añade un poco de trabajo), a diferencia de la lenta escala cuadrática de los modelos de atención.

Los nuevos modelos: SFConvCNPs y SFVConvCNPs

Los autores construyeron dos nuevos modelos basados en estas ideas:

SFConvCNPs: Estos modelos utilizan el enfoque del "Sintonizador de Radio" (Fourier). Apilan capas de estas operaciones basadas en la frecuencia. Son rápidos, manejan datos desordenados y ven el "panorama general".
SFVConvCNPs: Estos modelos combinan el "Sintonizador de Radio" con el "Libro de Recetas" (Volterra). Utilizan el método de Fourier para manejar los datos de manera eficiente, pero estructuran las matemáticas usando la serie de Volterra para asegurar que el modelo sea interpretable y capture interacciones no lineales complejas.

¿Qué descubrieron? (Los Resultados)

Los autores probaron estos nuevos modelos contra los mejores modelos existentes (como los Procesos Neuronales estándar, Transformers y Procesos Neuronales Convolucionales) en varios desafíos:

Tareas matemáticas sintéticas: Intentaron predecir ondas dentadas (ondas de sierra) y curvas suaves. Los nuevos modelos fueron mejores prediciendo las partes agudas y dentadas donde otros modelos fallaron.
Dinámica Depredador-Presa: Simularon zorros y conejos. Los nuevos modelos predijeron los ciclos de población con precisión, incluso al pasar de datos simulados a datos históricos reales (registros de liebres y linces de la Bahía de Hudson).
Completado de Imágenes: Intentaron "rellenar los huecos" de partes faltantes de imágenes (como CIFAR-10). Los nuevos modelos reconstruyeron muy bien los píxeles faltantes.
Dinámica de Fluidos y Clima: Modelaron fluidos complejos en movimiento (flujo de Kolmogorov) y datos climáticos reales (temperatura ERA5).
- Victoria clave: Cuando probaron los modelos en una región de Europa que no habían visto durante el entrenamiento (un mapa "desplazado"), los nuevos modelos (que respetan la simetría de traslación) funcionaron perfectamente. Los modelos antiguos, que dependían de posiciones absolutas, fallaron por completo cuando el mapa se movió.

Resumen

Piensa en este artículo como una actualización del motor de un coche.

Los coches antiguos tenían una gran suspensión (para carreteras suaves/cuadrículas) pero no podían manejar terrenos accidentados, o tenían excelentes neumáticos todoterreno (atención) pero eran demasiado pesados y lentos.
Este artículo introduce un nuevo sistema de suspensión (Volterra) que explica exactamente cómo el coche maneja los baches, y nuevos neumáticos (Fourier) que pueden conducir en cualquier terreno (datos dispersos) sin quedarse atascados, siendo al mismo tiempo rápidos y eficientes en el consumo de combustible.

El resultado es un modelo que es rápido, preciso, interpretable (sabemos cómo funciona) y robusto (funciona incluso cuando los datos se mueven a una nueva ubicación).

Resumen Técnico: Revisando los Procesos Neuronales mediante la Transformada de Fourier y la Serie de Volterra

Planteamiento del Problema

Modelar funciones latentes desconocidas a partir de mediciones finitas e irregularmente muestreadas es un desafío persistente en dominios científicos e de ingeniería, como el modelado de la turbulencia y la ciencia climática. Aunque los Procesos Neuronales (NPs) ofrecen un marco probabilístico para aprender distribuciones sobre funciones, las variantes existentes con equivariancia de traslación enfrentan dos limitaciones primarias:

Falta de Interpretabilidad: Las arquitecturas actuales suelen apilar componentes genéricos con no linealidades. Aunque son empíricamente efectivas, esto oscurece la clase de función inducida, limitando el análisis y la interpretabilidad basados en principios.
Compromisos de Escalabilidad: Los NP con equivariancia de traslación existentes sufren cuellos de botella de escalabilidad complementarios. Los CNPs convolucionales (ConvCNPs) dependen de rejillas uniformes densas para aprovechar las redes convolucionales, lo que resulta computacionalmente prohibitivo en dominios espaciales grandes o de alta dimensión y restringe los campos receptivos a vecindarios locales. Por el contrario, los métodos basados en atención (por ejemplo, TE-TNPs) operan directamente sobre entradas no estructuradas y modelan interacciones globales, pero escalan cuadráticamente con el número de observaciones, lo que los hace impracticables para conjuntos de contexto grandes.

Metodología

Los autores proponen un marco que reconcilia la transparencia analítica con la eficiencia práctica a través de dos innovaciones técnicas centrales: la representación de la serie de Volterra y las Convoluciones de Fourier de Conjuntos (SFConvs).

1. Representación de Volterra de Operadores Equivariantes

El artículo extiende el marco de los conjuntos profundos convolucionales caracterizando los operadores continuos con equivariancia de traslación mediante la teoría de las series de Volterra.

Caracterización Analítica: De forma análoga a una expansión de Taylor, una serie de Volterra expresa cualquier operador continuo con equivariancia de traslación como una suma infinita de operadores de convolución multilineales de orden creciente. Esto proporciona una caracterización explícita y constructiva del operador $\rho_d$ , ofreciendo una transparencia analítica ausente en las construcciones estándar de aprendizaje profundo.
Aproximación Eficiente: La evaluación directa de convoluciones de alto orden es computacionalmente inviable. Los autores aprovechan la multilinealidad de los operadores de Volterra y el teorema de Fubini para reorganizar los términos de orden superior en una forma anidada (cascada). Esto reduce la evaluación de una expansión de Volterra truncada al cálculo únicamente de convoluciones de primer y segundo orden.
Descomposición de Bajo Rango: Para abordar el cuello de botella computacional de las convoluciones de segundo orden (que involucran productos tensoriales cuadráticos), los autores imponen una estructura de bajo rango al núcleo cuadrático mediante la descomposición espectral de Hilbert–Schmidt. Esto aproxima el término de segundo orden como una suma de productos de convoluciones de primer orden, parametrizados y aprendidos directamente sin imponer restricciones estrictas de ortonormalidad.

2. Convoluciones de Fourier de Conjuntos (SFConvs)

Para superar las limitaciones de discretización y localidad, los autores introducen las SFConvs, una parametrización en el dominio de la frecuencia de los conjuntos profundos convolucionales.

Parametrización Directa en la Frecuencia: En lugar de discretizar las entradas en una rejilla espacial, las SFConvs operan directamente sobre la incrustación funcional del conjunto de contexto en el dominio de la frecuencia. Por el teorema de la convolución, la convolución en el dominio espacial corresponde a la multiplicación punto a punto en el dominio de la frecuencia.
Manejo de Entradas Irregulares: La incrustación funcional $\rho_e[D_c]$ admite una transformada de Fourier de forma cerrada cuando se utilizan núcleos gaussianos. Esto permite el cálculo de coeficientes espectrales en frecuencias arbitrarias sin discretización espacial, evitando los problemas de "desajuste de rejilla" donde el cambio en la resolución de la rejilla altera las frecuencias físicas asociadas con los pesos aprendidos.
el campo receptivo global y la escala lineal: El método opera sobre una rejilla de frecuencia fija y compacta $\Xi$ (donde $|\Xi| \ll |G|$ , el tamaño de una rejilla espacial densa), lo que permite la captura de dependencias de largo alcance. Crucialmente, debido a que el método opera sobre una rejilla de frecuencia fija y compacta $\Xi$ (donde $|\Xi| \ll |G|$ , el tamaño de una rejilla espacial densa), la complejidad computacional escala linealmente con el número de observaciones, $O(|\Xi|(|D_c| + |D_q|))$ .

3. Modelos Propuestos

Basándose en estos componentes, los autores proponen dos clases de Procesos Neuronales Condicionales (CNPs):

SFConvCNPs: Construidos mediante el apilamiento de bloques SFConv intercalados con no linealidades punto a punto.
SFVConvCNPs: Construidos dentro del marco de Volterra, integrando la formulación de Volterra con SFConvs para aproximar explícitamente las interacciones de orden superior.

Contribuciones Clave

Caracterización Basada en Principios: El artículo proporciona una caracterización fundamentada de los operadores continuos con equivariancia de traslación como sumas de convoluciones de orden superior mediante la serie de Volterra, ofreciendo una alternativa analíticamente transparente a los opacos montículos de aprendizaje profundo.
Convoluciones de Fourier de Conjuntos: La introducción de las SFConvs alivia las limitaciones de escalabilidad de los métodos basados en rejillas al operar directamente en el dominio de la frecuencia sobre entradas irregulares, induciendo campos receptivos globales mientras se mantiene la complejidad lineal.
Nuevas Arquitecturas de Modelos: La propuesta de SFConvCNPs y SFVConvCNPs, que demuestran un fuerte rendimiento empírico en pruebas comparativas sintéticas y del mundo real, superando o igualando a las líneas de base del estado del arte.

Resultados Experimentales

Los autores evaluaron sus métodos en cinco pruebas de regresión con dimensionalidades de entrada $d_X \in \{1, 2, 3\}$ :

Regresión Sintética 1D: En tareas que involucran procesos RBF, Matérn, periódicos, de diente de sierra y de onda cuadrada, los modelos SFConvCNPs y SFVConvCNPs superaron consistentemente o igualaron a los métodos competidores (incluyendo CNPs, AttnCNPs, TNP, TE-TNP y ConvCNPs). Notablemente, los modelos basados en atención colapsaron en la tarea de diente de sierra (un desafío de alta frecuencia), mientras que los modelos de convolución propuestos tuvieron éxito.
Regresión Depredador-Presa: En trayectorias simuladas de Lotka–Volterra y datos reales de la relación liebre–lince de la Bahía de Hudson, los modelos basados en SFConv lograron log-verosimilitudes predictivas y puntuaciones CRPS competitivas o superiores en comparación con las líneas de base.
Completado de Imágenes 2D: En los conjuntos de datos CIFAR-10 y SVHN, los SFConvCNPs lograron las mejores log-verosimilitudes predictivas, superando ligeramente a las líneas de base espectrales de rejilla (SConvCNPs) y a los modelos de transformadores.
Regresión Espaciotemporal 3D:
- Flujo de Kolmogorov: Los SFConvCNPs alcanzaron la mayor log-verosimilitud (1.89) y el CRPS más bajo (0.03) en tareas complejas de dinámica de fluidos, superando a los ConvCNPs basados en rejilla y a las líneas de base no convolucionales.
- Clima ERA5: En una tarea de transferencia de simulación a realidad prediciendo la temperatura del aire sobre Europa, los SFConvCNPs demostraron una generalización superior a regiones geográficas disjuntas (Oeste y Norte) en comparación con las líneas de base no equivariantes, las cuales sufrieron una degradación significativa del rendimiento. Los modelos equivariantes mantuvieron el rendimiento, confirmando su dependencia de desplazamientos relativos en lugar de posiciones absolutas.

Significado y Reivindicaciones

El artículo afirma presentar un marco basado en principios y escalable para procesos neuronales condicionales con equivariancia de traslación. Su importancia radica en:

Puente entre Teoría y Práctica: Al utilizar la serie de Volterra, los autores hacen que la estructura de representación de los conjuntos profundos convolucionales sea analíticamente transparente, yendo más allá de las heurísticas empíricas hacia un diseño sistemático de operadores.
Resolución de Compromisos de Escalabilidad: El enfoque SFConv resuelve el conflicto entre la necesidad de interacciones globales y la necesidad de escalabilidad lineal. Evita el costo exponencial de la discretización espacial en altas dimensiones mientras evita el costo cuadrático de los mecanismos de atención.
Generalización Robusta: Los modelos demuestran una generalización robusta a regiones espaciales no vistas y patrones de muestreo irregulares, un requisito crítico para aplicaciones científicas como el modelado climático y la dinámica de fluidos.

Los autores enfatizan que su trabajo introduce procesos neuronales en el dominio de la frecuencia capaces de realizar inferencia probabilística eficiente en datos espaciotemporales muestreados irregularmente, combinando escalabilidad lineal con interacción global y operadores interpretables.