💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

Dieses Paper schlägt eine neue Klasse von translationsäquivarianten Neural Processes vor, die Volterra-Reihen für analytische Transparenz nutzen und Set-Fourier-Faltungen einführen, um unregelmäßig abgetastete Daten mit globalen rezeptiven Feldern und linearer Skalierung effizient zu modellieren.

Ursprüngliche Autoren: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Vorhersage des Unvorhersehbaren

Stellen Sie sich vor, Sie sind ein Wettervorhersager. Sie haben einige verstreute Wetterstationen (einige in Städten, andere mitten im Nirgendwo), die Temperatur und Wind melden. Ihr Ziel ist es, das Wetter für jeden anderen Punkt auf der Karte vorherzusagen, auch dort, wo es keine Sensoren gibt.

In der Welt des maschinellen Lernens nennt man dies Neural Processes (NPs). Dies sind intelligente Modelle, die aus wenigen, unregelmäßigen Datenpunkten lernen, um die Form der gesamten unsichtbaren Kurve (die „latente Funktion“) zu erraten, die diese erzeugt hat.

Bestehende Modelle haben jedoch zwei große Probleme:

Das „Gitter-Problem“: Einige Modelle versuchen, alle Daten auf ein perfektes, ordentliches Gitter zu zwingen (wie auf Karopapier). Wenn Ihre Daten verstreut sind oder die Karte riesig ist, wird dieses Gitter zu groß, um es zu handhaben, oder Sie verlieren an Detailgenauigkeit.
Das „All-zu-Allen-Problem“: Andere Modelle (wie Transformer) betrachten jeden einzelnen Datenpunkt und vergleichen ihn mit jedem anderen Punkt, um Muster zu finden. Dies ist unglaublich genau, wird aber sehr schnell langsam und teuer, wenn man mehr Daten hinzufügt (wie der Versuch, jede Person auf einer Party jeder anderen Person vorzustellen).

Dieses Paper schlägt einen neuen Weg vor, um beide Probleme gleichzeitig zu lösen.

Die zwei Hauptideen

Die Autoren führen zwei mathematische Werkzeuge ein, um diese Probleme zu lösen: Volterra-Reihen und Fourier-Transformationen.

1. Die Volterra-Reihe: Das „Rezept“ für Komplexität

Das Problem: Aktuelle Modelle sind wie Black Boxes. Man stapelt Schicht um Schicht von Mathematik übereinander, und wir wissen eigentlich nicht wirklich, warum sie funktionieren oder welche Arten von Mustern sie tatsächlich lernen. Es ist schwer interpretierbar.

Die Lösung: Die Autoren verwenden etwas namens Volterra-Reihen.

Die Analogie: Stellen Sie sich vor, Sie backen einen Kuchen. Ein einfaches Modell würde vielleicht nur sagen: „Mische Mehl und Zucker.“ Ein komplexes Modell würde sagen: „Mische Mehl, Zucker, Eier, Butter, Vanille und backe bei 350 Grad für 30 Minuten, aber wenn es regnet, füge ein extra Ei hinzu.“
Die Volterra-Reihe ist wie ein Meister-Rezeptbuch, das jeden komplexen „Mischprozess“ in eine Summe einfacherer Schritte zerlegt:
- Schritt 1: Nur die Zutaten (Linear).
- Schritt 2: Wie die Zutaten miteinander interagieren (Quadratisch).
- Schritt 3: Wie drei Zutaten miteinander interagieren (Kubisch) und so weiter.

Durch die Verwendung dessen können die Autoren das Verhalten ihres Modells klar beschreiben (es ist „analytisch transparent“), anstatt nur zu raten. Sie können genau beweisen, wie das Modell Datenpunkte kombiniert.

2. Set Fourier Convolutions (SFConvs): Der „Radiosender“

Das Problem:

Gitter-Modelle (wie ConvCNPs) sind schnell, benötigen aber Daten auf einem perfekten Gitter. Wenn Sie Daten von einer zerklüfteten Küstenlinie oder einer 3D-Wolke haben, müssen Sie diese in eine Box zwingen, was Speicher verschwendet und Details gehen lässt.
Attention-Modelle (wie Transformer) funktionieren bei unordentlichen Daten, sind aber langsam, weil sie jeden Punkt mit jedem anderen vergleichen.

Die Lösung: Die Autoren verwenden Fourier-Transformationen (SFConvs).

Die Analogie: Stellen Sie sich vor, Sie hören Radio.
- Räumliche Domäne (Der alte Weg): Sie betrachten die Schallwelle, während sie sich durch die Zeit bewegt. Um das ganze Lied zu verstehen, müssen Sie jede einzelne Schwingung der Welle analysieren. Das ist schwierig, wenn die Welle unordentlich ist.
- Frequenzdomäne (Der neue Weg): Sie stimmen das Radio auf bestimmte Frequenzen (Töne) ab. Anstatt die ganze unordentliche Welle zu betrachten, schauen Sie einfach auf die Regler für „Tiefe Bässe“, „Mittlere Höhen“ und „Hohe Töne“.
Warum es funktioniert: Die meisten natürlichen Signale (wie Wetter, Bilder oder Fluidströmungen) enthalten den Großteil ihrer wichtigen Informationen in den „tieferen Tönen“ (niedrige Frequenzen).
Die Magie: Indem das Modell direkt mit diesen „Tönen“ (Frequenzen) arbeitet anstatt mit der unordentlichen „Welle“ (räumliche Punkte), kann es:
1. Das Gitter überspringen: Es muss Daten nicht auf ein Gitter zwingen. Es kann verstreute Punkte direkt handhaben.
2. Alles auf einmal sehen: In der Welt der Frequenzen verbindet ein einzener „Ton“ den gesamten Prozess. Dies gibt dem Modell eine „globale Sicht“ (es kann sehen, wie ein Sturm in London das Wetter in Paris beeinflusst), ohne dass es jeden einzelnen Punkt individuell vergleichen muss.
3. Schnell bleiben: Es skaliert linear (das Hinzufügen von mehr Daten bedeutet nur ein wenig mehr Arbeit), im Gegensatz zur langsamen quadratischen Skalierung von Attention-Modellen.

Die neuen Modelle: SFConvCNPs und SFVConvCNPs

Die Autoren haben zwei neue Modelle basierend auf diesen Ideen entwickelt:

SFConvCNPs: Diese Modelle nutzen den „Radio-Tuner“-Ansatz (Fourier). Sie stapeln Schichten dieser frequenzbasierten Operationen. Sie sind schnell, handhaben unordentliche Daten und sehen das „große Ganze“.
SFVConvCNPs: Diese Modelle kombinieren den „Radio-Tuner“ mit dem „Rezeptbuch“ (Volterra). Sie nutzen die Fourier-Methode, um die Daten effizient zu handhaben, aber sie strukturieren die Mathematik mithilfe der Volterra-Reihe, um sicherzustellen, dass das Modell interpretierbar ist und komplexe nichtlineare Interaktionen erfasst.

Was haben sie herausgefunden? (Die Ergebnisse)

Die Autoren haben ihre neuen Modelle gegen die besten bestehenden Modelle (wie Standard-Neural-Processes, Transformer und Convolutional Neural Processes) in mehreren Herausforderungen getestet:

Synthetische mathematische Aufgaben: Sie versuchten, gezackte Wellen (Sägezahnwellen) und glatte Kurven vorherzusagen. Die neuen Modelle waren besser darin, die scharfen, gezackten Teile vorherzusagen, an denen andere Modelle scheiterten.
Räuber-Beute-Dynamik: Sie simulierten Füchse und Kaninchen. Die neuen Modelle sagten die Populationszyklen genau voraus, selbst beim Übergang von simulierten Daten zu echten historischen Daten (Hudson Bay Hare-Lynx-Aufzeichnungen).
Bildvervollständigung: Sie versuchten, die „Lücken“ in Bildern zu füllen (wie CIFAR-10). Die neuen Modelle waren sehr gut darin, die fehlenden Pixel zu rekonstruieren.
Fluiddynamik & Klima: Sie modellierten komplexe wirbelnde Flüssigkeiten (Kolmogorov-Fluss) und reale Klimadaten (ERA5-Temperatur).
- Der entscheidende Sieg: Als sie die Modelle auf einer Region in Europa testeten, die sie während des Trainings nicht gesehen hatten (eine „verschobene“ Karte), funktionierten die neuen Modelle (die Translationssymmetrie respektieren) perfekt. Die alten Modelle, die auf absoluten Positionen basierten, versagten völlig, als sich die Karte verschob.

Zusammenfassung

Betrachten Sie dieses Paper als ein Upgrade des Motors eines Autos.

Alte Autos hatten entweder eine großartige Federung (gut für glatte Straßen/Gitter), konnten aber kein Gelände bewältigen, oder sie hatten großartige Offroad-Reifen (Attention), waren aber zu schwer und langsam.
Dieses Paper führt ein neues Federungssystem (Volterra) ein, das genau erklärt, wie das Auto auf Unebenheiten reagiert, und neue Reifen (Fourier), die auf jedem Gelände (verstreute Daten) fahren können, ohne stecken zu bleiben, während sie gleichzeitig schnell und kraftstoffeffizient bleiben.

Das Ergebnis ist ein Modell, das schnell, genau, interpretierbar (wir wissen, wie es funktioniert) und robust (es funktioniert auch, wenn sich die Daten an einen neuen Ort bewegen) ist.

Technisches Resümee: Neubewertung von Neural Processes mittels Fourier-Transformation und Volterra-Reihen

Problemstellung

Die Modellierung unbekannter latenter Funktionen aus endlichen, unregelmäßig abgetasteten Messwerten ist eine beständige Herausforderung in wissenschaftlichen und technischen Bereichen, wie etwa der Turbulenzmodellierung und der Klimawissenschaft. Obwohl Neural Processes (NPs) einen probabilistischen Rahmen zum Erlernen von Verteilungen über Funktionen bieten, stehen bestehende translationsäquivariante Varianten vor zwei primären Einschränkungen:

Mangelnde Interpretierbarkeit: Aktuelle Architekturen stapeln typischerweise generische Komponenten mit Nichtlinearitäten. Dies ist zwar empirisch effektiv, verschleiert jedoch die induzierte Funktionsklasse, was eine prinzipielle Analyse und Interpretierbarkeit erschwert.
Skalierbarkeit-Trade-offs: Bestehende translationsäquivariante NPs leiden unter komplementären Skalierbarkeitsengpässen. Convolutional CNPs (ConvCNPs) verlassen sich auf dichte, uniforme Gitter, um konvolutionale Netzwerke zu nutzen, was in hochdimensionalen oder großen räumlichen Domänen rechentechnisch prohibitiv wird und die rezeptiven Felder auf lokale Nachbarschaften beschränkt. Umgekehrt operieren aufmerksamkeitsbasierte Methoden (z. B. TE-TNPs) direkt auf unstrukturierten Eingaben und modellieren globale Interaktionen, skalieren jedoch quadratisch mit der Anzahl der Beobachtungen, was sie für große Kontextmengen unpraktikabel macht.

Methodik

Die Autoren schlagen ein Framework vor, das analytische Transparenz mit praktischer Effizienz durch zwei zentrale technische Innovationen vereint: die Volterra-Reihen-Repräsentation und Set Fourier Convolutions (SFConvs).

1. Volterra-Repräsentation von äquivarianten Operatoren

Die Arbeit erweitert das Framework der Convolutional Deep Sets durch die Charakterisierung kontinuierlicher, translationsäquivarianter Operatoren mittels der Theorie der Volterra-Reihen.

Analytische Charakterisierung: Analog zu einer Taylor-Entwicklung drückt eine Volterra-Reihe jeden kontinuierlichen, translationsäquivarianten Operator als unendliche Summe von multilinearen Faltungsorperatoren steigender Ordnung aus. Dies bietet eine explizite, konstruktive Charakterisierung des Operators $\rho_d$ und somit eine analytische Transparenz, die in Standard-Deep-Learning-Konstruktionen fehlt.
Effiziente Approximation: Die direkte Evaluierung von Faltungen höherer Ordnung ist rechentechnisch nicht durchführbar. Die Autoren nutzen die Multilinearität von Volterra-Operatoren und das Fubini-Theorem, um Terme höherer Ordnung in eine verschachtelte (kaskadierte) Form umzuorganisieren. Dies reduziert die Evaluierung einer abgeschnittenen Volterra-Reihe auf die Berechnung von nur erst- und zweitordnungigen Faltungen.
Low-Rank-Zerlegung: Um den rechentechnischen Engpass von Faltungen zweiter Ordnung (die quadratische Tensorprodukte beinhalten) zu adressieren, legen die Autoren eine Low-Rank-Struktur auf den quadratischen Kern mittels Hilbert-Schmidt-Spektraldekomposition auf. Dies approximiert den Term zweiter Ordnung als Summe von Produkten von Faltungen erster Ordnung, die direkt parametrisiert und gelernt werden, ohne strikte Orthonormalitätsbeschränkungen aufzuerlegen.

2. Set Fourier Convolutions (SFConvs)

Um die Diskretisierungs- und Lokalitätsbeschränkungen gitterbasierter Methoden zu überwinden, führen die Autoren SFConvs ein, eine Frequenzbereich-Parametrisierung von Convolutional Deep Sets.

Direkte Frequenz-Parametrisierung: Anstatt Eingaben auf einem räumlichen Gitter zu diskretisieren, operieren SFConvs direkt auf der funktionalen Einbettung der Kontextmenge im Fourier-Bereich. Nach dem Faltungssatz entspricht eine Faltung im Ortsbereich einer punktweisen Multiplikation im Frequenzbereich.
Umgang mit unregelmäßigen Eingaben: Die funktionale Einbettung $\rho_e[D_c]$ besitzt eine geschlossene Fourier-Transform, wenn Gauß-Kernel verwendet werden. Dies ermöglicht die Berechnung spektraler Koeffizienten bei beliebigen Frequenzen ohne räumliche Diskretisierung, wodurch das Problem der „Gitter-Fehlanpassung“ vermieden wird, bei dem eine Änderung der Gitterauflösung die mit den gelernten Gewichten assoziierten physikalischen Frequenzen verändert.
Globale rezeptive Felder & Lineare Skalierung: Die Multiplikation im Frequenzbereich induziert näherungsweise globale rezeptive Felder, was die Erfassung von Fernabhängigkeiten ermöglicht. Entscheidend ist, dass die Methode auf einem festen, kompakten Frequenzgitter $\Xi$ operiert (wobei $|\Xi| \ll |G|$ , die Größe eines dichten räumlichen Gitters), wodurch die Komplexität linear mit der Anzahl der Beobachtungen skaliert: $O(|\Xi|(|D_c| + |D_q|))$ .

3. Vorgeschlagene Modelle

Auf Basis dieser Komponenten schlagen die Autoren zwei Klassen von Conditional Neural Processes (CNPs) vor:

SFConvCNPs: Konstruiert durch das Stapeln von SFConv-Blöcken, die mit punktweisen Nichtlinearitäten durchsetzt sind.
SFVConvCNPs: Konstruiert innerhalb des Volterra-Frameworks, wobei die Volterra-Formulierung mit SFConvs integriert wird, um Interaktionen höherer Ordnung explizit zu approximieren.

Zentrale Beiträge

Prinzipielle Charakterisierung: Die Arbeit liefert eine fundierte Charakterisierung kontinuierlicher, translationsäquivarianter Operatoren als Summen höherer Faltungen via Volterra-Reihen und bietet damit eine analytisch transparente Alternative zu opaken Deep-Learning-Stacks.
Set Fourier Convolutions: Die Einführung von SFConvs mildert die Skalierbarkeitseinschränkungen gitterbasierter Methoden ab, indem sie direkt im Fourier-Bereich auf unregelmäßigen Eingaben operiert, globale rezeptive Felder induziert und gleichzeitig eine lineare Komplexität beibehält.
Neue Modellarchitekturen: Der Vorschlag von SFConvCNPs und SFVConvCNPs, die eine starke empirische Leistung über synthetische und reale Benchmarks hinweg zeigen und bestehende State-of-the-Art-Baselines übertreffen oder mit ihnen gleichziehen.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden auf fünf Regressions-Benchmarks mit Eingabendimensionalitäten $d_X \in \{1, 2, 3\}$ :

Synthetische 1D-Regression: Bei Aufgaben mit RBF-, Matérn-, periodischen, Sägezahn- und Rechteckwellen-Prozessen übertrafen oder matchten SFConvCNPs und SFVConvCNPs konsistent konkurrierende Methoden (einschließlich CNPs, AttnCNPs, TNP, TE-TNP und ConvCNPs). Bemerkenswert ist, dass aufmerksamkeitsbasierte Modelle bei der Sägezahn-Aufgabe (eine Herausforderung durch hohe Frequenzen) kollabierten, während die vorgeschlagenen Faltungsmodelle erfolgreich waren.
Prädator-Beute-Regression: Bei simulierten Lotka-Volterra-Trajektorien und realen Hudson-Bay-Haarödchen-Luchs-Daten erreichten die SFConv-basierten Modelle kompetitive oder überlegene prädiktive Log-Likelihoods und CRPS-Scores im Vergleich zu den Baselines.
2D-Bildvervollständigung: Auf den Datensätzen CIFAR-10 und SVHN erzielten SFConvCNPs die besten prädiktiven Log-Likelihoods und übertrafen damit gitterbasierte spektrale Baselines (SConvCNPs) sowie Transformer-Modelle.
3D-Spatiotemporale Regression:
- Kolmogorov-Flow: SFConvCNPs erreichten die höchste Log-Likelihood (1.89) und den niedrigsten CRPS (0.03) bei komplexen fluiddynamischen Aufgaben und übertrafen damit gitterbasierte ConvCNPs und nicht-konvolutionale Baselines.
- ERA5 Klima: In einer Sim-to-Real-Transferaufgabe zur Vorhersage der Lufttemperatur über Europa zeigten SFConvCNPs eine überlegene Generalisierung auf disjunkte geografische Regionen (West und Nord) im Vergleich zu nicht-äquivarianten Baselines, die einen signifikanten Leistungsabfall erlitten. Die äquivarianten Modelle behielten ihre Leistung bei, was ihre Abhängigkeit von relativen Verschiebungen statt absoluter Positionen bestätigt.

Bedeutung und Ansprüche

Die Arbeit beansprucht, ein prinzipielles, skalierbares Framework für translationsäquivariante Conditional Neural Processes zu präsentieren. Ihre Bedeutung liegt in:

Überbrückung von Theorie und Praxis: Durch die Verwendung von Volterra-Reihen machen die Autoren die Repräsentationsstruktur von Convolutional Deep Sets analytisch transparent und bewegen sich weg von empirischen Heuristiken hin zum systematischen Operator-Design.
Lösung von Skalierbarkeit-Trade-offs: Der SFConv-Ansatz löst den Konflikt zwischen der Notwendigkeit globaler Interaktionen und der Notwendigkeit linearer Skalierbarkeit. Er vermeidet die exponentiellen Kosten der räumlichen Diskretisierung in hohen Dimensionen und umgeht gleichzeitig die quadratischen Kosten von Attention-Mechanismen.
Robuste Generalisierung: Die Modelle demonstrieren eine robuste Generalisierung auf ungesehene räumliche Regionen und unregelmäßige Abtastmuster, was eine kritische Anforderung für wissenschaftliche Anwendungen wie die Klimamodellierung und Fluiddynamik darstellt.

Die Autoren betonen, dass ihre Arbeit Frequenzbereich-Neural-Processes einführt, die eine effiziente probabilistische Inferenz auf unregelmäßig abgetasteten spatiotemporalen Daten ermöglichen und dabei lineare Skalierbarkeit mit globalen Interaktionen und interpretierbaren Operatoren kombinieren.