FUTON: Fourier Tensor Network for Implicit Neural Representations

1. Problemstellung

Implicit Neural Representations (INRs), auch bekannt als neuronale Felder, haben sich als leistungsfähige Methode zur Kodierung von Signalen (Bilder, Volumina, Radiance Fields) etabliert. Im Gegensatz zu gitterbasierten Darstellungen kodieren INRs Signale als kontinuierliche Funktionen, die durch neuronale Netzwerke parametrisiert werden.

Trotz ihres Erfolgs leiden die derzeit dominierenden, auf Multilayer Perceptrons (MLPs) basierenden INRs unter drei wesentlichen Einschränkungen:

1. Langsame Konvergenz: Das Training erfordert oft lange Zeiträume.
2. Überanpassung (Overfitting): Ohne starke Regularisierung neigen sie dazu, sich an Rauschen anzupassen.
3. Schlechte Extrapolation: Sie generalisieren schlecht auf nicht beobachtete Bereiche, was für inverse Probleme (z. B. Bildrekonstruktion) kritisch ist.

Diese Probleme entstehen, weil MLPs oft keine inhärenten Induktionsverzerrungen (inductive biases) besitzen, die mit der niedrigdimensionalen spektralen Struktur natürlicher Signale übereinstimmen.

2. Methodik: FUTON

Die Autoren stellen FUTON (Fourier Tensor Network) vor, ein neues INR-Modell, das diese Herausforderungen adressiert. Der Kernansatz besteht darin, Signale als verallgemeinerte Fourierreihen darzustellen, deren Koeffizienten durch eine Niedrigrang-Tensorzerlegung parametrisiert werden.

Kernkonzepte:

• Verallgemeinerte Fourierreihe (GFS): Anstatt beliebige nichtlineare Abbildungen zu lernen, wird das Signal $s(x)$ als Summe von orthonormalen, separierbaren Basisfunktionen $\phi_k(x)$ dargestellt:
  $$\hat{s}_K(x) = \sum_{k \in \mathcal{K}} w^{(k)} \phi_k(x)$$
  Dabei sind die Koeffizienten $w^{(k)}$ die zu lernenden Parameter. Als Basisfunktionen werden typischerweise Kosinus-Funktionen verwendet, die Glattheit und Periodizität erfassen.
• Tensor-Formulierung: Die Koeffizienten werden als ein hoher Tensor $\mathcal{W}$ organisiert. Die direkte Berechnung wäre jedoch exponentiell teuer bezüglich der Eingabedimension $C$ ($O(K^C D)$).
• Niedrigrang-Parametrisierung (CP-Zerlegung): Um die Komplexität zu reduzieren, wird der Gewichtstensor $\mathcal{W}$ mittels Canonical Polyadic (CP) Decomposition in eine Summe von $R$ Rang-1-Tensoren zerlegt:
  $$\mathcal{W} = \sum_{r=1}^R \mathbf{u}_r^{(1)} \otimes \mathbf{u}_r^{(2)} \otimes \dots \otimes \mathbf{u}_r^{(C)} \otimes \mathbf{v}_r$$
  Dies führt zu einer effizienten Berechnungsformel:
  $$s_{\text{futon}}(\mathbf{x}) = \mathbf{V} \left( \mathbf{h}_1(x_1) \odot \mathbf{h}_2(x_2) \odot \dots \odot \mathbf{h}_C(x_C) \right)$$
  wobei $\mathbf{h}_c(x_c)$ Projektionen der Basisfunktionen auf Faktormatrizen $\mathbf{U}^{(c)}$ sind und $\odot$ das Hadamard-Produkt (elementweise Multiplikation) bezeichnet.

Theoretische Garantien:

• Universeller Approximationssatz: Es wird bewiesen, dass FUTON jede $L^2$-Funktion mit beliebiger Genauigkeit approximieren kann, sofern die Basisauflösung $K$ und der Rang $R$ ausreichend groß gewählt werden.
• Komplexität: Durch die optimierte Kontraktionsreihenfolge erreicht FUTON eine lineare Komplexität in Bezug auf die Eingabe- und Ausgabedimensionen ($O(CKR + CR + DR)$), im Gegensatz zur exponentiellen Komplexität der vollen Fourierreihe.

3. Wichtige Beiträge

1. Neue Architektur: FUTON kombiniert verallgemeinerte Fourierreihen mit einer Niedrigrang-Tensorzerlegung und bietet eine effiziente Alternative zu MLP-basierten INRs.
2. Theoretische Fundierung: Beweis des universellen Approximationssatzes für FUTON.
3. Rechenleistung: Nachweis der linearen Skalierbarkeit durch effiziente Tensor-Kontraktion, was die Anwendung auf hochdimensionale Signale ermöglicht.
4. Überlegene Leistung: Umfassende Experimente zeigen, dass FUTON bei höherer Rekonstruktionsqualität, schnellerer Konvergenz und besserer Generalisierung bei inversen Problemen im Vergleich zu State-of-the-Art-Methoden (wie WIRE, SIREN) abschneidet.

4. Ergebnisse

Die Evaluation umfasste Signalrepräsentation und inverse Probleme auf verschiedenen Datensätzen (Kodak-Bilder, Thai Statue 3D-Volumen, DIV2K, medizinische CT-Daten).

• Signalrepräsentation (Bilder & Volumina):

  • FUTON übertrifft MLP-basierte Baselines (ReLU+PE, SIREN, WIRE) signifikant. Auf dem Kodak-Datensatz erreicht es 37,12 dB PSNR und 96,54% SSIM (WIRE: 33,69 dB / 92,38%).
  • Trainingsgeschwindigkeit: FUTON trainiert 2- bis 5-mal schneller als die besten Baselines (z. B. WIRE), erreicht aber gleichzeitig höhere Qualität.
  • Bei 3D-Occupancy-Volumen (Thai Statue) erreicht FUTON 99,67% IoU und konvergiert schneller als alle anderen Methoden.

• Inverse Probleme:

  • Super-Resolution: FUTON rekonstruiert hochfrequente Details besser als lineare Interpolation und MLPs (30,74 dB vs. 30,54 dB bei WIRE).
  • Bildentfernung (Denoising): Durch die Niedrigrang-Struktur wirkt FUTON als intrinsischer Regularisierer. Es entfernt Rauschen effektiv, ohne Artefakte zu erzeugen (27,04 dB vs. 26,51 dB bei WIRE).
  • CT-Rekonstruktion: Bei spärlichen Projektionswinkeln (150 Winkel) erzeugt FUTON klarere anatomische Strukturen mit weniger Streifenartefakten (29,18 dB vs. 27,80 dB bei WIRE).

5. Bedeutung und Ausblick

FUTON stellt einen Paradigmenwechsel dar, indem es die Notwendigkeit tiefer MLP-Architekturen für INRs infrage stellt. Durch die explizite Ausnutzung der spektralen Struktur natürlicher Signale via Fourier-Basen und die effiziente Parametrisierung durch Tensor-Netzwerke gelingt es, die Nachteile von MLPs (langsame Konvergenz, schlechte Generalisierung) zu überwinden.

Die Methode ist besonders relevant für Anwendungen, bei denen Rechenzeit, Speicherbedarf und Generalisierungsfähigkeit kritisch sind, wie z. B. in der medizinischen Bildgebung, der 3D-Rekonstruktion und der Videokompression. Zukünftige Arbeiten könnten alternative Orthonormalbasen (z. B. lernbare adaptive Basen) oder komplexere Tensor-Netzwerke (Tucker, Tensor Train) untersuchen, um die Effizienz für spezifische Signalklassen weiter zu optimieren.