FUTON: Fourier Tensor Network for Implicit Neural Representations

Probleemstelling

Implicit Neural Representations (INR's), ook wel bekend als neurale velden, zijn krachtige hulpmiddelen geworden voor het coderen van signalen (zoals afbeeldingen, volumes en radiance fields) als continue functies, in plaats van discrete arrays. Hoewel de huidige staat-van-de-kunst-methoden voornamelijk gebaseerd zijn op Multilayer Perceptrons (MLP's) met gespecialiseerde activatiefuncties (zoals periodieke sinusfuncties of Gabor-golven), lijden deze aan drie fundamentele beperkingen:

1. Trage convergentie: Het trainen van grote MLP's duurt lang.
2. Overfitting: Ze zijn gevoelig voor ruis als er onvoldoende regularisatie wordt toegepast.
3. Slechte extrapolatie: Ze generaliseren vaak slecht naar onwaargenomen gebieden, wat kritiek is voor inverse problemen (zoals beeldherstel).

Deze problemen ontstaan omdat MLP's vaak ontbreken aan de juiste inductieve biases die overeenkomen met de laag-dimensionale structuur van natuurlijke signalen.

Methodologie: FUTON

De auteurs introduceren FUTON (Fourier Tensor Network), een nieuwe architectuur voor INR's die signalen modelleert als een generaliserende Fourier-reeks, waarbij de coëfficiënten worden geparametriseerd via een laag-rang tensorontbinding (specifically Canonical Polyadic of CP-decompositie).

De kernprincipes zijn:

• Generaliserende Fourier-reeks: In plaats van een MLP te leren die coördinaten naar waarden mapt, wordt het signaal $s(x)$ uitgedrukt als een som van orthogonale, scheidbare basisfuncties $\phi_k(x)$, gewogen door coëfficiënten $w_k$.
  $$\hat{s}(x) = \sum_{k} w_k \phi_k(x)$$
• Tensor Decompositie: De gewichtstensor $W$ (die de coëfficiënten bevat) wordt niet als een volle tensor opgeslagen (wat exponentieel zou groeien met de dimensie), maar wordt ontbonden in een som van laag-rang componenten (CP-decompositie). Dit betekent dat $W$ wordt benaderd door een som van $R$ rang-1 tensoren.
• Complementaire Inductieve Biases:
  • De Fourier-basis (bijv. cosinusfuncties) vangt gladheid en periodiciteit.
  • De laag-rang parameterisatie dwingt een laag-dimensionale spectrale structuur af, wat overeenkomt met de eigenschappen van natuurlijke signalen (die vaak compact zijn in het frequentiedomein).
• Efficiëntie: Door de CP-decompositie en een geoptimaliseerde volgorde van tensorcontracties, wordt de berekeningscomplexiteit van exponentieel ($O(K^C)$) teruggebracht naar lineair ($O(CKR + CR + DR)$) ten opzichte van de invoer- en uitvoerdimensies. Dit maakt FUTON schaalbaar voor hoge dimensies.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: FUTON combineert generaliserende Fourier-reeksen met laag-rang tensorontbinding, wat een direct alternatief biedt voor MLP-based INR's zonder de noodzaak van diepe netwerken.
2. Theoretische Fundamenten: De auteurs bewijzen een universeel benaderingsstelling (Universal Approximation Theorem), die garandeert dat FUTON elke $L^2$-functie met willekeurige precisie kan benaderen door de basisresolutie ($K$) en de rang ($R$) voldoende groot te kiezen.
3. Berekenings-efficiëntie: Ze tonen aan dat de forward pass lineaire complexiteit heeft, wat een groot voordeel is ten opzichte van de volledige tensorbenadering of diepe MLP's.
4. Superieure Prestaties: Uitgebreide experimenten tonen aan dat FUTON betere reconstructiekwaliteit, snellere convergentie en betere generalisatie biedt dan bestaande methoden.

Resultaten

FUTON werd getest op diverse taken, waaronder signaalrepresentatie en inverse problemen:

• Signaalrepresentatie (Afbeeldingen en Volumes):
  • Op de Kodak-dataset voor 2D-afbeeldingen behaalde FUTON een PSNR van 37,12 dB en SSIM van 96,54%, wat aanzienlijk beter is dan de beste concurrent (WIRE: 33,69 dB PSNR).
  • FUTON convergeert 2 tot 5 keer sneller tijdens het trainen dan state-of-the-art MLP-methoden.
  • Voor 3D-bezettingvolumes (Thai Statue) behaalde FUTON een IoU van 99,67%, opnieuw de beste prestatie.
• Inverse Problemen:
  • Super-resolutie: FUTON herstelt hogere frequenties beter dan bilineaire interpolatie en andere INR-methoden, met scherpere randen en minder artefacten.
  • Beelddenoising: Door de laag-rang structuur fungeert FUTON als een intrinsieke regularisator, wat resulteert in schoner beeld met minder ruis dan methoden die expliciete regularisatie nodig hebben.
  • CT-reconstructie: Bij sparse-view CT-scans produceerde FUTON duidelijkere anatomische structuren met minder streepartefacten dan concurrenten.

Betekenis en Impact

FUTON markeert een verschuiving in het paradigma van Implicit Neural Representations. In plaats van te vertrouwen op de leerkracht van diepe, niet-lineaire MLP's, gebruikt FUTON de wiskundige structuur van signalen (frequentiedomein en laag-rang eigenschappen) om efficiëntere en robuustere modellen te bouwen.

De belangrijkste implicaties zijn:

• Snelheid: De snellere convergentie maakt training en toepassing in real-time scenario's haalbaarder.
• Generalisatie: De intrinsieke regularisatie door de laag-rang parameterisatie maakt FUTON ideaal voor inverse problemen waar data schaars of vervuild is.
• Schaalbaarheid: De lineaire complexiteit opent de deur voor het toepassen van INR's op hogere dimensies (zoals video of 4D radiance fields) zonder de enorme rekenkosten van traditionele benaderingen.

Kortom, FUTON biedt een praktische, theoretisch onderbouwde en computatie-efficiënte oplossing die de beperkingen van huidige MLP-gebaseerde INR's overwint.