FUTON: Fourier Tensor Network for Implicit Neural Representations

1. Il Problema

Le Rappresentazioni Neurali Implicite (INR), o campi neurali, sono diventate uno strumento potente per codificare segnali continui (come immagini, volumi 3D e campi di radianza) mappando le coordinate spaziali ai valori del segnale tramite reti neurali. Tuttavia, le architetture dominanti basate su MLP (Multilayer Perceptron) presentano tre limitazioni critiche:

1. Convergenza lenta: Richiedono tempi di addestramento prolungati.
2. Sovradattamento (Overfitting): Tendono a memorizzare il rumore se la regolarizzazione non è sufficiente.
3. Scarsa generalizzazione: Faticano a estrapolare in regioni non osservate, un problema critico per i problemi inversi (es. ricostruzione di immagini da dati incompleti).

Queste carenze derivano dal fatto che gli MLP mancano di inductive biases (bias induttivi) allineati con la struttura a bassa dimensionalità intrinseca dei segnali naturali.

2. Metodologia: FUTON

Gli autori introducono FUTON (Fourier Tensor Network), una nuova architettura INR che supera i limiti degli MLP combinando due concetti fondamentali:

1. Serie di Fourier Generalizzate (GFS): I segnali sono espressi come combinazioni lineari di funzioni di base ortonormali e separabili (es. funzioni coseno). Questo cattura la liscezza e la periodicità del segnale.
2. Decomposizione Tensoriale a Basso Rango: Invece di apprendere una mappa non lineare arbitraria, FUTON parametrizza i coefficienti della serie di Fourier utilizzando una decomposizione CP (Canonical Polyadic) a basso rango. Questo impone una struttura spettrale a bassa dimensionalità, sfruttando il fatto che i segnali naturali nel dominio della frequenza sono spesso approssimabili con pochi componenti.

Formulazione Matematica:
Un segnale $s(x)$ è approssimato come:
$$\hat{s}(x) = \Phi(x) \cdot W$$
Dove $\Phi(x)$ è un tensore di funzioni di base e $W$ è un tensore di pesi.
Per evitare la complessità esponenziale della contrazione tensoriale diretta ($O(K^C)$), FUTON scompone il tensore di pesi $W$ in una somma di $R$ tensori di rango 1:
$$W = \sum_{r=1}^{R} u^{(1)}_r \otimes u^{(2)}_r \otimes \dots \otimes u^{(C)}_r \otimes v_r$$
Questa riformulazione permette di calcolare l'output in tre fasi efficienti:

1. Proiezione delle funzioni di base sulle matrici fattoriali $U^{(c)}$.
2. Prodotto di Hadamard (elemento per elemento) delle feature proiettate.
3. Mappatura finale tramite la matrice $V$.

Il risultato è un'architettura piatta (shallow) che calcola combinazioni ponderate di feature moltiplicativamente separabili.

3. Contributi Chiave

• Nuova Architettura: FUTON sostituisce gli MLP con una serie di Fourier parametrizzata da una decomposizione tensoriale a basso rango, offrendo un'alternativa strutturata alle reti neurali profonde.
• Fondamenta Teoriche: Viene dimostrato un teorema di approssimazione universale, provando che FUTON può rappresentare qualsiasi funzione $L^2$ con precisione arbitraria scegliendo sufficienti basi ($K$) e rango ($R$).
• Efficienza Computazionale: L'algoritmo di inferenza ha una complessità lineare rispetto alla dimensione dell'input ($C$) e all'output ($D$), ovvero $O(CKR + CR + DR)$, a differenza della complessità esponenziale o quadratica delle serie di Fourier complete o degli MLP ad alta risoluzione.
• Prestazioni Superiori: Sperimentazioni estensive dimostrano che FUTON supera gli stati dell'arte (SOTA) basati su MLP in qualità di ricostruzione, velocità di convergenza e generalizzazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su rappresentazione di segnali e problemi inversi, confrontando FUTON con baselines come SIREN, WIRE, Gauss e ReLU+PE.

• Rappresentazione di Immagini (Dataset Kodak):

  • FUTON ha raggiunto un PSNR di 37.12 dB e un SSIM del 96.54%, superando il miglior baseline (WIRE) di +3.43 dB.
  • Velocità: Addestramento 2-5 volte più veloce rispetto alle controparti MLP, pur mantenendo una velocità di inferenza competitiva (12.29 img/s).
  • Qualità: Le ricostruzioni mostrano dettagli più nitidi e meno artefatti rispetto ai metodi basati su attivazioni periodiche.

• Rappresentazione di Volumi (Occupancy Volumes):

  • Su dati 3D (Statua Thai), FUTON ha ottenuto un IoU del 99.67%, superando WIRE (99.08%) e convergendo più rapidamente.

• Problemi Inversi:

  • Super-Risoluzione: FUTON supera anche l'interpolazione bilineare classica, recuperando dettagli ad alta frequenza con un PSNR di 30.74 dB.
  • Denoising: Rimuove efficacemente il rumore del sensore mantenendo la struttura dell'immagine, ottenendo il PSNR più alto (27.04 dB) grazie alla regolarizzazione implicita offerta dalla decomposizione a basso rango.
  • Ricostruzione CT: In scenari con visione sparsa (150 angoli), FUTON riduce gli artefatti a strisce e produce strutture anatomiche più chiare rispetto agli altri metodi.

5. Significato e Impatto

FUTON rappresenta un cambio di paradigma rispetto all'approccio "brute force" degli MLP per le INR.

• Efficienza: Dimostra che è possibile ottenere rappresentazioni di alta qualità senza la necessità di reti profonde e pesanti, riducendo drasticamente i costi computazionali e di memoria.
• Generalizzazione: La struttura a basso rango agisce come un prior intrinseco, permettendo al modello di generalizzare meglio su dati non osservati e problemi inversi, riducendo la necessità di regolarizzazioni esplicite complesse.
• Scalabilità: La complessità lineare rende FUTON scalabile per segnali ad alta dimensionalità (es. video, campi di radianza 5D), dove i metodi basati su MLP o tensori full-rank diventano proibitivi.

In sintesi, FUTON unisce l'analisi spettrale classica con le moderne tecniche di decomposizione tensoriale per creare un modello di rappresentazione neurale che è teoricamente solido, computazionalmente efficiente e praticamente superiore in una vasta gamma di compiti di visione artificiale.