Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations

1. Il Problema

Le Rappresentazioni Neurali Implicite (INR) sono diventate uno strumento fondamentale per modellare segnali continui a partire da campioni discreti (es. immagini, forme 3D). Tuttavia, le INR standard soffrono di un bias spettrale: tendono a imparare le componenti a bassa frequenza molto più velocemente di quelle ad alta frequenza, rendendo difficile la ricostruzione di dettagli fini, bordi netti e texture complesse.

Per mitigare questo problema, si utilizzano spesso mappature di caratteristiche di Fourier (Fourier Feature Mappings), che proiettano le coordinate di input in uno spazio di caratteristiche a dimensionalità più elevata utilizzando una serie fissa di frequenze. Sebbene efficaci, questi metodi utilizzano un set di frequenze globale e fisso su tutto il dominio spaziale. Questo approccio è subottimale per segnali non stazionari (come le immagini naturali), dove diverse regioni richiedono risposte frequenziali diverse:

• Le regioni lisce (es. cielo, sfondi) sono dominate da basse frequenze.
• Le regioni con bordi, strutture fini o texture richiedono forti risposte ad alta frequenza.

L'uso di una stessa base di Fourier ovunque introduce componenti ridondanti o inadeguate, portando a una convergenza lenta dei dettagli ad alta frequenza e a una modellazione inefficiente.

2. Metodologia Proposta

Gli autori propongono un metodo di filtraggio adattivo locale delle frequenze (Adaptive Local Frequency Filtering) per le INR codificate in Fourier. L'idea centrale è introdurre un parametro di controllo variabile nello spazio, denotato come $\alpha(\mathbf{x})$, che modula dinamicamente le componenti di Fourier in base alla posizione spaziale.

Componenti Chiave del Metodo:

1. Parametro Adattivo $\alpha(\mathbf{x})$:
   • È un campo scalare apprendibile memorizzato su una griglia apprendibile (learnable grid).
   • Viene interrogato tramite interpolazione multilineare per ogni coordinata di input $\mathbf{x}$, garantendo una variazione spaziale liscia.
2. Meccanismo di Filtraggio:
   • Il filtro agisce direttamente sul vettore di caratteristiche di Fourier codificato $\gamma(\mathbf{x})$.
   • La risposta del filtro per ogni canale è definita come la differenza di due funzioni sigmoide:
     $$H_c^B(\alpha(\mathbf{x})) = \sigma_s\left(\kappa\left(c - \alpha(\mathbf{x}) + \frac{B}{2}\right)\right) - \sigma_s\left(\kappa\left(c - \alpha(\mathbf{x}) - \frac{B}{2}\right)\right)$$
   • Dove $c$ è l'indice del canale, $B$ è la larghezza di banda (bandwidth) e $\kappa$ controlla la nitidezza della transizione.
3. Comportamento Dinamico:
   • A seconda del valore di $\alpha(\mathbf{x})$, il filtro può comportarsi come:
     • Filtro Passa-Basso: Se $\alpha(\mathbf{x})$ è vicino all'inizio della gamma di canali (favorisce basse frequenze).
     • Filtro Passa-Banda: Se $\alpha(\mathbf{x})$ è nel mezzo (favorisce frequenze intermedie).
     • Filtro Passa-Alto: Se $\alpha(\mathbf{x})$ è vicino alla fine della gamma (favorisce alte frequenze).
   • Questo permette alla rete di selezionare esplicitamente le frequenze rilevanti per la struttura locale del segnale.

Analisi Teorica (NTK):

Gli autori analizzano il metodo dal punto di vista del Neural Tangent Kernel (NTK). Dimostrano che il filtro adattivo ridisegna lo spettro del kernel efficace locale. In particolare, il filtro scala gli autovalori del kernel associati alle diverse scale di frequenza dyadiche con un fattore $\bar{H}_j(\alpha(\mathbf{x}))^2$. Questo significa che in regioni complesse, i componenti ad alta frequenza ricevono pesi effettivi maggiori, accelerandone l'apprendimento, mentre nelle regioni lisce le alte frequenze vengono soppresse per evitare rumore.

3. Contributi Principali

1. Filtraggio Adattivo Locale: Introduzione di un meccanismo che permette la modulazione delle frequenze nello spazio tramite un parametro $\alpha(\mathbf{x})$ apprendibile, superando i limiti delle basi di Fourier fisse.
2. Interpretazione NTK: Fornitura di un'analisi teorica basata sull'NTK che spiega come il filtro ridisegni lo spettro del kernel efficace, offrendo una giustificazione matematica per il miglioramento della convergenza.
3. Visualizzazione Intuitiva: La mappa appresa di $\alpha(\mathbf{x})$ fornisce una visualizzazione diretta delle preferenze frequenziali spaziali del modello, spiegando il comportamento su segnali non stazionari.
4. Prestazioni Superiori: Dimostrazione empirica che il metodo migliora la qualità di ricostruzione e la velocità di convergenza rispetto a baseline a frequenza fissa.

4. Risultati Sperimentali

Il metodo è stato valutato su tre compiti principali:

• Adattamento di Immagini 2D:

  • Su un dataset di immagini naturali (NTIRE 2017), il metodo proposto (sia con attivazione ReLU che Sine) ha superato le baseline (PE-MLP, SIREN, MFN, DINER) in termini di PSNR, SSIM e LPIPS.
  • Le curve di convergenza mostrano che il metodo raggiunge un PSNR più alto più rapidamente, specialmente nella fase iniziale dell'ottimizzazione.
  • Le ricostruzioni qualitative mostrano dettagli più nitidi (es. testo, bordi) rispetto alle altre metodologie.

• Rappresentazione di Forme 3D (SDF):

  • Testato su forme complesse (Armadillo, Dragon, ecc.) utilizzando Signed Distance Fields.
  • Il metodo ha ottenuto i migliori risultati medi in termini di Chamfer Distance e IoU (Intersection over Union).
  • Qualitativamente, riesce a preservare i dettagli fini nelle regioni complesse (es. zampe) mantenendo la liscezza nelle regioni piane (es. petto), adattandosi meglio della SIREN o BACON.

• Ricostruzione da Dati Sparsi:

  • In scenari di inpainting (solo il 5% o 35% dei pixel osservati), il metodo, combinato con una penalità di variazione totale (TV) sul parametro $\alpha(\mathbf{x})$, evita l'overfitting e gli artefatti ad alta frequenza nelle regioni mancanti.
  • Le mappe $\alpha(\mathbf{x})$ apprese mostrano valori bassi nelle regioni omogenee mancanti (filtro passa-basso) e valori più alti vicino ai bordi strutturali.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nel campo delle INR perché:

• Colma il divario tra rigidità e adattabilità: Risolve il compromesso tra l'uso di basi di Fourier fisse (efficienti ma rigide) e le architetture completamente adattive (spesso complesse e poco interpretabili).
• Controllo Esplicito: Offre un controllo esplicito e interpretabile sulla frequenza locale, permettendo ai ricercatori di "vedere" dove il modello sta cercando dettagli fini e dove sta semplificando.
• Efficienza: Aggiunge un overhead computazionale e di memoria minimo rispetto alle INR standard, rendendolo pratico per applicazioni reali.
• Futuro: Apre la strada a future ricerche sull'allocazione adattiva della griglia e sull'estensione del metodo a dati dinamici (video, campi luminosi 4D).

In sintesi, l'approccio proposto dimostra che l'adattamento locale esplicito delle frequenze è un miglioramento pratico ed essenziale per le INR codificate in Fourier, specialmente quando si tratta di segnali con contenuto spettrale variabile nello spazio.