Sintesi Tecnica: Gating Spettrale tramite Oscillazioni Smorzate per Rappresentazioni Neurali Implicite Adattive

1. Definizione del Problema

Le Rappresentazioni Neurali Implicite (INR) codificano segnali continui (immagini, audio, forme) nei pesi di reti neurali basate su coordinate. Una sfida fondamentale in questo dominio è il dilemma spettrale:

• Attivazioni periodiche (es. SIREN) possiedono una larghezza di banda infinita, consentendo la rappresentazione di dettagli ad alta frequenza. Tuttavia, agiscono come filtri passa-tutto senza regolarizzazione intrinseca, rendendole suscettibili alla memorizzazione del rumore e soggette a una convergenza instabile (overshooting).
• Attivazioni spazialmente compatte (es. Gaussiane) forniscono una regolarizzazione e una fluidità intrinseche ma soffrono di un forte bias a bassa frequenza, limitando la loro capacità di catturare contenuti fini o oscillatori.
• I tentativi esistenti per risolvere questo compromesso (es. WIRE, FINER, Fourier Reparametrisation) spesso introducono un carico computazionale, richiedono la sintonizzazione di iperparametri specifici per il task o mancano di un meccanismo formale per adattare la larghezza di banda in modo robusto contro il rumore.

Gli autori sostengono che nessun metodo esistente fornisca un meccanismo per adattare dinamicamente la larghezza di banda spettrale della rete durante l'addestramento per distinguere tra contenuto di segnale coerente e rumore casuale senza regolarizzazione esplicita.

2. Metodologia: Oscillatore Armonico Forzato Smorzato (FDHO)

Il metodo proposto modella l'attivazione di ogni neurone come la risposta a regime di un oscillatore armonico smorzato forzato sinusoidalmente.

Definizione dell'Attivazione

Dati i parametri apprendibili $\theta = (\omega, \omega_n, \xi, \varphi)$, dove $\omega$ è la frequenza di forzamento, $\omega_n$ è la frequenza naturale e $\xi$ è il fattore di smorzamento, la funzione di attivazione $\sigma: \mathbb{R} \to \mathbb{R}$ è definita come:
$$\sigma(z; \theta) = A(\omega, \omega_n, \xi) \sin(\omega z + \varphi)$$
L'ampiezza $A$ è derivata dalla funzione di trasferimento di un sistema lineare del secondo ordine:
$$A(\omega, \omega_n, \xi) = \frac{\omega_n^2}{\sqrt{(\omega_n^2 - \omega^2)^2 + (2\xi\omega_n\omega)^2}}$$
Fondamentalmente, l'ampiezza non è un parametro libero ma è fisicamente accoppiata alle frequenze e allo smorzamento. La rete ottimizza congiuntamente i parametri dell'oscillatore $\theta$ insieme ai pesi standard $(W, b)$.

Meccanismo di Spectral Gating

Il contributo teorico centrale è la derivazione di una regolarizzazione spettrale implicita attraverso la dinamica del gradiente del fattore di smorzamento $\xi$.

• La Decomposizione del Gradiente: Il gradiente della perdita di ricostruzione $\mathcal{L}$ rispetto a $\xi$ si decompone in due termini competitivi:
  1. Termine di auto-interazione ($T_{self}$): Sempre negativo, spinge $\xi$ ad aumentare (restringendo la larghezza di banda). Agisce come una forza regolarizzante.
  2. Termine del segnale ($T_{signal}$): Proporzionale alla correlazione tra il segnale target e la frequenza portante. È positivo solo quando il target contiene energia coerente alla frequenza portante, spingendo $\xi$ a diminuire (allargando la larghezza di banda).
• La Condizione di Gating: Il gate spettrale si apre (permettendo il contenuto ad alta frequenza) se e solo se la correlazione del segnale supera una soglia determinata dall'auto-interazione.
  • Segnale Coerente: Il gate si apre, permettendo alla rete di adattarsi alla frequenza.
  • Rumore Casuale: La correlazione è vicina allo zero; il termine di auto-interazione domina, mantenendo il gate chiuso e impedendo la memorizzazione del rumore.
  • Frequenza Non Corrispondente: Il gate rimane chiuso a causa dell'ortogonalità.

Curriculum di Apprendimento Coarse-to-Fine

Il metodo viene inizializzato con parametri che collocano il sistema nella "banda di arresto" (bassa ampiezza, alto smorzamento). Man mano che l'addestramento procede e il paesaggio della perdita richiede un contenuto di frequenza più ricco, la larghezza di banda si espande naturalmente. Ciò crea un curriculum di apprendimento coarse-to-fine senza scheduling esplicito: la rete cattura prima le strutture a bassa frequenza e ammette i dettagli ad alta frequenza solo quando giustificato dall'obiettivo di ricostruzione.

Composizione Multi-strato

In reti profonde, la cascata di questi strati produce un segnale modulato in frequenza. L'indice di modulazione efficace al livello $\ell$ è $\beta_\ell = \omega_\ell w_\ell \prod_{k=1}^{\ell-1} A_k$. Poiché le ampiezze $A_k$ sono apprendibili e dipendono dallo smorzamento, la rete ottiene un controllo esplicito sulla sua larghezza di banda armonica ad ogni profondità, estendendo gli armonici governati dalla funzione di Bessel osservati in SIREN a un regime apprendibile.

3. Contributi Chiave

1. Attivazione Fondata sulla Fisica: Una nuova funzione di attivazione derivata dalla risposta a regime di un oscillatore armonico smorzato, che introduce un accoppiamento fisico tra ampiezza e frequenza.
2. Spectral Gating Implicito: Una prova teorica (Corollario 1) che dimostra come la dinamica del gradiente del fattore di smorzamento distingua naturalmente tra segnale coerente e rumore casuale, rifiutando il rumore senza penalità di perdita esplicite o cambiamenti architettonici.
3. Larghezza di Banda Adattiva: Un meccanismo attraverso il quale la rete regola autonomamente la sua selettività spettrale durante l'addestramento, eliminando la necessità di sintonizzazione di iperparametri specifici per il task.
4. Framework Unificato: Un'unica architettura e un unico set di parametri che performano in modo competitivo in diversi task (fitting di segnali, denoising, inpainting, super-resolution, ricostruzione CT) senza modifiche.

4. Risultati Sperimentali

Gli autori hanno valutato FDHO contro otto INI stabiliti (SIREN, Gauss, WIRE, FINER, BACON, MFN, Fourier Features, FR) su molteplici task.

• Fitting di Segnali e Audio: FDHO ha raggiunto il PSNR finale più elevato in tutti i segnali 1D e clip audio testati (Bach, Counting). A differenza di SIREN, che spesso mostrava un ampio divario tra performance di picco e finali (indicando instabilità/overshooting), FDHO ha dimostrato una convergenza stabile.
• Fitting di Immagini: FDHO ha ottenuto risultati allo stato dell'arte o competitivi su cinque immagini diverse, spesso superando SIREN e FINER per margini significativi (es. fino a 10 dB sull'immagine "Bikers"). Ha eliminato il comportamento "overshoot-then-decay" tipico di SIREN.
• Denoising: Nei compiti di denoising delle immagini (senza perdite di denoising esplicite), FDHO ha superato significativamente tutti i baseline. Ha separato con successo il segnale dal rumore puramente attraverso il suo bias induttivo, mentre SIREN e altri degradavano al livello dei metodi con bias a bassa frequenza.
• Ricostruzione CT: FDHO ha guidato la ricostruzione di scansioni CT da proiezioni rumorose e sparse, raggiungendo quasi 3 dB di PSore di PSNR rispetto al secondo miglior metodo (MFN), dimostrando robustezza sia al rumore che all'ill-posedness.
• Inpainting & Super-Resolution: FDHO è rimasto competitivo, eguagliando o superando SIREN nell'inpainting e ottenendo risultati ai vertici nella super-resolution, sebbene abbia mostrato prestazioni leggermente inferiori su texture altamente regolari e ripetitive dove i metodi a periodicità variabile (FINER) eccellono.
• SDF Fitting: FDHO è stato competitivo nella ricostruzione di forme 3D, in particolare su geometrie complesse dove ha superato SIREN.

Costo Computazionale: FDHO introduce un overhead di parametri trascurabile (incremento dello 0.007% rispetto a SIREN) e un aumento moderato del tempo di addestramento (~1.4x SIREN), principalmente a causa del setup del doppio ottimizzatore e dello scheduling del tasso di apprendimento, ma rimane nell'ordine degli esistenti complessi INR.

5. Significato e Rivendicazioni

Il paper sostiene che FDHO risolva il dilemma spettrale incorporando il controllo spettrale direttamente nella struttura differenziabile dell'attivazione. Il significato primario risiede nella robustezza e adattabilità del metodo:

• Reiezione del Rumore: Il metodo fornisce un meccanismo formale per la reiezione del rumore che non dipende da soffitti spettrali fissi o regolarizzazione esplicita.
• Stabilità: Accoppiando l'ampiezza alla frequenza tramite una funzione di trasferimento fisica, il metodo evita le soluzioni degenerate e il drift dei parametri osservati nelle varianti di "SIREN adattiva" dove i parametri sono disaccoppiati.
• Generalizzazione: L'approccio non richiede la sintonizzazione di iperparametri specifici per il task, pur ottenendo risultati allo stato dell'arte o competitivi in un ampio spettro di problemi inversi e tipi di segnale.

Gli autori concludono che l'interazione tra il design dell'attivazione e la dinamica dell'addestramento è centrale per le prestazioni di un INR, e che derivare attivazioni da sistemi fisici con proprietà di spectral gating provabili offre una via procedurale verso il futuro. Riconoscono che, sebbene il metodo eccella in contesti rumorosi e ill-posed, potrebbe offrire meno vantaggi in scenari con osservazioni pulite, spazialmente incomplete o texture altamente regolari dove il gate spettrale è meno critico. Il lavoro futuro include l'estensione della formulazione a parametri per singolo neurone e la formalizzazione ulteriore della dinamica del gradiente multi-strato.