Riassunto Tecnico: FiRe (Frequency Reparameterization)

1. Definizione del Problema

Le Rappresentazioni Neurali Implicite (INR) periodiche, come SIREN e FINER, sono progettate per codificare segnali continui sostituendo le classiche attivazioni ReLU con funzioni sinusoidali. Tuttavia, queste architetture soffrono di bias spettrale (spectral bias), un fenomeno per cui la discesa del gradiente adatta naturalmente prima le componenti a bassa frequenza del segnale, mentre i dettagli ad alta frequenza (texture fini, bordi netti) vengono recuperati più lentamente.

Il limite fondamentale delle attuali INR periodiche è che assegnano un singolo moltiplicatore di frequenza globale ($\omega_0$) a ogni neurone. Questo approccio alloca in modo inefficiente il budget rappresentativo perché diverse parti di un segnale (ad esempio, un bordo netto rispetto a uno sfondo uniforme) richiedono frequenze locali differenti. Sebbene metodi come FINER tentino di rendere la frequenza dipendente dall'input alimentando l'inviluppo di frequenza con le magnitudo pre-attivazione, essi si affidano ancora a parametri globali fissi o a specifiche strutture di attivazione. La sfida consiste nel rendere la frequenza per neurone apprendibile e dipendente dall'input senza limitarsi ad aumentare il moltiplicatore di frequenza globale (che cambierebbe la classe della funzione) o ad aggiungere parametri eccessivi.

2. Metodologia: FiRe (Frequency Reparameterization)

FiRe introduce un meccanismo per riparametrizzare la frequenza delle INR periodiche assegnando una scala di frequenza dipendente dall'input e limitata a ciascun neurone.

Meccanismo Centrale

Invece di ripiegare la frequenza nella matrice dei pesi principale, FiRe inserisce un percorso di gating a basso rango (low-rank gating path) che moltiplica la pre-attivazione prima della funzione di attivazione.
Per un'attivazione SIREN standard $h = \sin(\omega_0(Wx + b))$, FiRe modifica in:
$$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$$
Dove $s(x) \in (0, 2)$ è un gate appreso implementato come un collo di bottiglia a basso rango:
$$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$$
Qui, $U_{\uparrow}$ e $U_{\downarrow}$ sono matrici a basso rango e $\sigma$ è la sigmoide logistica. Questa struttura assicura che la frequenza rimanga limitata e stabile.

Inizializzazione e Controlli

• Inizializzazione: Il gate è inizializzato in modo che $U_{\uparrow} = 0$ e $b_{\uparrow} = 1$, risultando in un valore del gate costante $s_i \approx 1.46$ all'inizio. Ciò garantisce che FiRe inizi come una rete periodica standard con una frequenza scalata.
• Equalizzazione della frequenza ($w_{scale}$): Per garantire che i guadagni di prestazione non siano dovuti semplicemente a una frequenza globale più elevata, gli autori utilizzano un controllo di riscalamento dei pesi. I pesi della rete di base sono scalati di $1/1.46$ in modo che la frequenza per neurone realizzata della baseline corrisponda esattamente a quella di FiRe all'inizializzazione.
• Pareggio dei Parametri: Le baseline vengono allargate per corrispondere al numero di parametri di FiRe (aggiungendo un overhead dell'1,4%–7,7% a seconda del rango), assicurando che i guadagni non siano dovuti a un aumento della capacità.

Meccanismo Teorico: Decomposizione NTK

Il documento fornisce una spiegazione teorica basata sul Neural Tangent Kernel (NTK).

• Decomposizione Additiva: Poiché i parametri del percorso di gating ($\theta_g$) e i parametri del percorso portatore/segnale ($\theta_c$) sono disgiunti, l'NTK empirico ($K$) si decompone esattamente in una somma additiva:
  $$K = K_c + K_g$$
• Precondizionamento Implicito: Il percorso di gating contribuisce con un blocco semidefinito positivo ($K_g$) al kernel. Anche se il gate è funzionalmente costante all'inizializzazione, il suo gradiente rispetto ai propri parametri è non nullo. Ciò aggiunge nuove direzioni tangenti al panorama di ottimizzazione senza alterare la mappa forward.
• Effetti Spettrali: Per il teorema di Weyl, l'aggiunta di $K_g$ aumenta gli autovalori del kernel totale. Ciò aumenta il rango effettivo dello spazio tangente (del 23–44% negli esperimenti) e migliora il condizionamento del problema di ottimizzazione all'inizializzazione.
• Implicazione sulla Convergenza: Nel regime NTK "pigro" (lazy), un kernel con autovalori e rango effettivo più elevati permette all'errore residuo di decadere più velocemente lungo più autodirezioni. Questo spiega perché FiRe accelera la convergenza precoce dell'addestramento, specificamente per le componenti ad alta frequenza che corrispondono ai modi autovalori che decadono più lentamente.

3. Risultati Chiave

Gli autori hanno valutato FiRe su compiti di fitting di immagini 2D utilizzando i dataset DIV2K e Kodak attraverso varie risoluzioni (256², 512², 1024²) e ranghi.

• Accelerazione della Convergenza: FiRe supera significativamente le baseline con pareggio dei parametri nelle prime fasi dell'addestramento (budget brevi tipici del fitting di INR).
  • Alla risoluzione 256², FiRe-SIREN e FiRE-FINER hanno ottenuto guadagni di +0,5 a +0,7 dB di PSNR rispetto alle baseline a 2000 epoche.
  • Il vantaggio è più pronunciato a bassi ranghi (1–4) e diminuisce all'aumentare del rango (ad esempio, rango 8), suggerendo che il beneficio derivi da un modo di precondizionamento coerente piuttosto che dalla capacità pura.
• Dipendenza dalla Risoluzione: Il guadagno di prestazione diminuisce all'aumentare della risoluzione dell'immagine. Ciò è attribuito al fatto che le risoluzioni più elevate sono più lontane dalla convergenza a un budget fisso; il "vantaggio iniziale" fornito da FiRe diventa una frazione minore dell'ottimizzazione totale richiesta.
• Localizzazione Spettrale: I guadagni sono concentrati nella banda ad alta frequenza. L'analisi spettrale mostra che FiRe segue la potenza ad alta frequenza della verità di base (ground truth) più da vicino rispetto alla baseline, mentre le frequenze basse/medie sono adattate altrettanto bene da entrambi.
• Nessun Vantaggio Asintotico: Fondamentalmente, man mano che l'addestramento procede verso la piena convergenza (ad esempio, 8000 epoche), la baseline con pareggio dei parametri supera infine FiRe. Ciò conferma che FiRe non cambia la classe di funzione o la soluzione finale, ma agisce piuttosto come un precondizionatore per la traiettoria di ottimizzazione.
• Stabilità: La frequenza realizzata di FiRe rimane coordinata con la baseline durante tutto l'addestramento, confermando che i guadagni derivano dalla riparametrizzazione e non da uno spostamento di frequenza nascosto.

4. Significato e Rivendicazioni

Il documento posiziona FiRe come un metodo per accelerare l'ottimizzazione piuttosto che per espandere la capacità rappresentativa della rete.

• Isolamento del Meccanismo: Gli autori sottolineano che i precedenti apparenti guadagni nella letteratura INR potrebbero essere stati confusi da aumenti incontrollati della frequenza globale o del numero di parametri. Controllando rigorosamente questi fattori, isolano l'effetto della geometria di ottimizzazione del gate.
• Precondizionamento Implicito: FiRe è identificato come un precondizionatore implicito che migliora il condizionamento dell'NTK all'inizializzazione. Ciò fornisce un ponte teorico tra la riparametrizzazione e una convergenza più rapida nel regime ad alta frequenza.
• Utilità Pratica: Il metodo è più prezioso in scenari in cui le INR sono addestrate a un budget fisso e breve (comune nella pratica) piuttosto che alla piena convergenza. In questi contesti, FiRe produce ricostruzioni di qualità superiore di dettagli fini e texture.
• Modestia: Gli autori dichiarano esplicitamente che FiRe non offre alcun vantaggio alla piena convergenza e che la spiegazione basata su NTK si basa sull'approssimazione del "regime pigro", che si indebolisce con il progredire dell'addestramento. Il metodo è attualmente limitato al fitting di immagini 2D, e la sua estensione al 3D (SDF, NeRF) rimane una questione aperta.

In sintesi, FiRe dimostra che riparametrizzare la frequenza dei neuroni periodici tramite un gate a basso rango può migliorare significativamente il condizionamento del panorama di ottimizzazione, portando a una convergenza più rapida e a una migliore ricostruzione ad alta frequenza, a condizione che il confronto sia effettuato contro baseline con frequenza e parametri strettamente coordinati.