Sintesi Tecnica: Ottimizzazione del Rango per Rappresentazioni Neurali Implicite ad Alta Fedeltà

1. Definizione del Problema

Le Rappresentazioni Neurali Implicite (INR) sono diventate un framework versatile per la modellazione di diverse modalità di segnale, inclusi forme, immagini, scene e dati medici. Tuttavia, i comuni Multi-Layer Perceptrons (MLP) con attivazioni ReLU standard soffrono ampiamente di quello che è ritenuto essere uno "spectral bias" (bias spettrale), un limite architettonico intrinseco che impedisce loro di rappresentare efficacemente il contenuto ad alta frequenza.

Di conseguenza, il campo si è concentrato ampiamente su interventi architettonici per superare questo bias, come gli embedding delle coordinate (ad esempio, Fourier Features) e funzioni di attivazione specializzate (ad esempio, SIREN, WIRE). Sebbene questi metodi migliorino l'espressività, introducono nuove sfide: le architetture altamente espressive spesso mancano di regolarizzazione implicita, portando a pattern oscillatori in problemi inversi mal posti, mentre le architetture con bias verso le basse frequenze possono non essere in grado di catturare i dettagli fini.

Questo articolo mette in discussione la convinzione prevalente che il bias verso le basse frequenze sia un difetto architettonico inerente. Al contrario, gli autori sostengono che sia un sintomo della degradazione stabile del rango durante l'addestramento. Essi postulano che l'incapacità dei comuni MLP di adattarsi ai segnali ad alta frequenza derivi dal collasso della dimensionalità effettiva degli aggiornamenti dei pesi, piuttosto che dall'architettura della rete stessa.

2. Metodologia: Una Prospettiva sul Rango Stabile

Gli autori spostano il focus dal design architettonico alla dinamica di ottimizzazione, utilizzando il concetto di rango stabile come metrica unificante.

2.1 Framework Teorico

Il documento stabilisce un legame algebrico lineare tra attivazioni e aggiornamenti dei pesi. Per uno strato $l$, il gradiente rispetto ai pesi è definito come il prodotto esterno del gradiente a monte e delle attivazioni di input: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Vincolo di Rango: Lo spazio riga dell'aggiornamento del peso è contenuto nello span delle attivazioni del batch ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Degradazione: Nelle reti basate su coordinate, le attivazioni di input spesso risiedono in sottospazi a bassa dimensionalità. Mentre i segnali si propagano attraverso gli strati, le non linearità possono aumentare localmente il rango, ma senza interventi specifici, la rete tende a operare su sottospazi progressivamente a dimensionalità inferiore, portando al "collasso del rango".
• Rango Stabile: Gli autori utilizzano il rango stabile, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, per quantificare la dimensionalità effettiva di questi aggiornamenti. Un basso rango stabile indica che l'aggiornamento è concentrato in poche direzioni singolari, limitando la capacità della rete di apprendere dettagli ad alta frequenza.

2.2 Reinterpretazione degli Interventi Esistenti

Gli autori reinterpretano le comuni modifiche architettoniche attraverso questa lente:

• A livello di Input (es. Fourier Features): Queste espandono la matrice di input del batch $H_0$, aumentando il limite superiore del rango stabile del primo strato di aggiornamento.
• A livello di Attivazione (es. SIREN, BatchNorm): Mirano a mantenere lo span delle attivazioni $H_l$ attraverso la rete, impedendo al rango di diminuire con la profondità.

2.3 Soluzione Proposta: L'Ottimizzatore Muon

Il paper propone che il rimedio più diretto sia intervenire a livello di ottimizzatore. Introducono Muon, un ottimizzatore ortogonalizzante progettato per imporre esplicitamente l'isotropia negli aggiornamenti del gradiente.

• Meccanismo: Per una matrice di aggiornamento dei pesi $U$, Muon la mappa nella matrice semi-ortogonale più vicina $Ortho(U)$ (tramite iterazione di Newton-Schulz, che approssima la SVD). Questo forza l'aggiornamento a essere distribuito uniformemente in tutte le direzioni singolari, massimizzando il rango stabile dell'aggiornamento a $\min(d_l, d_{l+1})$.
• Implementazione: Muon è applicato alle matrici dei pesi degli strati nascosti, mentre viene mantenuto lo standard Adam per i bias e i parametri di input/output per garantire stabilità ed efficienza. Questo approccio è agnostico rispetto al modello e opera sui reali gradienti per ogni step.

3. Contributi Chiave

1. Il Rango Stabile come Metrica Unificante: Il paper propone il rango stabile come misura chiave dell'espressività nelle INR, sostenendo che la degradazione del rango durante l'addestramento, e non i limiti architettonici, sia la causa primaria del bias a basse frequenze nei comuni MLP.
2. Framework Unificante: Fornisce un framework che spiega l'efficacia di diverse modifiche architettoniche (embedding delle coordinate, attivazioni alternative) come metodi per aumentare o preservare il rango stabile.
3. Ottimizzatore Muon: Gli autori propongono Muon, un ottimizzatore ortogonalizzante che previene esplicitamente il collasso del rango, fungendo da rimedio naturale per l'apprendimento di segnali ad alta fedeltà senza richiedere modifiche architettoniche.
4. Validazione Empirica: Esperimenti estesi dimostrano che Muon migliora significativamente le prestazioni in tutte le architetture testate (ReLU MLP, SIREN, FINER, ecc.) e in diverse modalità (immagini, audio, forme 3D, CT medica, NeRF).

4. Risultati Sperimentali

Gli autori hanno valutato Muon rispetto ad Adam (e Lion) in quattro domini:

• Overfitting di Immagini (Dataset Kodak):

  • Muon ha migliorato il PSNR dei vanilla ReLU MLP di circa 7–8 dB (da ~22.8 a ~30.0 dB), portandoli alla parità con le Fourier Feature Networks (FFN) addestrate con Adam.
  • Sono stati osservati guadagni significativi (2–4 dB) anche per Gaussian MLP, SIREN e FINER.
  • L'analisi del rango stabile ha mostrato che Muon mantiene un alto rango negli strati nascosti, mentre Adam e Lion mostrano un significativo collasso del rango.

• Overfitting Audio:

  • Muon ha ottenuto un rapporto segnale-rumore (SNR) sostanzialmente più elevato in tutte le architetture. Per un ReLU FFN, l'SNR è migliorato di +12.5 dB.
  • I vanilla ReLU MLP non sono riusciti a ricostruire clip audio lunghe con Adam, ma ci sono riusciti con Muon (su segmenti più brevi), suggerendo che il fallimento fosse dovuto all'instabilità dell'ottimizzazione piuttosto che ai limiti di capacità.

• Campi di Distanza con Segno (SDF):

  • Sui dataset Armadillo e Thai Statue, Muon ha ridotto la distanza di Chamfer e migliorato l'IoU, particolarmente per architetture piccole (8x32).

• Problemi Inversi:

  • Ricostruzione CT: Muon ha migliorato il PSNR fino a +7 dB per i ReLU MLP nella ricostruzione CT a vista sparsa, riducendo gli artefatti nelle strutture eterogenee.
  • Super-Risoluzione di Immagine Singola (SISR): Muon ha reso i ReLU FFN particolarmente efficaci, superando architetture con forti bias ad alta frequenza (come FINER) in alcune metriche, probabilmente grazie al benefico bias a basse frequenze di ReLU combinato con aggiornamenti ortogonali.
  • Neural Radiance Fields (NeRF): Muon ha ridotto gli artefatti di ricostruzione e migliorato il PSNR fino a +9 dB su scene sintetiche (es. Chair, Hotdog), producendo ricostruzioni della scena più fedeli.

5. Significato e Rivendicazioni

Il paper sostiene che l'ottimizzazione sia un terzo asse, poco esplorato, del design delle INR, complementare agli interventi a livello di input e di attivazione.

• Sfida al Determinismo Architetturale: I risultati mettono in discussione la percezione che le modifiche architettoniche siano il driver principale delle prestazioni delle INR. Gli autori dimostrano che l'ottimizzazione da sola può influenzare significativamente la fedeltà del modello, consentendo ai semplici ReLU MLP di rappresentare segnali ad alta frequenza con alta fedeltà.
• Effetti Additivi: Il paper sostiene che gli interventi a livello di input, di attivazione e di ottimizzazione agiscano su assi distinti e complementari. Combinarli (ad esempio, usando Muon con Fourier Features) produce le ricostruzioni più fedeli.
• Impatto Pratico: Utilizzando Muon, i professionini possono ottenere risultati ad alta fedeltà con architetture più semplici e robuste (come i ReLU MLP) che sono meno soggette ai pattern oscillatori spesso visti nelle reti specializzate altamente espressive.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Rango Target: Il framework del rango stabile funge da diagnostica ma non predice un rango target ottimale. In alcuni problemi inversi mal posti, un rango stabile indotto più basso può agire come un benefico regolarizzatore implicito.
• Approssimazione: Muon utilizza l'approssimazione Newton-Schulz per l'ortogonalizzazione. Il paper non studia approfonditamente le implicazioni di questa approssimazione, considerando Muon come un punto in uno spazio di design più ampio piuttosto che come una soluzione finale ottimale.
• Complessità di Tuning: Muon introduce una complessità di tuning aggiuntiva riguardo agli schedule del learning rate (tassi separati per Muon e i parametri ausiliari di Adam).
• Gap di Espressività: Sebbene Muon riduca il divario, un ReLU MLP addestrato con Muon rimane meno espressivo di architetture specializzate come SIREN o FINER in tutti i contesti.