Technische Samenvatting: Optimalisatie van de Rang voor High-Fidelity Impliciete Neurale Representaties

1. Probleemstelling

Impliciete Neurale Representaties (INR's) zijn een veelzijdige framework geworden voor het modelleren van diverse signaalmodaliteiten, waaronder vormen, afbeeldingen, scènes en medische gegevens. Echter, standaard Multi-Layer Perceptrons (MLP's) met standaard ReLU-activatieses lijden naar algemeen bekend zwaar aan "spectrale bias", een intrinsieke architecturale beperking die het onmogelijk maakt om effectief hoogfrequente inhoud te representeren.

Als gevolg hiervan heeft het vakgebied zich grotendeels gericht op architecturale interventies om deze bias te overwinnen, zoals coördinaat-embeddings (bijv. Fourier Features) en gespecialiseerde activatiefuncties (bijv. SIREN, WIRE). Hoewel deze methoden de expressiviteit verbeteren, introduceren ze nieuwe uitdagingen: zeer expressieve architecturen missen vaak impliciete regularisatie, wat leidt tot oscillerende patronen in slecht gestelde inverse problemen, terwijl architecturen met een lage frequentie-bias er juist niet in slagen om fijne details te fitten.

Dit artikel daagt de heersende opvatting uit dat lage-frequentie bias een inherente architecturale fout is. In plaats daarvan betogen de auteurs dat het onvermogen van standaard MLP's om hoogfrequente signalen te fitten, een symptoom is van stabiele rangdegradatie tijdens de training. Zij stellen dat de onmogelijkheid van vanilla MLP's om hoogfrequente signalen te fitten, voortkomt uit de instorting van de effectieve dimensionaliteit van gewichtupdates, in plaats van de netwerkarchitectuur zelf.

2. Methodologie: Een Stabiel Rang-perspectief

De auteurs verschuiven de focus van architecturaal ontwerp naar optimalisatiedynamiek, waarbij zij het concept van stabiele rang gebruiken als een verenigende metriek.

2.1 Theoretisch Kader

Het artikel legt een lineair-algebraïsche link tussen activaties en gewichtupdates vast. Voor een laag $l$ wordt de gradiënt met betrekking tot de gewichten gedefinieerd als het buitenproduct van de upstream gradiënt en de input-activaties: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Rang-beperking: De rijruimte van de gewichtupdate is opgenomen in de span van de batch-activaties ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Degradatie: In coördinaat-gebaseerde netwerken liggen input-activaties vaak in laag-dimensionale subruimten. Terwijl signalen door lagen propageren, kunnen niet-lineariteiten de rang lokaal verhogen, maar zonder specifieke interventies neigt het netwerk te opereren op progressief lager-dimensionale subruimten, wat leidt tot "rang-instorting" (rank collapse).
• Stabiele Rang: De auteurs gebruiken stabiele rang, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, om de effectieve dimensionaliteit van deze updates te kwantificeren. Een lage stabiele rang geeft aan dat de update geconcentreerd is in enkele singuliere richtingen, wat het vermogen van het netwerk om hoogfrequente details te leren beperkt.

2.2 Herinterpretatie van Bestaande Interventies

De auteurs herinterpreteren veelvoorkomende architecturale wijzigingen vanuit dit perspectief:

• Input-niveau (bijv. Fourier Features): Deze breiden de input batch-matrix $H_0$ uit, waardoor de bovengrens op de stabiele rang van de eerste-laag update wordt verhoogd.
• Activatie-niveau (bijv. SIREN, BatchNorm): Deze beogen de span van de activaties $H_l$ door het hele netwerk te behouden, om te voorkomen dat de rang met de diepte afneemt.

2.3 Voorgestelde Oplossing: De Muon Optimizer

Het artikel stelt voor dat de meest directe remedie is om te interveniëren op het optimizer-niveau. Zij introduceren Muon, een orthogonaliserende optimizer die expliciet is ontworpen om isotropie in gradiëntupdates af te dwingen.

• Mechanisme: Voor een gewichtupdate-matrix $U$ brengt Muon deze in kaart naar de dichtstbijzijnde semi-orthogonale matrix $Ortho(U)$ (via Newton-Schulz iteratie, als benadering van SVD). Dit dwingt de update om gelijkmatig verdeeld te worden over alle singuliere richtingen, waardoor de stabiele rang van de update wordt gemaximaliseerd naar $\min(d_l, d_{l+1})$.
• Implementatie: Muon wordt toegepast op de verborgen-laag gewichtsmatrices, terwijl standaard Adam behouden blijft voor biases en input/output parameters om stabiliteit en efficiëntie te waarborgen. Deze aanpak is model-agnostisch en opereert op de werkelijke per-stap gradiënten.

3. Belangrijkste Bijdragen

1. Stabiele Rang als een Verenigende Metriek: Het artikel stelt stabiele rang voor als een sleutelmaatstaf voor expressiviteit in INR's, en betoogt dat rangdegradatie tijdens de training, en niet architecturale beperkingen, de primaire oorzaak is van de lage-frequentie bias in vanilla MLP's.
2. Verenigend Kader: Het biedt een kader dat de effectiviteit van diverse architecturale wijzigingen (coördinaat-embeddings, alternatieve activaties) verklaart als methoden om de stabiele rang te verhogen of te behouden.
3. Muon Optimizer: De auteurs stellen Muon voor, een orthogonaliserende optimizer die expliciet rang-instorting voorkomt, wat dient als een natuurlijke remedie voor het leren van high-fidelity signalen zonder dat architecturale wijzigingen nodig zijn.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat Muon de prestaties aanzienlijk verbetert over alle geteste architecturen (ReLU MLPs, SIREN, FINER, etc.) en modaliteiten (afbeeldingen, audio, 3D-vormen, medische CT, NeRFs).

4. Experimentele Resultaten

De auteurs evalueerden Muon tegenover Adam (en Lion) over vier domeinen:

• Afbeelding Overfitting (Kodak Dataset):

  • Muon verbeterde de PSNR van vanilla ReLU MLPs met ~7–8 dB (van ~22.8 naar ~30.0 dB), waardoor ze op gelijke hoogte kwamen met Fourier Feature Networks (FFNs) getraind met Adam.
  • Significante winsten (2–4 dB) werden ook waargenomen voor Gaussian MLPs, SIREN en FINER.
  • Stabiele rang-analyse toonde aan dat Muon een hoge rang behoudt in verborgen lagen, terwijl Adam en Lion significante rang-instorting vertonen.

• Audio Overfitting:

  • Muon bereikte een substantieel hogere Signal-to-Noise Ratio (SNR) over alle architecturen. Voor een ReLU FFN verbeterde de SNR met +12.5 dB.
  • Vanilla ReLU MLPs faalden in het reconstrueren van lange audiofragmenten met Adam, maar slaagden met Muon (op kortere segmenten), wat suggereert dat het falen te wijten was aan optimalisatie-instabiliteit in plaats van capaciteitslimieten.

• Signed Distance Fields (SDF):

  • Op de Armadillo en Thai Statue datasets verminderde Muon de Chamfer Distance en verbeterde het de IoU, met name voor kleine architecturen (8x32).

• Inverse Problemen:

  • CT Reconstructie: Muon verbeterde de PSNR met wel +7 dB voor ReLU MLPs in sparse-view CT-reconstructie, waardoor artefacten in heterogene structuren werden verminderd.
  • Single Image Super-Resolution (SISR): Muon maakte ReLU FFN's bijzonder effectief, waarbij ze architecturen met sterke hoogfrequente biases (zoals FINER) in sommige metrieken overtroffen, waarschijnlijk door de gunstige lage-frequentie bias van ReLU gecombineerd met orthogonale updates.
  • Neural Radiance Fields (NeRF): Muon verminderde reconstructie-artefacten en verbeterde de PSNR met tot wel +9 dB op synthetische scènes (bijv. Chair, Hotdog), wat resulteerde in meer getrouwe scène-reconstructies.

5. Betekenis en Claims

Het artikel beweert dat optimalisatie een derde, onderbelichte as van INR-ontwerp is, complementair aan interventies op input- en activatieniveau.

• Uitdaging van Architecturale Determinisme: De resultaten dagen de perceptie uit dat architecturale veranderingen de primaire drijfveer zijn voor de prestaties van INR's. De auteurs demonstreren dat optimalisatie alleen al de modelgetrouwheid (fidelity) aanzienlijk kan beïnvloeden, waardoor eenvoudige ReLU MLP's in staat zijn om hoogfrequente signalen met hoge getrouwheid te representeren.
• Additieve Effecten: Het artikel betoogt dat interventies op input-niveau, activatie-niveau en optimalisatie-niveau werken op verschillende, complementaire assen. Het combineren hiervan (bijv. het gebruik van Muon met Fourier Features) levert de meest getrouwe reconstructies op.
• Praktische Impact: Door Muon te gebruiken, kunnen beoefenaars high-fidelity resultaten bereiken met eenvoudigere, robuustere architecturen (zoals ReLU MLP's) die minder gevoelig zijn voor de oscillerende patronen die vaak bij zeer expressieve, gespecialiseerde netwerken worden gezien.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Target Rank: Het stabiele rang-framework dient als een diagnostisch middel, maar voorspelt geen optimale target rank. In sommige slecht gestelde inverse problemen kan een lagere geïnduceerde stabiele rang fungeren als een gunstige impliciete regularisator.
• Approximatie: Muon gebruikt de Newton-Schulz benadering voor orthogonalisatie. Het artikel bestudeert de implicaties van deze benadering niet diepgaand, aangezien het Muon beschouwt als een punt in een breder ontwerpveld in plaats van een definitieve optimale oplossing.
• Tuning Complexiteit: Muon introduceert extra complexiteit in het afstemmen van de learning rate schedules (gescheiden rates voor Muon en hulp-Adam parameters).
• Expressiviteit Gat: Hoewel Muon het gat verkleint, blijft een met Muon getrainde ReLU MLP minder expressief dan gespecialiseerde architecturen zoals SIREN of FINER in alle settings.