Technisches Resümee: Optimierung des Rangs für hochfrequente implizite neuronale Repräsentationen

1. Problemstellung

Implizite neuronale Repräsentationen (INRs) sind zu einem vielseitigen Framework für die Modellierung diverser Signalmodalitäten geworden, einschließlich Formen, Bildern, Szenen und medizinischer Daten. Herkömmliche Multi-Layer Perzeptrone (MLPs) mit Standard-ReLU-Aktivierungsfunktionen leiden jedoch unter einem vermeintlichen „Spektral-Bias“ – einer intrinsischen architektonischen Einschränkung, die verhindert, dass sie hochfrequente Inhalte effektiv repräsentieren.

Folglich hat sich das Feld weitgehend auf architektonische Interventionen konzentriert, um diesen Bias zu überwinden, wie etwa Koordinaten-Embeddings (z. B. Fourier-Features) und spezialisierte Aktivierungsfunktionen (z. B. SIREN, WIRE). Während diese Methoden die Ausdrucksstärke verbessern, führen sie neue Herausforderungen ein: Hochgradig expressive Architekturen verfügen oft über eine mangelnde implizite Regularisierung, was zu oszillierenden Mustern bei schlecht gestellten inversen Problemen führt, während niederfrequenz-biaste Architekturen daran scheitern können, feine Details abzubilden.

Dieses Paper stellt die gängige Auffassung in Frage, dass der Niederfrequenz-Bias ein inhärenter architektonischer Fehler sei. Stattdessen argumentieren die Autoren, dass er ein Symptom einer stabilen Rangdegradation während des Trainings ist. Sie postulieren, dass die Unfähigkeit von Vanilla-MLPs, hochfrequente Signale abzubilden, auf dem Kollaps der effektiven Dimensionalität der Gewichtsaktualisierungen beruht und nicht auf der Netzwerkarchitektur selbst.

2. Methodik: Eine Perspektive auf den stabilen Rang

Die Autoren verlagern den Fokus von der Architekturgestaltung hin zur Optimierungsdynamik und nutzen das Konzept des stabilen Rangs als vereinende Metrik.

2.1 Theoretischer Rahmen

Das Paper stellt eine linear-algebraische Verbindung zwischen Aktivierungen und Gewichtsaktualisierungen her. Für eine Schicht $l$ ist der Gradient bezüglich der Gewichte definiert als das äußere Produkt des Upstream-Gradienten und der Input-Aktivierungen: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Rang-Beschränkung: Der Zeilenraum der Gewichtsaktualisierung ist enthalten im Span der Batch-Aktivierungen ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Degradation: In koordinatenbasierten Netzwerken liegen die Input-Aktivierungen oft in niedrigdimensionalen Unterräumen. Während Signale durch die Schichten propagieren, können Nichtlinearitäten den Rang lokal erhöhen, aber ohne spezifische Interventionen neigt das Netzwerk dazu, auf progressiv niedrigerdimensionalen Unterräumen zu operieren, was zu einem „Rang-Kollaps“ führt.
• Stabiler Rang: Die Autoren verwenden den stabilen Rang, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, um die effektive Dimensionalität dieser Aktualisierungen zu quantifizieren. Ein niedriger stabiler Rang deutet darauf hin, dass die Aktualisierung auf wenige singuläre Richtungen konzentriert ist, was die Fähigkeit des Netzwerks einschränkt, hochfrequente Details zu lernen.

2.2 Reinterpretation bestehender Interventionen

Die Autoren interpretieren gängige architektonische Modifikationen durch diese Linse neu:

• Input-Ebene (z. B. Fourier-Features): Diese erweitern die Input-Batch-Matrix $H_0$ und erhöhen damit die obere Schranke des stabilen Rangs der ersten Schicht-Aktualisierung.
• Aktivierungs-Ebene (z. B. SIREN, BatchNorm): Diese zielen darauf ab, den Span der Aktivierungen $H_l$ durch das gesamte Netzwerk aufrechtzuerhalten und so zu verhindern, dass der Rang mit zunehmender Tiefe abnimmt.

2.3 Lösungsvorschlag: Der Muon-Optimizer

Das Paper schlägt vor, dass die direkteste Abhilfe auf der Optimizer-Ebene erfolgen muss. Sie führen Muon ein, einen orthogonalisierenden Optimizer, der explizit eine Isotropie in den Gradienten-Updates erzwingt.

• Mechanismus: Für eine Gewichts-Update-Matrix $U$ bildet Muon diese auf die nächstgelegene semi-orthogonale Matrix $Ortho(U)$ ab (via Newton-Schulz-Iteration, welche die SVD approximiert). Dies erzwingt, dass das Update gleichmäßig über alle singulären Richtungen verteilt wird, wodurch der stabile Rang des Updates auf $\min(d_l, d_{l+1})$ maximiert wird.
• Implementierung: Muon wird auf die Gewichtsmatrizen der verborgenen Schichten angewendet, während der Standard-Adam für Biases und Input-/Output-Parameter beibehalten wird, um Stabilität und Effizienz zu gewährleisten. Dieser Ansatz ist modellagnostisch und operiert auf den tatsächlichen pro Schritt berechneten Gradienten.

3. Kernbeiträge

1. Stabiler Rang als vereinende Metrik: Das Paper schlägt den stabilen Rang als Schlüsselmaß für die Ausdrucksstärke in INRs vor und argumentiert, dass die Rangdegradation während des Trainings und nicht architektonische Limitationen die primäre Ursache für den Niederfrequenz-Bias in Vanilla-MLPs ist.
2. Vereinheitlichender Rahmen: Es bietet ein Framework, das die Wirksamkeit diverser architektonischer Modifikationen (Koordinaten-Embeddings, alternative Aktivierungen) als Methoden zur Erhöhung oder Erhaltung des stabilen Rangs erklärt.
3. Muon Optimizer: Die Autoren schlagen Muon vor, einen orthogonalisierenden Optimizer, der den Rang-Kollaps explizit verhindert und somit ein natürliches Heilmittel für das Lernen hochfrequenter Signale darstellt, ohne dass architektonische Änderungen erforderlich sind.
4. Empirische Validierung: Umfangreiche Experimente zeigen, dass Muon die Performance über alle getesteten Architekturen (ReLU MLPs, SIREN, FINER, etc.) und Modalitäten (Bilder, Audio, 3D-Formen, medizinische CT, NeRFs) hinweg signifikant verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Muon gegenüber Adam (und Lion) in vier Domänen:

• Bild-Overfitting (Kodak Datensatz):

  • Muon verbesserte den PSNR von Vanilla-ReLU-MLPs um ~7–8 dB (von ~22,8 auf ~30,0 dB) und brachte sie damit auf das Niveau von Fourier-Feature-Netzwerken (FFNs), die mit Adam trainiert wurden.
  • Signifikante Gewinne (2–4 dB) wurden auch für Gaussian MLPs, SIREN und FINER beobachtet.
  • Die Analyse des stabilen Rangs zeigte, dass Muon einen hohen Rang in den verborgenen Schichten beibehält, während Adam und Lion einen signifikanten Rang-Kollaps aufweisen.

• Audio-Overfitting:

  • Muon erreichte ein wesentlich höheres Signal-Rausch-Verhältnis (SNR) über alle Architekturen hinweg. Für ein ReLU FFN verbesserte sich das SNR um +12,5 dB.
  • Vanilla-ReLU-MLPs scheiterten bei der Rekonstruktion langer Audioclips mit Adam, aber mit Muon gelang dies (auf kürzeren Segmenten), was darauf hindeutet, dass das Scheitern auf Optimierungsinstabilität und nicht auf Kapazitätsgrenzen zurückzuführen war.

• Signed Distance Fields (SDF):

  • Auf den Datensätzen Armadillo und Thai Statue reduzierte Muon die Chamfer-Distanz und verbesserte den IoU, insbesondere bei kleinen Architekturen (8x32).

• Inverse Probleme:

  • CT-Rekonstruktion: Muon verbesserte den PSNR für ReLU-MLPs in der Sparse-View-CT-Rekonstruktion um bis zu +7 dB, wodurch Artefakte in heterogenen Strukturen reduziert wurden.
  • Single Image Super-Resolution (SISR): Muon machte ReLU-FFNs besonders effektiv und übertraf in einigen Metriken Architekturen mit starkem Hochfrequenz-Bias (wie FINER), was wahrscheinlich auf den vorteilhaften Niederfrequenz-Bias von ReLU kombiniert mit orthogonalen Updates zurückzuführen ist.
  • Neural Radiance Fields (NeRF): Muon reduzierte Rekonstruktionsartefakte und verbesserte den PSNR um bis zu +9 dB bei synthetischen Szenen (z. B. Chair, Hotdog), was zu treueren Szenenrekonstruktionen führte.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Optimierung eine dritte, untererforschte Achse des INR-Designs ist, die komplementär zu Interventionen auf Input- und Aktivierungsebene steht.

• Herausforderung des architektonischen Determinismus: Die Ergebnisse stellen die Wahrnehmung in Frage, dass architektonische Änderungen der primäre Treiber für die Leistung von INRs sind. Die Autoren zeigen, dass allein die Optimierung die Modelltreue signifikant beeinflussen kann, wodurch einfache ReLU-MLPs in die Lage versetzt werden, hochfrequente Signale mit hoher Fidelität zu repräsentieren.
• Additive Effekte: Das Paper argumentt, dass Interventionen auf der Input-Ebene, der Aktivierungsebene und der Optimierungsebene auf unterschiedlichen, komplementären Achsen wirken. Die Kombination dieser Ansätze (z. B. Muon mit Fourier-Features) liefert die treuesten Rekonstruktionen.
• Praktische Auswirkungen: Durch die Verwendung von Muon können Praktiker hochfidele Ergebnisse mit einfacheren, robusteren Architekturen (wie ReLU-MLPs) erzielen, die weniger anfällig für die oft bei hochgradig expressiven, spezialisierten Netzwerken beobachteten oszillierenden Muster sind.

6. Limitationen

Die Autoren räumen mehrere Limitationen ein:

• Ziel-Rang: Das Framework des stabilen Rangs dient als Diagnosewerkzeug, sagt aber keinen optimalen Ziel-Rang voraus. In einigen schlecht gestellten inversen Problemen kann ein niedrigerer induzierter stabiler Rang als vorteilhafter impliziter Regularisierer wirken.
• Approximation: Muon verwendet die Newton-Schulz-Approximation zur Orthogonalisierung. Das Paper untersucht die Auswirkungen dieser Approximation nicht tiefgreifend und betrachtet Muon eher als einen Punkt in einem breiteren Designraum denn als eine endgültige optimale Lösung.
• Tuning-Komplexität: Muon führt zusätzliche Komplexität beim Tuning der Lernraten-Schedules ein (getrennte Raten für Muon und die Hilfs-Adam-Parameter).
• Expressivität-Lücke: Obwohl Muon die Lücke verringert, bleibt ein mit Muon trainiertes ReLU-MLP in allen Settings weniger expressiv als spezialisierte Architekturen wie SIREN oder FINER.