Résumé Technique : Optimiser le Rang pour les Représentations Neurales Implicites à Haute Fidélité

1. Énoncé du Problème

Les représentations neurales implicites (INR) sont devenues un cadre polyvalent pour modéliser diverses modalités de signaux, incluant les formes, les images, les scènes et les données médicales. Cependant, les perceptrons multicouches (MLP) classiques avec des activations ReLU standards sont largement considérés comme souffrant d'un « biais spectral », une limitation architecturale intrinsèque qui les empêche de représenter efficacement les contenus à haute fréquence.

Par conséquent, le domaine s'est largement concentré sur des interventions architecturales pour surmonter ce biais, telles que les plongements de coordonnées (par exemple, les caractéristiques de Fourier) et les fonctions d'activation spécialisées (par exemple, SIREN, WIRE). Bien que ces méthodes améliorent l'expressivité, elles introduisent de nouveaux défis : les architectures hautement expressives manquent souvent de régularisation implicite, ce qui conduit à des motifs oscillatoires dans les problèmes inverses mal posés, tandis que les architectures biaisées vers les basses fréquences peuvent échouer à capturer les détails fins.

Cet article remet en question la notion prédominante selon laquelle le biais de basse fréquence est un défaut architectural inhérent. Au lieu de cela, les auteurs soutiennent qu'il s'agit d'un symptôme d'une dégradation du rang stable pendant l'entraînement. Ils postulent que l'incapacité des MLP classiques à ajuster les signaux à haute fréquence provient de l'effondrement de la dimensionnalité effective des mises à jour de poids, plutôt que de l'architecture du réseau elle-même.

2. Méthodologie : Une Perspective de Rang Stable

Les auteurs déplacent l'attention de la conception architecturale vers la dynamique d'optimisation, en utilisant le concept de rang stable comme une métrique unificatrice.

2.1 Cadre Théorique

L'article établit un lien algébrique linéaire entre les activations et les mises à jour de poids. Pour une couche $l$, le gradient par rapport aux poids est défini comme le produit extérieur du gradient amont et des activations d'entrée : $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Contrainte de Rang : L'espace ligne de la mise à jour du poids est contenu dans l'espace engendré par les activations par lots ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Dégradation : Dans les réseaux basés sur les coordonnées, les activations d'entrée résident souvent dans des sous-espaces de faible dimension. À mesure que les signaux se propagent à travers les couches, les non-linéarités peuvent localement augmenter le rang, mais sans interventions spécifiques, le réseau tend à opérer sur des sous-espaces de dimension progressivement plus faible, menant à un « effondrement de rang ».
• Rang Stable : Les auteurs utilisent le rang stable, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, pour quantifier la dimensionnalité effective de ces mises à jour. Un faible rang stable indique que la mise à jour est concentrée dans quelques directions singulières, limitant la capacité du réseau à apprendre des détails à haute fréquence.

2.2 Réinterprétation des Interventions Existantes

Les auteurs réinterprètent les modifications architecturales courantes à travers ce prisme :

• Au niveau de l'entrée (ex: Caractéristiques de Fourier) : Celles-ci étendent la matrice de lot d'entrée $H_0$, augmentant la limite supérieure du rang stable de la mise à jour de la première couche.
• Au niveau de l'activation (ex: SIREN, BatchNorm) : Celles-ci visent à maintenir l'espace engendré par les activations $H_l$ à travers le réseau, empêchant le rang de diminuer avec la profondeur.

2.3 Solution Proposée : L'Optimiseur Muon

L'article propose que le remède le plus direct consiste à intervenir au niveau de l'optimiseur. Ils introduisent Muon, un optimiseur d'orthogonalisation conçu pour imposer explicitement l'isotropie dans les mises à jour de gradient.

• Mécanisme : Pour une matrice de mise à jour de poids $U$, Muon la transforme en la matrice semi-orthogonale la plus proche $Ortho(U)$ (via l'itération de Newton-Schulz, approximant la SVD). Cela force la mise à jour à être distribuée uniformément à travers toutes les directions singulières, maximisant le rang stable de la mise à jour à $\min(d_l, d_{l+1})$.
• Implémentation : Muon est appliqué aux matrices de poids des couches cachées, tandis qu'Adam standard est conservé pour les biais et les paramètres d'entrée/sortie afin de maintenir la stabilité et l'efficacité. Cette approche est agnostique au modèle et opère sur les gradients réels par étape.

3. Contributions Clés

1. Le Rang Stable comme Métrique Unificatrice : L'article propose le rang stable comme une mesure clé de l'expressivité dans les INR, arguant que la dégradation du rang pendant l'entraînement, et non les limitations architecturales, est la cause principale du biais de basse fréquence dans les MLP classiques.
2. Cadre Unificateur : Il fournit un cadre qui explique l'efficacité des diverses modifications architecturales (plongements de coordonnées, activations alternatives) comme des méthodes pour augmenter ou préserver le rang stable.
3. Optimiseur Muon : Les auteurs proposent Muon, un optimiseur d'orthogonalisation qui empêche explicitement l'effondrement du rang, servant de remède naturel pour l'apprentissage de signaux à haute fidélité sans nécessiter de changements architecturaux.
4. Validation Empirique : Des expériences approfondies démontrent que Muon améliore significativement les performances à travers toutes les architectures testées (MLP ReLU, SIREN, FINER, etc.) et les modalités (images, audio, formes 3D, scanner médical, NeRF).

- 4. Résultats Expérimentaux

Les auteurs ont évalué Muon par rapport à Adam (et Lion) à travers quatre domaines :

• Surapprentissage d'Images (Jeu de données Kodak) :

  • Muon a amélioré le PSNR des MLP ReLU classiques d'environ 7 à 8 dB (passant de ~22,8 à ~30,0 dB), les mettant au niveau des réseaux de caractéristiques de Fourier (FFN) entraînés avec Adam.
  • Des gains significatifs (2 à 4 dB) ont également été observés pour les MLP Gaussiens, SIREN et FINER.
  • L'analyse du rang stable montre que Muon maintient un rang élevé dans les couches cachées, alors qu'Adam et Lion présentent un effondrement de rang significatif.

• Surapprentissage Audio :

  • Muon a obtenu un rapport signal sur bruit (SNR) nettement plus élevé pour toutes les architectures. Pour un FFN ReLU, le SNR s'est amélioré de +12,5 dB.
  • Les MLP ReLU classiques ont échoué à reconstruire de longs clips audio avec Adam mais ont réussi avec Muon (sur des segments plus courts), suggérant que l'échec était dû à l'instabilité de l'optimisation plutôt qu'à des limites de capacité.

• Champs de Distance Signés (SDF) :

  • Sur les jeux de données Armadillo et Thai Statue, Muon a réduit la distance de Chamfer et amélioré l'IoU, particulièrement pour les petites architectures (8x32).

• Problèmes Inverses :

  • Reconstruction CT : Muon a amélioré le PSNR jusqu'à +7 dB pour les MLP ReLU dans la reconstruction CT à faible nombre de vues, réduisant les artefacts dans les structures hétérogènes.
  • Super-Résolution d'Image Unique (SISR) : Muon a rendu les FFN ReLU particulièrement efficaces, surpassant des architectures dotées de forts biais de haute fréquence (comme FINER) dans certains indicateurs, probablement grâce au biais de basse fréquence bénéfique de ReLU combiné à des mises à jour orthogonales.
  • Neural Radiance Fields (NeRF) : Muon a réduit les artefacts de reconstruction et amélioré le PSNR jusqu'à +9 dB sur des scènes synthétiques (ex: Chair, Hotdog), produisant des reconstructions de scènes plus fidèles.

5. Signification et Revendications

L'article affirme que l'optimisation est un troisième axe, sous-exploré, de la conception des INR, complémentaire aux interventions au niveau de l'entrée et de l'activation.

• Contester le Déterminisme Architectural : Les résultats contestent la perception selon laquelle les changements architecturaux sont le principal moteur de la performance des INR. Les auteurs démontrent que l'optimisation seule peut impacter de manière significative la fidélité du modèle, permettant aux simples MLP ReLU de représenter des signaux à haute fréquence avec une haute fidélité.
• Effets Additifs : L'article soutient que les interventions au niveau de l'entrée, de l'activation et de l'optimisation agissent sur des axes distincts et complémentaires. Les combiner (ex: utiliser Muon avec les caractéristiques de Fourier) produit les reconstructions les plus fidèles.
• Impact Pratique : En utilisant Muon, les praticiens peuvent obtenir des résultats de haute fidélité avec des architectures plus simples et plus robustes (comme les MLP ReLU) qui sont moins sujettes aux motifs oscillatoires souvent observés dans les réseaux spécialisés hautement expressifs.

6. Limites

Les auteurs reconnaissent plusieurs limites :

• Rang Cible : Le cadre du rang stable sert de diagnostic mais ne prédit pas un rang cible optimal. Dans certains problèmes inverses mal posés, un rang stable induit plus faible peut agir comme un régularisateur implicite bénéfique.
• Approximation : Muon utilise l'approximation de Newton-Schulz pour l'orthogonalisation. L'article n'étudie pas profondément les implications de cette approximation, considérant Muon comme un point dans un espace de conception plus large plutôt que comme une solution finale optimale.
• Complexité de Réglage : Muon introduit une complexité de réglage supplémentaire concernant les programmes de taux d'apprentissage (taux distincts pour Muon et les paramètres auxiliaires d'Adam).
• Écart d'Expressivité : Bien que Muon réduise l'écart, un MLP ReLU entraîné avec Muon reste moins expressif qu'une architecture spécialisée comme SIREN ou FINER dans tous les contextes.