Résumé Technique : Centroïde de l'Énergie Spectrale pour les Représentations Neuronales Implicites

Énoncé du Problème

Les Représentations Neuronales Implicites (RNI) utilisent des perceptrons multicouches (MLP) pour modéliser des signaux continus, offrant des représentations compactes et différentiables pour des tâches telles que la modélisation de scènes et la reconstruction d'images. Cependant, les MLP standards présentent un « biais spectral », une tendance à apprendre plus rapidement les composantes de basse fréquence d'un signal que celles de haute fréquence. Ce biais entrave la capture des détails fins, nécessitant l'utilisation de mappages d'entrée à haute fréquence (embeddings) contrôlés par des hyperparamètres spécifiques (par exemple, $\omega_s$ dans Siren, $\sigma$ dans Fourier).

Le défi central identifié réside dans la difficulté de sélectionner les paramètres de fréquence d'embedding optimaux. Alors que des travaux antérieurs (par exemple, FreSh) ont tenté d'automatiser cela en alignant le spectre de sortie du modèle non entraîné avec l'image cible, ces heuristiques échouent à prendre en compte l'influence significative de l'architecture du modèle, en particulier sa profondeur. Les méthodes existantes supposent souvent que le biais spectral est statique à travers différentes tailles de modèles, conduisant à des configurations sous-optimales où les modèles plus profonds sont sous-configurés (recevant des fréquences trop basses pour leur capacité) et les modèles plus petits sont sur-configurés. De plus, la nature multidimensionnelle des spectres de fréquence complets les rend difficiles à utiliser pour une comparaison ou une optimisation directe.

Méthodologie

Pour pallier ces limitations, les auteurs introduisent le Centroïde de l'Énergie Spectrale (CES), une métrique scalaire conçue pour quantifier à la fois le contenu fréquentiel des images cibles et le biais spectral des modèles RNI.

1. Centroïde de l'Énergie Spectrale (CES)

Le CES est dérivé de la Transformée de Fourier Discrète (TFD) d'une image. Le processus implique :

• Calcul du Spectre d'Énergie : Calcul de la magnitude au carré des coefficients de Fourier et leur agrégation par fréquence radiale $r$ pour former un spectre d'énergie $E(A, r)$.
• Normalisation : Normalisation du spectre d'énergie pour créer une distribution de probabilité $\tilde{E}(A)$.
• Calcul du Centroïde : Calcul de la moyenne pondérée des fréquences sous cette distribution :
  $$CES(A) = \sum_{r=1}^{R} r \cdot \tilde{E}(A, r)$$
  Cela produit une seule valeur scalaire représentant la « fréquence moyenne » pondérée par la puissance du signal. Les auteurs utilisent cette métrique pour caractériser à la fois les images cibles et les sorties de modèles non entraînés (pour approximer leur biais spectral).

2. CES-Conf (Configuration Pilotée par les Données)

Les auteurs proposent CES-conf, une stratégie de sélection d'hyperparamètres qui exploite un petit ensemble de calibration.

• Calibration : Un ensemble d'images est utilisé pour trouver les paramètres de fréquence d'embedding optimaux via une recherche par grille. Ces paires (CES de l'Image, Paramètre Optimal) forment une table de recherche.
• Sélection : Pour une nouvelle image cible, son CES est calculé. Le paramètre optimal est récupéré en trouvant le plus proche voisin dans l'ensemble de calibration basé sur la valeur du CES.
• Raison d'être : Cette approche suppose que les images avec des scores CES similaires partagent des configurations optimales similaires pour une architecture donnée, apprenant ainsi efficacement la relation entre les propriétés spectrales et le comportement du modèle.

3. Appariement de Fréquence

Pour permettre des comparaisons équitables à travers diverses architectures RNI (par exemple, Siren, Fourier, Finer, Wire), les auteurs proposent l'Appariement de Fréquence. Cette méthode aligne le biais spectral d'un modèle cible avec celui d'un modèle de référence en trouvant le paramètre cible $F$ qui minimise la différence des valeurs CES :
$$Fit_{Ref}(F) = \arg \min_F |CES(Model_F) - CES(Ref_{F_{ref}})|$$
Cela permet aux chercheurs d'isoler les effets architecturaux des effets de réglage en s'assurant que les modèles commencent avec des biais spectraux comparables.

Contributions Clés

1. Quantification du Biais Spectral : L'article utilise le CES pour révéler une forte dépendance, précédemment négligée, entre la profondeur du modèle et le biais spectral. Les expériences montrent que lorsque la profondeur du modèle augmente, le biais spectral inhérent du modèle se déplace vers des fréquences plus élevées, nécessitant des paramètres d'embedding plus élevés pour maintenir des performances optimales.
2. Stratégie CES-conf : Une méthode robuste et pilotée par les données pour la configuration de la couche d'embedding qui surpasse les heuristiques existantes (comme FreSh) en tenant compte de la taille du modèle. Elle démontre des taux de réussite supérieurs dans l'identification des configurations optimales, en particulier pour les modèles plus grands.
3. CES comme Proxy de Complexité : Les auteurs valident le CES comme un proxy fiable de la complexité du signal, montrant une forte corrélation négative entre les valeurs CES et la qualité de reconstruction (PSNR). Des valeurs CES plus élevées (indiquant des textures complexes et des détails fins) correspondent à une performance de reconstruction plus faible.
4. Alignement Inter-Architectures : Un cadre pour aligner les biais spectraux à travers différentes architectures, démontrant que des modèles plus anciens ou standards peuvent égaler les performances de modèles plus récents (comme Finer) lorsque leurs biais spectraux sont correctement alignés.

Résultats Expérimentaux

Les auteurs ont évalué leur approche sur un ensemble de référence de 100 images provenant du jeu de données LIU4K-v2, couvrant quatre architectures (Siren, Fourier, Finer, Wire) et trois échelles de modèles (Petit, Moyen, Grand).

• Gains de Performance : CES-conf a constamment surpassé les défauts de base et l'heuristique FreSh. Par exemple, dans la configuration Siren Grande (G), CES-conf a atteint un PSNR de 34,49, contre 34,07 pour FreSh et 32,06 pour le défaut.
• Insights Architecturaux :
  • Profondeur vs Largeur : Le CES augmente significativement avec la profondeur du modèle, expliquant pourquoi FreSh (qui abaisse les fréquences pour les modèles plus profonds) échoue. À l'inverse, la largeur du modèle a un effet négligeable sur le biais spectral pour la plupart des architectures, suggérant que le passage à l'échelle de la largeur est plus prévisible.
  • Anomalie Wire : L'architecture Wire a présenté des valeurs CES extrêmement élevées pour toutes les tailles, corrélées à une mauvaise performance, suggérant que son biais de haute fréquence par défaut est préjudiciable.
• Précision : CES-conf a démontré une précision substantiellement supérieure dans la prédiction des paramètres optimaux par rapport à FreSh, en particulier pour les modèles plus grands où l'hypothèse de FreSh d'un biais statique conduit à des erreurs significatives.
• Alignement : Lorsque les modèles Siren et Fourier ont été appariés en fréquence à l'architecture Finer, ils ont atteint une parité de performance avec Finer dans des configurations à grande échelle, prouvant que l'avantage de Finer était partiellement dû à son biais spectral par défaut plus agressif plutôt qu'à une supériorité architecturale inhérente.

Signification et Revendications

L'article revendique que le CES fournit une « lentille plus claire » pour analyser le comportement des RNI, dépassant les limitations des heuristiques qui ignorent la profondeur architecturale. En réduisant le spectre de fréquence complexe à un seul scalaire interprétable, le CES facilite une compréhension plus profonde de la relation entre la complexité du signal, la capacité du modèle et la qualité de reconstruction.

Les auteurs soulignent que bien que CES-conf repose sur un ensemble de calibration hors ligne (contrairement à FreSh qui est sans données), ce compromis est nécessaire pour capturer la relation généralisable entre les propriétés spectrales et le comportement du modèle à travers diverses architectures et profondeurs. La valeur principale de ce travail ne réside pas seulement dans la stratégie de configuration spécifique, mais dans l'établissement du CES comme un outil fondamental pour les recherches futures sur le biais spectral et la conception des RNI.

Limitations Reconnues :

• Le CES est un résumé unidimensionnel ; des formes spectrales distinctes peuvent correspondre au même centroïde.
• CES-conf nécessite un coût initial pour générer un ensemble de calibration, tandis que FreSh fonctionne sur une seule image sans données préalables.
• La méthode suppose que des scores CES similaires impliquent des configurations optimales similaires, ce qui est une approximation.