Résumé Technique : Ce que les INR de Cohorte Encodent et Où les Geler

Énoncé du Problème

Les Représentations Neurales Implicites (INR) sont des perceptrons multicouches (MLP) basés sur des coordonnées qui apprennent des approximations fonctionnelles continues de signaux. Une limitation majeure des INR standards est que chaque réseau ajuste un seul signal à partir de zéro, avec des caractéristiques finement adaptées à la morphologie spécifique de ce signal. Cela entraîne des coûts d'optimisation élevés par signal. Des travaux récents, notamment STRAINER, tentent d'atténuer cela en entraînant une « cohorte » d'INR qui partagent les premières couches de l'encodeur tout en maintenant des décodeurs par signal. L'encodeur partagé est ensuite utilisé comme initialisation pour de nouveaux signaux.

Cependant, deux questions critiques restent sans réponse concernant ce paradigme d'apprentissage par transfert :

1. Quelles couches de l'encodeur partagé portent réellement des représentations transférables ?
2. Que codent ces couches spécifiques ?

Les protocoles STRAINER actuels mettent à jour chaque couche lors de l'ajustement au moment du test, empêchant l'isolement de la transférabilité par couche. De plus, bien que l'apprentissage par transfert en vision et en langue localise souvent les caractéristiques transférables dans les couches intermédiaires, il est incertain que cela s'applique aux INR, d'autant plus que les architectures dominantes comme SIREN et les MLP à caractéristiques de Fourier (FFMLP) encodent les positions de coordonnées via des mécanismes fondamentalement différents.

Méthodologie

Les auteurs proposent une approche diagnostique à double volet pour analyser les INR entraînés sur une cohorte sur trois jeux de données (CelebA-HQ, OASIS-MRI, Kodak) en utilisant deux architectures de base (SIREN et FFMLP).

1. Localisation des Représentations Transférables via le Rang Stable des Poids

Pour identifier quelles couches transfèrent le mieux, les auteurs introduisent un protocole de balayage de gel au moment du test. Au lieu de mettre à jour toutes les couches, ils gèlent l'encodeur jusqu'à une profondeur spécifique $\tau$ et réinitialisent les couches restantes ainsi que la tête du décodeur. Ils évaluent les performances (PSNR) de nouveaux signaux sur toutes les profondeurs de gel possibles.

Pour prédire la profondeur de gel optimale a priori, ils utilisent le rang stable des poids ($sr(W_\ell)$) des couches de l'encodeur entraîné. Contrairement au rang d'activation, qui dépend de la distribution d'entrée spécifique, le rang stable des poids est une propriété intrinsèque des poids appris, mesurant la dimensionnalité effective du sous-espace engendré par la matrice des poids. L'hypothèse est que la couche présentant le rang stable des poids le plus élevé représente la couche d'« embedding de coordonnées », qui apprend les informations structurelles les plus réutilisables au sein de la cohorte.

2. Caractérisation des Représentations Encodées via des Autoencodeurs Parsimonieux (SAE)

Pour déterminer ce que codent les couches transférables, les auteurs appliquent des Autoencodeurs Parsimonieux (SAE) aux activations cachées des encodeurs entraînés. Les SAE décomposent les activations denses en un dictionnaire surcomplet d'« atomes » parcimonieux.

• Architecture : Un SAE TopK avec $n=4096$ atomes et une parcimonie $k=32$ est ajusté aux activations de chaque couche cachée.
• Diagnostics :
  • Cartes d'Atomes : Visualisation des motifs de déclenchement spatiaux des atomes à travers le domaine des coordonnées.
  • Ablations d'Atome Unique : Suppression systématique d'atomes individuels (annulation de leur contribution) pour mesurer l'impact causal sur la reconstruction finale du signal (baisse du PSNR).

Résultats Clés

1. La Profondeur de Gel Optimale Coïncide avec le Rang Stable des Pics des Poids

Les expériences révèlent que la profondeur de gel optimale $\tau^\star$ correspond systématiquement à la couche présentant le rang stable des poids maximal dans l'encodeur entraîné sur la cohorte.

• SIREN : La profondeur de gel optimale est $\tau^\star = 1$. La première couche entraînable ($W_1$) agit comme un embedding positionnel émergent, atteignant le rang de poids le plus élevé.
• FFMLP : La profondeur de gel optimale est $\tau^\star = 0$. Puisque FFMLP utilise une projection de Fourier fixe avant la première couche entraînable, l'embedding se produit en externe, et la première couche entraînable ($W_0$) opère sur cette entrée de haut rang.
• Performance : Le gel à cette profondeur spécifique égale ou améliore considérablement la recette STRAINER standard (qui met à jour toutes les couches). Notamment, sur le jeu de données haute résolution Kodak, le protocole de gel génère des gains de +3,1 dB pour SIREN et +1,3 dB pour FFMLP en moyenne, car il empêche le modèle de gaspiller le budget d'optimisation limité au moment du test à réapprendre l'embedding de coordonnées.

2. Dictionnaires Qualitativement Différents : Localisation vs Mémorisation

Bien qu'atteignant une qualité d'ajustement à la cohorte comparable, SIREN et FFMLP apprennent des représentations internes fondamentalement différentes :

• SIREN (Localisé) : Les atomes SAE sont spatialement localisés, pavant le plan des coordonnées. Chaque atome se déclenche dans une région confinée, indépendamment du contenu spécifique de la cohorte. Cela suggère que SIREN apprend un code positionnel indépendant du contenu.
• FFMLP (Couvrant l'image/Mémorisé) : Les atomes couvrent l'image et sont diffus. Ils tracent les contours des signaux de la cohorte mémorisés (par exemple, les traits du visage dans CelebA, l'anatomie cérébrale dans OASIS). Le dictionnaire se concentre sur quelques atomes de forte magnitude qui couvrent de grandes portions de l'image.

3. Validation Causale par Ablation

Les ablations d'atome unique confirment le rôle causal de ces dictionnaires :

• SIREN : L'ablation d'un seul atome provoque des baisses de PSNR (2–3 dB) strictement confinées à la région spatiale où cet atome se déclenche. Les autres atomes compensent pour le reste de l'image.
• FFMLP : L'ablation d'un seul atome provoque une dégradation globale, avec des baisses de PSNR allant jusqu'à 10,6 dB sur l'ensemble de l'image. Cela indique que FFMLP repose sur quelques « super-atomes » pour reconstruire la structure globale du signal, mémorisant efficacement le contenu de la cohorte.

Importance et Revendications

L'article revendique fournir le premier compte rendu mécaniste de ce qui se transfère dans les INR entraînés sur une cohorte.

• Outil Diagnostique : La métrique du rang stable des poids offre une méthode calculable, sans données cibles, pour identifier la profondeur de couche transférable optimale, éliminant le besoin de balayages d'hyperparamètres.
• Interprétabilité : En décomposant les activations INR en atomes parcimonieux, les auteurs transforment des activations « boîte noire » en atomes de dictionnaire inspectables, révélant que SIREN encode une structure positionnelle réutilisable tandis que FFMLP encode du contenu mémorisé.
• Insight Architectural : Les résultats suggèrent que le choix architectural (SIREN vs FFMLP) dicte si le réseau apprend des priors structurels généralisables ou s'il surajuste aux signaux de la cohorte mémorisés.
• Direction Future : Ces outils ouvrent la voie à la caractérisation des encodages INR et à la conception d'architectures spécifiquement destinées à la généralisation plutôt qu'à la mémorisation.

Les auteurs notent des limites, notamment que l'analyse est actuellement restreinte aux architectures de base SIREN et FFMLP et ne caractérise pas encore le sens sémantique des atomes individuels (par exemple, bords, couleurs) ni n'explore le pilotage des reconstructions au-delà des ablations d'atome unique.