Is Class Signal Clustered or Routed in Task-Induced Implicit Neural Representation Weight Spaces?

Résumé technique : Le signal de classe est-il regroupé ou acheminé dans les espaces de poids des représentations neuronales implicites induites par la tâche ?

Énoncé du problème
Les représentations neuronales implicites (INR) encodent les images sous forme de paramètres (poids) de réseaux de neurones, transformant la classification d'images en un problème de classifiabilité dans l'espace des poids. Une hypothèse géométrique prédominante suggère que les rétroactions du classificateur devraient organiser les poids spécifiques à une image en clusters distincts et alignés sur la classe au sein d'un espace de coordonnées partagé (spécifiquement, une coordonnée résiduelle par rapport à une initialisation partagée). Si cela est vrai, les propriétés géométriques brutes de ces poids (par exemple, la cohérence des plus proches voisins, la structure spectrale) devraient directement corréler avec la précision de classification. Cet article examine si les poids INR induits par la tâche sont intrinsèquement « regroupés » par classe dans leur géométrie native, ou si la classifiabilité est plutôt « acheminée » via le mécanisme de lecture en aval.

Méthodologie
Les auteurs utilisent le cadre Meta Weight Transformer (MWT), qui apprend par méta-apprentissage une initialisation partagée de SIREN (Sinusoidal Representation Network) et un calendrier de mise à jour en boucle interne. Dans ce régime, des SIREN spécifiques à une image sont ajustées via quelques étapes de gradient à partir d'un ancrage partagé $\theta$, produisant une coordonnée résiduelle $\Delta_x = \phi_x - \theta$. Un lecteur entraîné classe ensuite ces poids.

L'étude oppose deux hypothèses concurrentes :

1. Hypothèse du regroupement (Clustered) : L'information de classe est écrite directement dans la coordonnée ancrée. Par conséquent, les diagnostics géométriques exposés (cohérence des plus proches voisins, résumés de composants, statistiques spectrales) devraient suivre de manière monotone la précision du lecteur entraîné. Une pression de regroupement supervisée (par exemple, la perte Center Loss) devrait améliorer à la fois la géométrie locale et les performances du lecteur.
2. Hypothèse de l'acheminement (Routed) : L'information de classe existe dans les poids mais n'est pas organisée sous forme de simples clusters métriques dans la coordonnée brute. Au lieu de cela, le lecteur construit une géométrie alignée sur la classe via des interactions de jetons. La classifiabilité dépend de canaux spécifiques et acheminés au sein des jetons de poids augmentés, plutôt que d'une structure géométrique globale.

Les auteurs emploient une série de diagnostics et d'interventions :

• Écart Géométrie vs Précision : Ils mesurent la géométrie de coordonnée exposée (par exemple, la cohérence de classe des 5-NN) par rapport à la précision Top-1 du lecteur entraîné sous différentes pressions d'entraînement (regroupée vs non regroupée).
• Diagnostics de flux de jetons : Ils traquent les voisinages cohérents avec la classe depuis l'entrée du lecteur à travers les blocs transformateurs successifs pour identifier où la structure de classe devient lisible.
• Interventions causales : Ils ciblent des coordonnées spécifiques au sein du jeton augmenté, notamment l'entrée de biais SIREN ($b$), pour tester si elle sert de route de lecture causale.
• Contrôles de réponse fonctionnelle : Ils comparent le lecteur de poids à un « lecteur de réponse fonctionnelle » qui classe en fonction de sorties SIREN éparses sans accéder aux poids, afin d'exclure la possibilité que le lecteur exploite simplement la fonction réalisée plutôt que la géométrie des poids.

Résultats clés

1. L'écart Géométrie–Classifiabilité : La géométrie de coordonnée brute exposée ne prédit pas de manière fiable la précision du lecteur entraîné. Crucialement, l'application d'une « pression de regroupement » (pertes de compacité supervisées) améliore la cohérence du voisinage local (par exemple, la précision des 5-NN augmente) mais diminue la précision Top-1 du lecteur entraîné. Ce découplage réfute l'idée que le regroupement géométrique brut est le moteur principal de la classifiabilité.
2. Construction de la géométrie par le lecteur : Les voisinages alignés sur la classe ne sont pas présents à l'entrée du lecteur. Les diagnostics de flux de jetons montrent que la cohérence de classe des plus proches voisins n'augmente significativement que dans les états tardifs du lecteur (par exemple, le bloc $h^{(9)}$), indiquant que le lecteur construit activement des représentations alignées sur la classe plutôt que de les hériter de la coordonnée d'entrée.
3. La route de la colonne de biais : Les auteurs identifient la coordonnée de biais SIREN ($b$) au sein du jeton augmenté comme une route de lecture causale et compacte. Des interventions qui neutralisent ou mélangent la coordonnée $b$ entraînent des baisses significatives de précision (13,5 à 20,3 points de pourcentage), tandis que des interventions équivalentes sur les coordonnées de poids ($W$) ont des effets négligeables. La route de biais dépend de l'échantillon et se distingue des décalages positionnels appris.
4. Interventions non additives : Les interventions ciblant le mécanisme d'acheminement (par exemple, lecteurs de route de biais explicites, routage d'ajustement stochastique) surpassent souvent la ligne de base, mais leurs gains ne s'additionnent pas de manière additive. Cela suggère que les gains dépendent de l'état spécifique du lecteur et de l'interaction des routes, plutôt que d'être des améliorations modulaires indépendantes.
5. Limites de la réponse fonctionnelle : Un lecteur utilisant uniquement des réponses fonctionnelles éparses (sans accès aux poids) échoue à reproduire le classement de l'émetteur atteint par le lecteur de poids, confirmant que le lecteur de poids repose sur des structures spécifiques de jetons de poids (comme la route de biais) plutôt que simplement sur la sortie de la fonction.

Contributions clés

1. Formulation Regroupé-vs-Acheminé : L'article établit une distinction formelle entre la classifiabilité en tant que propriété géométrique héritée des poids et en tant que propriété construite du traitement des jetons par le lecteur.
2. Écart Géométrie–Classifiabilité : Il démontre que la structure de coordonnée exposée (même lorsqu'elle est forcée à être compacte) n'explique pas le comportement du lecteur entraîné, remettant en cause l'hypothèse selon laquelle l'apprentissage dans l'espace des poids repose sur une géométrie métrique brute.
3. Explication de l'acheminement par le lecteur : Il localise un mécanisme spécifique et visible par le lecteur (la colonne de biais SIREN) qui agit comme une route causale de faible dimension pour les signaux de classe, validée par des interventions et des contrôles ciblés.

Portée et affirmations
L'article conclut que dans les espaces de poids globaux SIREN induits par la tâche, les signaux de classe sont acheminés plutôt que regroupés. Les auteurs soutiennent que la structure de classe utilisable n'est pas une propriété intrinsèque des voisinages métriques bruts ou des sondes peu profondes dans la coordonnée native. Au contraire, le lecteur entraîné construit une géométrie alignée sur la classe via des interactions de jetons à un stade avancé, en utilisant des canaux spécifiques comme l'entrée de biais SIREN en tant que routes de lecture causales.

La portée réside dans le déplacement de l'attention de l'apprentissage dans l'espace des poids, passant de la recherche de clusters géométriques bruts à la compréhension des mécanismes de lecture. Les résultats suggèrent que les interventions devraient cibler les voies d'acheminement et les états du lecteur qui rendent l'information de classe utilisable, plutôt que de tenter de forcer une compacité géométrique brute dans les coordonnées de poids. Les auteurs restent modestes, notant que leurs affirmations sont spécifiques au régime MWT et aux espaces globaux SIREN induits par la tâche, et ne se généralisent pas nécessairement à toutes les architectures INR ou aux géométries d'espaces quotients.