Résumé Technique : Les populations de neurones présentent une sélectivité divergente avec l'échelle

Énoncé du Problème

Bien que les lois d'échelle neuronales aient établi des relations prévisibles entre la taille du modèle et les observables macroscopiques (ex: la perte/loss), l'organisation interne des représentations au niveau des neurones reste mal comprise. Une question centrale en apprentissage profond et en neurosciences est la manière dont les neurones encodent la structure : si les représentations sont localisées dans des unités uniques ou distribuées à travers des populations, et comment ces structures évoluent avec la mise à l'échelle des modèles. Plus précisément, il n'est pas clair si les populations de neurones récurrentes entre modèles suivent des lois systématiques concernant leur taille, leur sélectivité (monosémanticité vs polysémanticité) et leur spécialisation.

Méthodologie

Les auteurs étudient ces questions en utilisant les Neurones Rosetta, une classe de neurones définie par Dravid et al. (2023) comme des unités dont les schémas d'activation réapparaissent à travers des modèles entraînés indépendamment. L'étude emploie la méthodologie suivante :

1. Identification des Neurones Rosetta :

   • Les auteurs analysent des modèles de langage basés sur les Transformers (Pythia, GPT-2, OPT, Qwen2.5 ; 80M–30B de paramètres) et des modèles de vision (OpenCLIP, DINOv2, Pixio, modèles de Diffusion ; 80M–5B de paramètres).
   • Ils alignent les activations par jeton (token-wise) à travers les modèles (en utilisant des frontières d'octets partagées pour le texte et des grilles spatiales rééchantillonnées pour les images).
   • Ils calculent les corrélations de Pearson par paires entre les neurones à travers les modèles et identifient les paires de plus proches voisins mutuels ($k=1$) comme étant des Neurones Rosetta. Cela permet de filtrer les correspondances asymétriques ou bruitées.

2. Analyse de Mise à l'Échelle (Scaling Analysis) :

   • Ils tracent le nombre de Neurones Rosetta découverts par rapport au nombre total de neurones dans le modèle pour dériver des lois d'échelle.
   • Ils comparent ces tendances à des lignes de base nulles (null baselines), incluant des réseaux aléatoires non entraînés et des jeux de données permutés en entrée, pour s'assurer que la mise à l'échelle est une propriété des représentations apprises plutôt qu'un artefact architectural.

3. Modélisation Analytique :

   • Les auteurs proposent un modèle d'allocation de capacité basé sur la théorie de la superposition (Elhage et al., 2022).
   • Le modèle suppose un spectre d'importance des caractéristiques suivant une loi de puissance ($w_r \propto r^{-\beta}$) où les caractéristiques entrent en compétition pour un nombre fini de coordonnées de neurones.
   • Il postule que les caractéristiques de haute importance sont allouées à une isolation "propre" (monosémanticité) pour réduire la perte, tandis que les caractéristiques de moindre importance restent en superposition (polysémanticité).
   • Le modèle déduit que le nombre de caractéristiques isolées détectables (Neurones Rosetta) devrait suivre une loi de puissance sous-linéaire ($N^{1/\beta}$) et prédit un Effet de Polarisation des Neurones.

4. Évaluation des Propriétés :

   • Sélectivité : Mesurée via la kurtosis de la projection dans l'espace du vocabulaire pour les modèles de langage et via des évaluations par un VLM-as-a-judge pour les modèles de vision.
   • Spécialisation : Analysée en catégorisant les contextes de haute activation des Neurones Rosetta (ex: code, mathématiques, prose générale) à travers différentes échelles de modèles.
   • Utilité : Une étude de cas filtre les données pour un pré-entraînement continué en utilisant un seul Neurone Rosetta pour récupérer un domaine spécifique (JavaScript).

Résultats Clés

1. Mise à l'échelle par loi de puissance sous-linéaire

À travers les modèles de langage et de vision, la population de Neurones Rosetta croît de manière prévisible avec la taille du modèle mais suit une loi de puissance sous-linéaire ($|R| \propto N^\alpha$ avec $\alpha \approx 0.5\text{--}0.7$).

• Implication : Bien que les modèles plus grands contiennent plus d'unités partagées en nombres absolus, ces unités occupent une fraction décroissante de la population totale de neurones.
• Validation : Cette tendance est absente dans les réseaux aléatoires non entraînés et les baselines de données permutées, confirmant qu'elle provient des représentations apprises.

2. L'Effet de Polarisation des Neurones

L'étude observe une divergence dans les propriétés des neurones à mesure que l'échelle augmente :

• Neurones Rosetta : Deviennent de plus en plus sélectifs et monosémantiques. Dans les modèles de langage, leurs projections dans l'espace du vocabulaire montrent une kurtosis excédentaire croissante ; dans les modèles de vision, les juges VLM les identifient plus fréquemment comme répondant à des caractéristiques visuelles cohérentes.
• Neurones Non-Rosetta : Restent moins sélectifs et deviennent de plus en plus polysémantiques, formant un arrière-plan encombré de caractéristiques mixtes.
• Alignement Théorique : Cela correspond à la prédiction du modèle analytique où la "frontière Rosetta" se déplace vers l'extérieur, isolant plus proprement les caractéristiques de haute importance, tandis que la queue des caractéristiques de moindre importance reste en superposition.

3. Spécialisation de Domaine

Les Neurones Rosetta tendent vers des domaines spécialisés avec l'échelle.

• Dans les modèles de langage, l'activation des Neurones Rosetta se concentre de plus en plus sur des catégories de textes spécialisées (ex: code, mathématiques) par rapport à leur fréquence dans le corpus d'entraînement.
• Ce changement n'est pas observé dans les neurones non-Rosetta, qui maintiennent des préférences stables de types de documents à travers les échelles.

4. Utilité Fonctionnelle dans le Filtrage de Données

Un seul Neurone Rosetta sélectif pour le JavaScript (identifié dans un modèle Pythia-6.9B) a été utilisé pour filtrer un corpus de code multilingue.

• Récupération : Le filtre a atteint un score F1 de 0.98 pour la récupération du sous-ensemble JavaScript de vérité terrain, égalant presque un oracle.
• Performance Aval : Le pré-entraînement continué sur les données filtrées a réduit la perplexité à 3.02, rejoignant presque la ligne de base de l'oracle (3.01) et surpassant significativement le filtrage aléatoire (3.59) ou le filtrage par neurone non-Rosetta (3.23).

Signification et Revendications

Le papier affirme établir une loi d'échelle pour la structure partagée et interprétable au niveau des neurones. Ses principales contributions sont :

1. Lier l'Échelle à la Structure Interne : Il démontre que la taille du modèle modifie systématiquement l'universalité, la sélectivité et la spécialisation des populations de neurones partagées, étendant les lois d'échelle au-delà des métriques de perte macroscopiques.
2. Mécanisme de Polarisation : Il fournit des preuves empiriques et théoriques d'un "Effet de Polarisation des Neurones", où la mise à l'échelle conduit à une séparation entre une population croissante de neurones partagés hautement sélectifs et un arrière-plan polysémantique.
3. Interprétabilité Pratique : Il montre que les Neurones Rosetta ne sont pas seulement des curiosités théoriques mais des unités fonctionnelles pouvant être utilisées pour des tâches ciblées comme le filtrage de données et la spécialisation de domaine sans entraînement auxiliaire ou concepts cibles.
4. Généralisabilité : Les conclusions s'appliquent à des architectures hétérogènes (Transformers, Diffusion Transformers) et des modalités (langage, vision), suggérant un principe fondamental dans la manière dont les réseaux de neurones organisent les représentations sous des contraintes de capacité.

Les auteurs concluent que les Neurones Rosetta servent d'observable traitable pour étudier la structure partagée interne, offrant un pont entre le comportement d'échelle macroscopique et l'organisation microscopique des représentations apprises.