OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

Résumé technique : OUI en tant qu'observable structurel

Énoncé du problème
Les diagnostics actuels de l'entraînement des réseaux de neurones reposent fortement sur des métriques externes telles que la perte, la précision et l'étalonnage final. Ces métriques sont souvent retardées, compressant le récit interne de l'entraînement, et échouent à révéler les régimes structurels spécifiques qu'un modèle traverse durant le processus d'apprentissage. Bien que les fonctions d'activation soient la source du pouvoir expressif d'un réseau — permettant la partition de l'espace d'entrée en régions fonctionnelles distinctes via des motifs d'activation —, les diagnostics standards surveillent rarement l'évolution de ces structures internes. Ce fossé conduit à des recherches d'hyperparamètres coûteuses, à une détection tardive des défaillances et à un manque d'interprétabilité concernant la dynamique de l'entraînement.

Méthodologie et définition
L'article se concentre sur l'Indicateur de Surapprentissage–Sous-apprentissage (OUI), redéfini ici comme un observable structurel de la dynamique d'apprentissage. Les auteurs adoptent une formulation par lots (Fernández-Hernández et al., 2026) pour surveiller l'entraînement en ligne :

1. Masquage d'activation : Pour une couche $l$ avec $d_l$ unités et un lot $B_t$, un masque binaire $m^{(l)}_{b,n}(t)$ est défini pour chaque neurone $n$ et échantillon $x_b$, indiquant si la préactivation est positive.
2. Comptage d'activation : Pour chaque neurone, le nombre $s^{(l)}_n(t)$ d'échantillons actifs dans le lot est calculé.
3. Comptage minoritaire : La métrique $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$ est calculée. Cette valeur est élevée lorsqu'un neurone divise le lot de manière équilibrée et faible lorsque le neurone est constamment activé ou désactivé (biaisé).
4. Calcul de l'OUI : L'OUI pour le module est la moyenne de ces comptages minoritaires normalisée par $\lfloor B/2 \rfloor$.

Opérationnellement, un OUI élevé indique que de nombreuses unités partitionnent le lot de sondage de manière équilibrée, reflétant une structure d'activation interne riche. Un OUI faible suggère que le module est devenu biaisé, les unités se comportant de manière uniforme face aux entrées.

Résultats clés et preuves
L'article synthétise des preuves issues de trois domaines distincts pour démontrer l'utilité de l'OUI en tant que signal précoce et sans étiquette :

• Apprentissage supervisé (Régularisation) : Dans les expériences DenseNet-BC-100 sur CIFAR-100, les trajectoires de l'OUI se sont séparées précocement (vers 15 % de l'entraînement) pour différentes valeurs de decay des poids. Des valeurs élevées d'OUI ont corrélé avec une meilleure généralisation, tandis que des valeurs faibles ont anticipé des régimes de sous-apprentissage ou de surapprentissage avant que les métriques de validation standard ne puissent les distinguer.
• Apprentissage par renforcement (Acteur-Critique PPO) : Reformulé pour PPO, l'OUI a réussi à discriminer entre des régimes de taux d'apprentissage tôt dans l'entraînement. Crucialement, l'article observe une asymétrie structurelle : les critiques optimaux occupent une bande d'OUI intermédiaire, tandis que les acteurs performants tendent à opérer à des valeurs d'OUI plus élevées. Cela suggère que le régime structurel « bon » dépend du contexte.
• Convergence des motifs d'activation : Citant des travaux récents (Pérez-Corral et al., 2026), l'article note que les motifs d'activation se stabilisent souvent bien avant les mises à jour des paramètres. Lors de l'entraînement de ViT-B16, les métriques de convergence des motifs d'activation ont saturé alors que la perte continuait de s'améliorer, soutenant une vision à deux échelles de temps où les réseaux affinent les poids au sein de régimes d'activation stables.

Contributions
La contribution principale de cet article n'est pas un nouvel algorithme, mais un recadrage conceptuel et une synthèse des preuves existantes :

1. Observable structurel : L'article soutient que l'OUI devrait être compris comme le premier observable pratique de la dimension structurelle interne de l'apprentissage, plutôt que comme une simple heuristique pour le réglage des hyperparamètres.
2. Vision centrée sur l'activation : Il propose une « théorie centrée sur l'activation de la dynamique d'entraînement », postulant que les structures d'activation internes deviennent informatives et actionnables avant la convergence, offrant une dimension de l'entraînement non capturée par les métriques de point final.
3. Synthèse des preuves : Il unifie les découvertes à travers l'apprentissage supervisé, l'apprentissage par renforcement et le contrôle en ligne pour montrer un motif récurrent : les observables basés sur l'activation peuvent révéler le destin d'une session d'entraînement précocement.
4. Orientation de la recherche : Il identifie les questions ouvertes nécessaires pour faire avancer cette vision, notamment la « structure de phase » de l'entraînement (organisation structurelle précoce vs affinage tardif), l'« adéquation » des régimes d'activation par rapport à des rôles et tâches spécifiques, et la connexion théorique entre ces observables et les notions formelles de stabilité et de généralisation.

Signification et affirmations
L'article affirme que considérer l'OUI comme un observable structurel déplace la perspective de l'entraînement du suivi de résultats externes retardés vers le suivi de l'organisation structurelle interne. Cela a des implications pratiques immédiates pour le dépistage précoce dans le pré-entraînement de modèles fondamentaux, où les défaillances en phase tardive sont coûteuses. De plus, cela suggère un changement dans le contrôle fonctionnel, permettant de réguler l'entraînement par des signaux plus proches de ce que le réseau fait fonctionnellement aux données, plutôt que de ce que l'optimiseur fait aux paramètres.

Les auteurs maintiennent une position modeste, reconnaissant que l'OUI est actuellement une « prise empirique » vers une théorie plus large. Ils notent des limitations, telles que la définition naturelle de l'OUI pour des motifs de type ReLU et le risque de confusions par boucle de rétroaction s'il est utilisé comme signal de contrôle en ligne. L'article conclut que si le passage de la vision des activations comme sous-produits cachés à celle d'objets explicites d'étude se confirme, une théorie centrée sur l'activation de l'entraînement devient une étape nécessaire pour comprendre comment les réseaux de neurones apprennent.