Résumé technique : Comment l'augmentation de données façonne les représentations neuronales

Énoncé du problème

Bien que l'augmentation de données (DA) soit une technique fondamentale pour améliorer la généralisation des réseaux de neurones profonds, les mécanismes spécifiques par lesquels différentes stratégies d'augmentation modifient la géométrie des représentations internes apprises restent mal compris. Les pratiques actuelles reposent souvent sur des heuristiques ou des recherches basées sur la performance pour régler les hyperparamètres d'augmentation (par exemple, l'intensité, la probabilité, l'étendue spatiale). Cependant, des combinaisons distinctes de ces hyperparamètres peuvent produire des précisions de tâche quasi identiques, ce qui suggère que les métriques de performance standards masquent des différences significatives dans la façon dont les modèles apprennent à représenter les données.

Les auteurs posent plusieurs questions clés :

1. Les méthodes de DA déplacent-elles les représentations le long de trajectoires bien définies lorsque les hyperparamètres varient ?
2. Les types d'augmentation distincts (par exemple, rotation par rapport à recadrage) sculptent-ils les calculs des couches cachées de manière fondamentalement différente, ou leurs effets sont-ils redondants ?
3. La diversité géométrique des représentations peut-elle prédire les gains fonctionnels obtenus lors de l'assemblage de modèles entraînés avec différentes augmentations ?
4. Comment les changements induits par l'augmentation se comparent-ils en magnitude à la variabilité introduite par l'initialisation aléatoire des poids ?

Méthodologie

L'article propose un cadre géométrique pour analyser les représentations neuronales en les intégrant dans un espace de formes riemannien. Cette approche traite les motifs d'activation des couches cachées comme des nuages de points (repères) dans un espace de haute dimension et analyse leur géométrie indépendamment des transformations linéaires arbitraires.

1. Distance de forme riemannienne

Pour comparer les représentations $X^A_\ell$ et $X^B_\ell$ de deux réseaux (entraînés avec différentes stratégies de DA ou hyperparamètres) sur un ensemble de $M$ images de sonde propres, les auteurs définissent une métrique de distance invariante par translation, mise à l'échelle, rotation et réflexion.

• Prétraitement : Les réponses neuronales sont centrées et remises à l'échelle pour former une norme unitaire afin d'obtenir des « pré-formes » ($Z_i$).
• Alignement : La distance est calculée en trouvant la transformation orthogonale optimale $O \in O(N)$ qui aligne les pré-formes.
• Métrique : La distance de forme riemannienne $\rho(X_i, X_j)$ est définie comme la distance géodésique sur l'hypersphère des pré-formes :
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  Cette métrique traite deux représentations comme équivalentes si leurs nuages de points peuvent être superposés via des transformations rigides et une mise à l'échelle, impliquant qu'elles portent les mêmes informations décodables linéairement.

2. Analyse des trajectoires

Le cadre conceptualise les changements progressifs de l'intensité de l'augmentation comme un mouvement le long de chemins lisses (géodésiques) sur la variété des formes.

• Angles géodésiques : L'angle entre deux trajectoires originant d'une forme de référence (sans augmentation) est calculé en utilisant des vecteurs tangents dans la variété des formes. Cela quantifie la similarité directionnelle de la façon dont différentes augmentations remodèlent les représentations.
• Déplacement des repères : Les auteurs analysent les vecteurs de déplacement spécifiques ($\Delta z_\mu$) des images de sonde individuelles (repères) entre les représentations alignées. Cela révèle quelles entrées spécifiques sont le plus déformées par une augmentation donnée et comment ces déformations varient à travers les couches du réseau.

3. Configuration expérimentale

• Modèles : ResNet-18 et Vision Transformers (ViT).
• Jeu de données : CIFAR-10 (avec des exemples de fine-tuning sur ImageNet dans l'annexe).
• Augmentations : Un spectre de méthodes incluant le bruit gaussien, le Patch Gaussian (type CutOut), la rotation, le cisaillement, le jitter de couleur, le niveaux de gris et le recadrage aléatoire, appliqués à des magnitudes variables.
• Évaluation : Les représentations ont été collectées à partir de couches cachées (par exemple, couche 2, avgpool) pour 10 000 images de test propres.

Résultats clés

1. Trajectoires structurées dans l'espace des formes

Les auteurs démontrent que l'augmentation de l'intensité de l'augmentation guide les représentations le long de trajectoires bien comportées et structurées dans l'espace des formes, mais pas dans l'espace euclidien naïf.

• Nécessité de l'alignement : Sans alignement orthogonal, les matrices de distance et les visualisations MDS-PCA ne montrent aucune organisation cohérente par rapport aux paramètres d'augmentation. Avec l'alignement, des trajectoires claires et lisses émergent où la distance corrèle avec la magnitude de l'augmentation.
• Prévisibilité : Des modèles de régression linéaire peuvent prédire avec précision les hyperparamètres d'augmentation (par exemple, l'écart-type du bruit $\sigma$, la taille du patch $C$) à partir des représentations de forme alignées des images propres, confirmant que les représentations sont organisées systématiquement par rapport aux paramètres de DA.

2. Magnitude du changement : DA par rapport à la graine aléatoire

L'étude compare l'échelle du changement de représentation induit par la DA à la variabilité causée par différentes graines aléatoires.

• Unités naturelles : En définissant $D_{aug}$ (distance due à la DA) et $D_{seed}$ (distance due à la graine), les auteurs identifient un point de transition. Pour de faibles intensités d'augmentation, $D_{aug} \approx D_{seed}$. À mesure que l'intensité augmente (par exemple, écart-type du bruit $s > 0.2$), $D_{aug}$ diverge et dépasse $D_{seed}$. Cela fournit une échelle d'« unités naturelles » pour déterminer quand les effets de la DA deviennent distinguables du bruit d'initialisation.

3. La diversité géométrique prédit les gains d'ensemble

Les différents types d'augmentation produisent des trajectoires distinctes dans l'espace des formes.

• Directions distinctes : Les cartes thermiques des angles géodésiques entre les trajectoires de différents types de DA (par exemple, rotation par rapport au bruit) montrent qu'elles déplacent les représentations dans des directions non redondantes.
• Corrélation d'ensemble : Il existe une forte corrélation positive entre l'angle géodésique entre deux trajectoires d'augmentation et le gain de précision obtenu en assemblant des modèles entraînés avec ces augmentations respectives. Les modèles entraînés avec des représentations géométriquement diverses (grands angles) produisent des améliorations d'ensemble plus importantes.

4. Déplacements de repères dépendants de la couche

L'analyse des déplacements de repères révèle que les effets de la DA ne sont pas uniformes à travers le réseau.

• Spécificité de la couche : Dans les premières couches (par exemple, couche 2 de ResNet-18), les repères les plus déplacés sont corrélés à des caractéristiques d'image de bas niveau (par exemple, bords diagonaux, arrière-plans lumineux). Dans les couches plus profondes (par exemple, avgpool), ces motifs sont moins évidents et les déplacements sont de dimension inférieure.
• Mécanisme : Cela suggère que la DA remodèle les représentations via des mécanismes spécifiques à la couche, atténuant ou amplifiant les caractéristiques de sous-ensembles d'images spécifiques en fonction du type d'augmentation et de la profondeur du réseau.

Importance et affirmations

L'article prétend fournir un outil principiel pour comprendre et comparer les méthodes d'augmentation de données à travers le prisme de la géométrie des représentations.

• Au-delà de la précision : Les auteurs soutiennent que les métriques de performance seules sont insuffisantes pour distinguer entre des protocoles d'entraînement qui produisent une précision similaire mais des représentations internes différentes. L'analyse de l'espace des formes révèle ces différences cachées.
• Cadre unifié : Le cadre offre un langage commun pour comparer des modèles entraînés avec différents hyperparamètres, architectures ou graines d'initialisation en utilisant des outils de géométrie différentielle.
• Utilité pratique : Les résultats suggèrent que l'analyse des trajectoires dans l'espace des formes peut guider :
  • Recherche d'hyperparamètres : Identifier les régimes où les effets de la DA sont significatifs.
  • Construction d'ensemble : Sélectionner des stratégies d'augmentation qui maximisent la diversité géométrique pour améliorer les performances de l'ensemble.
  • Interprétabilité : Comprendre comment des augmentations spécifiques déforment les représentations couche par couche via l'analyse des déplacements de repères.

Les auteurs limitent explicitement leur portée à la classification d'images, aux méthodes classiques de DA et à l'analyse a posteriori d'images de sonde fixes, notant que l'extension de cela aux politiques d'augmentation apprises ou aux dynamiques d'entraînement constitue un travail futur. Ils reconnaissent également le coût computationnel de la distance de forme riemannienne pour les représentations de haute dimension, nécessitant une réduction de dimensionnalité dans la pratique.