Résumé technique : Têtes de prédiction d'étiquettes aléatoires pour l'étude de la mémorisation dans les réseaux de neurones profonds

Énoncé du problème

Les modèles modernes d'apprentissage profond sont caractérisés par un sur-paramétrage extrême, ce qui les rend enclins au surapprentissage (overfitting). Bien que des stratégies telles que l'augmentation de données et la régularisation explicite existent, elles traitent souvent des problèmes de généralisation pratique sans fournir de compréhension profonde des mécanismes du surapprentissage. Des découvertes récentes (par exemple, Zhang et al., 2021) démontrent que les modèles de pointe peuvent parfaitement ajuster des jeux de données avec des étiquettes assignées aléatoirement, indiquant une capacité à mémoriser des informations spécifiques aux échantillons et non pertinentes pour la tâche.

Une lacune critique subsiste dans la compréhension de la manière dont cette mémorisation interagit avec la généralisation dans les tâches réelles. La théorie traditionnelle assimile souvent le surapprentissage à la mémorisation, supposant que cette dernière est intrinsèquement préjudiciable. Cependant, des phénomènes comme la « double descente » et les observations concernant les distributions à longue traîne suggèrent une relation plus nuancée. De plus, les méthodes existantes manquent d'un mécanisme pour mesurer et moduler explicitement la mémorisation pendant l'entraînement standard sans altérer la performance de la tâche principale.

Méthodologie

Les auteurs proposent une approche hybride impliquant des têtes de prédiction d'étiquettes aléatoires (RLP-heads) pour sonder et régulariser la mémorisation.

1. Architecture et mécanisme

• RLP-Head : Une tête de prédiction auxiliaire est attachée à l'extracteur de caractéristiques (typiquement après la couche pénultième, bien qu'elle puisse être placée à n'importe quelle profondeur) en parallèle de la tête de classification standard.
• Étiquettes aléatoires : Chaque échantillon d'entraînement se voit assigner une étiquette aléatoire fixe au début de l'entraînement. Ces étiquettes sont indépendantes des véritables étiquettes de classe.
• Dynamique d'entraînement :
  • La tête RLP est entraînée pour prédire ces étiquettes aléatoires en utilisant une perte d'entropie croisée standard ($L_{rnd}$).
  • Seule la tête RLP reçoit les gradients de $L_{rnd}$ ; la tête de classification principale reste inchangée par l'objectif des étiquettes aléatoires.
  • Interprétation : La précision de la tête RLP dans la prédiction des étiquettes aléatoires sert d'estimation empirique de la complexité de Rademacher du modèle. Une précision élevée sur les étiquettes aléatoires indique que le réseau possède une capacité suffisante pour mémoriser des motifs arbitraires, reflétant une complexité de modèle élevée.

2. Stratégie de régularisation

Pour contrôler activement la mémorisation, les auteurs introduisent un régularisateur de mémorisation ($L_{reg}$) :

• Objectif : Au lieu de minimiser l'erreur sur les étiquettes aléatoires, le régularisateur pénalise la tête RLP pour la prédiction correcte de celles-ci.
• Formulation : $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$, où $\hat{p}_{\hat{y}}$ est la probabilité prédite de l'étiquette aléatoire. Cela inverse la logique standard de l'entropie croisée et amplifie les pénalités pour les prédictions confiantes d'étiquettes aléatoires.
• Flux de gradient : Les gradients de $L_{reg}$ sont rétropropagés uniquement vers l'extracteur de caractéristiques, et non vers la tête RLP elle-même. Cela force l'extracteur de caractéristiques à apprendre des représentations qui ne permettent pas à la tête RLP de distinguer les échantillons individuels via des étiquettes aléatoires, supprimant ainsi efficacement l'apprentissage de caractéristiques spécifiques aux échantillons.

Contributions clés

1. Les RLP-Heads comme outil de sondage : L'introduction des têtes RLP comme méthode pour mesurer empiriquement la mémorisation par couche et la complexité du modèle sans réentraîner l'ensemble du réseau sur des étiquettes aléatoires.
2. Validation de la métrique : Démonstration que la précision des étiquettes aléatoires est corrélée aux régularisateurs de complexité établis (Dropout, Décroissance des poids, Lissage des étiquettes) et sert de proxy valide pour la complexité de Rademacher.
3. Nouvelle technique de régularisation : Une méthode pour contraindre explicitement la mémorisation en pénalisant la performance de la tête RLP, modulant ainsi la capacité de l'extracteur de caractéristiques à encoder des informations spécifiques aux échantillons.
4. Réévaluation du rôle de la mémorisation : Preuve empirique remettant en question l'hypothèse selon laquelle la mémorisation est toujours préjudiciable, montrant qu'elle peut soit entraver, soit faciliter la généralisation selon l'échantillonnage des données.

Résultats expérimentaux

1. Dynamique de la mémorisation

• Analyse par couche : Dans les Vision Transformers (ViT) entraînés sur ImageNet, la précision des étiquettes aléatoires augmente avec la profondeur du réseau. Les couches précoces présentent une précision proche de zéro, tandis que les couches profondes atteignent environ 70 %, indiquant que la mémorisation se produit dans les représentations de caractéristiques abstraites.
• Évolution temporelle : La précision des étiquettes aléatoires augmente légèrement avant la divergence de la précision d'entraînement et de test, suggérant que la mémorisation commence tôt dans le processus d'entraînement.

2. Impact de la régularisation sur la généralisation

L'effet de la suppression de la mémorisation varie considérablement selon le jeu de données et le modèle :

• ImageNet (ViT-B/32) : La régularisation RLP réduit avec succès la précision des étiquettes aléatoires (mémorisation). Cela conduit à une diminution de la précision d'entraînement mais à une augmentation significative de la précision de test (jusqu'à +1,5 %), réduisant l'écart entre l'entraînement et le test. Cela s'aligne sur la théorie classique où la mémorisation nuit à la généralisation.
• CIFAR-100 (WideResNet-16-4) : La régularisation RLP réduit la mémorisation mais dégrade la précision de test, même pour de faibles facteurs de régularisation. La précision d'entraînement reste stable. Cela contredit la vue classique selon laquelle moins de mémorisation produit toujours une meilleure généralisation.

3. Le rôle de l'échantillonnage des données

Les auteurs émettent l'hypothèse que le double rôle de la mémorisation est piloté par des effets d'échantillonnage :

• Distributions suffisamment échantillonnées (ex. ImageNet) : Supprimer la mémorisation force le modèle à apprendre des caractéristiques partagées au niveau de la classe, améliorant la généralisation.
• Distributions sous-échantillonnées (ex. CIFAR-100, Long-tail) : Dans les régions avec peu d'échantillons, la mémorisation d'instances spécifiques est nécessaire pour capturer la véritable distribution des données. La supprimer force le modèle à s'appuyer sur des caractéristiques partagées spécieuses ou des artefacts d'un échantillonnage insuffisant, nuisant à la généralisation.
• Preuve :
  • Sur des sous-ensembles d'ImageNet, le régularisateur améliore la précision de test uniquement lorsqu'une grande fraction des données est disponible.
  • Sur des jeux de données à longue traîne (ImageNet-LT), inhiber la mémorisation empêche la prédiction correcte des classes rares.
  • Ajout de bruit d'étiquette : Dans ce scénario, la mémorisation est purement préjudiciable. Le régularisateur améliore systématiquement la performance de test, confirmant que lorsque la mémorisation ne sert aucun but distributionnel, elle entrave la généralisation.

4. Déplacement de la mémorisation

Lorsque la régularisation RLP est appliquée uniquement à la dernière couche, la mémorisation n'est pas éliminée mais déplacée vers les couches précédentes. Le réseau transforme les caractéristiques spécifiques aux échantillons en informations pertinentes pour la classe dans les couches antérieures afin de contourner le régularisateur. Appliquer la régularisation à toutes les couches supprime ce déplacement mais n'améliore pas nécessairement la précision de test, suggérant qu'un certain degré de mémorisation dans les couches précoces peut être bénéfique.

Signification et affirmations

L'article prétend fournir un cadre contrôlé pour étudier et moduler la mémorisation dans les réseaux de neurones profonds. En interprétant la précision des étiquettes aléatoires comme un proxy empirique de la complexité de Rademacher, les auteurs offrent une mesure directe de la capacité du modèle et de la mémorisation au niveau de l'échantillon.

La principale signification réside dans la remise en question de l'équivalence traditionnelle entre surapprentissage et mémorisation. Les auteurs proposent que la mémorisation n'est pas intrinsèquement néfaste ; plutôt, son impact sur la généralisation dépend de si le jeu de données est suffisamment échantillonné. Dans les régimes sous-échantillonnés, la mémorisation d'exemples spécifiques peut être le seul moyen de généraliser à des données non vues issues de la même distribution.

Le travail suggère que les têtes RLP et le régularisateur dérivé sont des outils efficaces pour :

• Diagnostiquer où et quand la mémorisation se produit au sein d'un réseau.
• Réduire explicitement la mémorisation pour améliorer la généralisation dans les contextes bien échantillonnés.
• Comprendre les compromis dans les scénarios où la rareté des données fait de la mémorisation une composante nécessaire de l'apprentissage.

Les auteurs concluent que ces résultats nécessitent de nouvelles hypothèses pour réconcilier les résultats apparemment contradictoires de la mémorisation dans l'apprentissage profond moderne, allant au-delà de la vision binaire de la mémorisation comme simple source d'erreur.