🤖 machine learning

How Far Can Sharpness and Complexity Jointly Explain Generalization?

Cet article étudie le pouvoir explicatif conjoint de la netteté et de la complexité sur la généralisation des réseaux de neurones profonds en employant une analyse basée sur Pareto et des définitions orientées vers les fonctions, concluant que bien que ces deux facteurs améliorent significativement la compréhension à travers divers contextes, ils ne constituent pas encore une théorie complète de la généralisation.

Auteurs originaux : Ziyu Cheng, Xitong Zhang, Longxiu Huang, Rongrong Wang

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyu Cheng, Xitong Zhang, Longxiu Huang, Rongrong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la performance d'un étudiant à un examen final en fonction de sa manière d'étudier. Dans le monde de l'apprentissage profond (IA), les chercheurs soupçonnent depuis longtemps que deux facteurs principaux déterminent la capacité d'un modèle d'IA à généraliser sur de nouvelles données invisibles :

La Netteté (Sharpness) : À quel point le modèle est-il « nerveux » ou sensible ? Si on pousse légèrement le modèle, son résultat change-t-il radicalement (net/tranchant) ou reste-t-il stable (plat) ?
La Complexité : À quel point les règles internes du modèle sont-elles « compliquées » ? S'agit-il d'un ensemble simple d'instructions ou d'un réseau massif et emmêlé de possibilités ?

Pendant longtemps, les scientifiques ont tenté de mesurer ces deux aspects en utilisant une règle qui observait le code brut du modèle (ses paramètres). Mais cet article soutient que mesurer le code avec une règle revient à essayer de mesurer le goût d'un gâteau en pesant séparément la farine et le sucre. Cela passe à côté de l'essentiel, car on peut réorganiser les ingrédients (changer le code) sans pour autant changer le goût (la fonction).

La Grande Expérience : Une Nouvelle Façon de Mesurer

Les auteurs de cet article se sont posé la question suivante : « Si nous mesurons la Netteté et la Complexité correctement, pouvons-nous expliquer presque tout ce qui détermine comment une IA généralise ? »

Pour y répondre, ils ont construit deux nouveaux outils :

Un contrôle « Pareto » : Au lieu de simplement tracer une ligne droite pour voir si les données correspondent, ils ont observé les « meilleurs compromis possibles ». Imaginez un graphique où le coin inférieur gauche est la « zone parfaite » (faible netteté, faible complexité). Ils ont vérifié si les modèles qui performaient réellement bien étaient regroupés dans cette zone parfaite. Si un modèle se trouvait dans la zone parfaite mais performait mal, leur théorie était brisée.
Des mesures orientées vers la fonction : Ils ont cessé de mesurer le code brut pour commencer à mesurer le comportement.
- Netteté Bayésienne (Bayes Sharpness) : Au lieu de vérifier la courbure du code, ils ont demandé : « Si nous agitons aléatoirement les réglages du modèle, à quel point son résultat réel change-t-il ? »
- Complexité Fonctionnelle : Au lieu de compter le nombre de connexions dans le code, ils ont demandé : « À quel point le comportement du modèle est-il différent d'une supposition aléatoire ? »

Ce Qu'Ils Ont Découvert

1. L'ancienne règle était défectueuse (Le problème du « No-Batch-Norm »)
Lorsqu'ils ont utilisé les anciennes méthodes (mesure du code brut) sur certains types de modèles d'IA (spécifiquement ceux sans une couche de stabilisation spécifique appelée « Batch Normalization »), la théorie s'est effondrée. Les modèles qui auraient dû être bons selon l'ancienne règle étaient en fait mauvais, et vice versa. C'était comme une prévision météo qui annonçait du soleil, mais où il pleuvait.

2. La nouvelle règle a corrigé le tir (en grande partie)
Lorsqu'ils sont passés à leurs nouveaux outils « orientés vers la fonction », la théorie a soudainement beaucoup mieux fonctionné.

Dans les modèles désordonnés et instables où l'ancienne règle échouait, la nouvelle règle identifiait correctement quels modèles généraliseraient bien.
Ils ont même testé le mélange de différents types de modèles d'IA (comme mélanger des pommes et des oranges). L'ancienne règle ne pouvait même pas les comparer, mais la nouvelle règle pouvait prédire avec succès quels modèles mixtes performeraient le mieux.

3. La théorie n'est pas encore parfaite (Le problème du « ViT »)
Cependant, l'histoire comporte un rebondissement. Lorsqu'ils ont testé un type de modèle d'IA moderne très populaire, le ViT (Vision Transformer), les nouveaux outils ont tout de même échoué.

Pourquoi ? Les auteurs soupçonnent que ces modèles spécifiques étaient si sûrs d'eux et si sur-ajustés (overfitted) à leurs données d'entraînement qu'ils étaient essentiellement en train d'« halluciner ». Ils étaient tellement loin du domaine de l'apprentissage normal qu'aucune théorie simple de la Netteté et de la Complexité ne pouvait les expliquer.
Lorsque l'on a forcé ces modèles à être moins extrêmes (en ajoutant de l'augmentation de données), la théorie a recommencé à fonctionner, suggérant que l'échec était dû au fait que les modèles étaient dans un état « défectueux », et non à un échec de la théorie elle-même.

Conclusion

L'article conclut que la Netteté et la Complexité sont effectivement des lentilles puissantes pour comprendre pourquoi les modèles d'IA généralisent.

Succès : En mesurant ces facteurs sur la base du comportement plutôt que du code, la théorie explique une immense partie de ce qui se passe dans l'IA.
Limites : Elle n'explique pas tout pour autant. Il reste des cas (comme les modèles ViT) où la théorie échoue.

L'idée à retenir : Les auteurs ne disent pas que « la Netteté et la Complexité sont les seuls facteurs qui comptent ». Ils disent que « si vous les mesurez de la bonne manière, elles expliquent bien plus de choses que nous ne le pensions. Mais nous avons encore du travail pour comprendre les exceptions ».

C'est comme réaliser que la taille et le poids sont de bons prédicteurs de la vitesse d'un coureur, mais qu'il faut quand même vérifier si le coureur n'a pas une jambe cassée avant de pouvoir faire une prédiction parfaite.

Résumé Technique : Jusqu'où la netteté et la complexité peuvent-elles conjointement expliquer la généralisation ?

Énoncé du problème
Les réseaux de neurones profonds atteignent souvent des performances prédictives élevées dans des régimes hautement surparamétrés, créant un fossé entre le succès empirique et la compréhension théorique. Les limites classiques basées sur la capacité ne parviennent pas à expliquer pourquoi ces réseaux généralisent bien sur des données structurées tout en s'ajustant facilement à des étiquettes aléatoires. Bien que la littérature récente ait identifié la netteté (sharpness - sensibilité aux perturbations) et la complexité (taille ou contenu informationnel du modèle) comme deux facteurs centraux de la généralisation, leur pouvoir explicatif conjoint reste largement inexploré. Les évaluations quantitatives existantes ont largement traité les mesures de généralisation comme des prédicteurs scalaires individuels, combinant souvent la netteté et la complexité en un scalaire unique via des formes fonctionnelles prescrites. Cette approche laisse ouverte la question de savoir dans quelle mesure la généralisation peut être expliquée par la paire de facteurs $(S, C)$ sans s'engager dans une combinaison spécifique, et si les échecs de prédiction proviennent du cadre à deux facteurs lui-même ou de définitions de métriques inadéquates.

Méthodologie
Les auteurs emploient une analyse empirique et conceptuelle pour étudier la portée explicative de la perspective netteté-complexité à travers diverses architectures et jeux de données.

Cadres d'évaluation :
- Régression linéaire : Les auteurs ajustent un modèle linéaire $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ pour évaluer le pouvoir prédictif des paires de métriques. Ils rapportent le $R^2$ et les signes des coefficients.
- Analyse de Pareto (Taux de Contradiction de Pareto - PCR) : Pour éviter les hypothèses de linéarité, les auteurs introduisent un outil d'évaluation non paramétrique. Ils vérifient si l'ordonnancement induit par les métriques $(S, C)$ concorde avec l'ordonnancement des écarts de généralisation. Une « paire candidate » consiste en deux modèles où l'un possède à la fois une netteté plus faible et une complexité plus faible. Une « paire contradictoire » survient si le modèle ayant un $(S, C)$ plus faible présente un écart de généralisation pire. Le PCR est le ratio de paires contradictoires par rapport aux paires candidates. Un PCR faible indique un fort accord avec la relation monotone attendue par la vue à deux facteurs.
Définitions des métriques :
- Lignes de base au niveau des paramètres : L'étude évalue des métriques d'échelle invariantes existantes, spécifiquement l'Adaptive SAM (adapS) pour la netteté et la Norme de Chemin (Path Norm) pour la complexité. Celles-ci sont comparées à des lignes de base non invariantes comme la trace de la Hessienne et la norme $\ell_2$ des poids.
- Métriques orientées vers la fonction : Pour répondre à l'ambiguïté de la paramétrisation (où différents paramètres produisent la même fonction), les auteurs proposent des métriques définies plus près de l'espace fonctionnel :
  - Netteté Bayes (bayesS) : Définie comme l'augmentation normalisée de la perte moyenne de la distribution postérieure. Elle utilise une distribution postérieure adaptative $Q$ avec une covariance proportionnelle aux magnitudes des paramètres pour assurer l'invariance d'échelle, mesurant le changement de perte réel induit par les prédicteurs échantillonnés plutôt que de s'appuyer sur des approximations de la Hessienne.
  - Divergence KL fonctionnelle (func norm) : Une métrique de complexité dérivée de la théorie PAC-Bayes. Elle calcule la divergence KL entre les distributions a priori et a posteriori après avoir projeté les échantillons de paramètres sur leurs fonctions induites sur un jeu de données de référence. Cela mesure la déviation du comportement prédictif plutôt que les valeurs brutes des paramètres.
Portée expérimentale :
L'évaluation couvre des architectures équipées de normalisation (ResNet, VGG, WideResNet), des variantes sans normalisation (no-BN) et des Vision Transformers (ViT). Crucialement, l'étude inclut des configurations « Mixtes » où des modèles de différentes architectures et jeux de données (CIFAR-10 et CIFAR-100) sont regroupés pour tester la comparabilité inter-architectures et inter-jeux de données.

Contributions clés

Analyse du pouvoir explicatif conjoint : Le papier fournit la première évaluation quantitative à grande échelle de la manière dont la netteté et la complexité expliquent conjointement la généralisation, allant au-delà des mesures à scalaire unique.
Innovation méthodologique : L'introduction de l'Analyse de Pareto (PCR) comme outil complémentaire à la régression linéaire permet d'évaluer la vue à deux facteurs sans supposer une forme fonctionnelle spécifique (linéaire ou autre) entre $(S, C)$ et l'écart de généralisation.
Métriques orientées vers la fonction : La proposition de la Netteté Bayes et de la Divergence KL Fonctionnelle offre des réalisations de la netteté et de la complexité moins dépendantes des représentations brutes des paramètres. Cela répond au problème de l'ambiguïté de paramétrisation, particulièrement dans les architectures avec des connexions résiduelles ou des couches de normalisation.
Aperçus diagnostiques : L'étude distingue les échecs causés par des définitions de métriques inadéquates des limitations intrinsèques potentielles du cadre à deux facteurs.

Résultats

Limites des métriques au niveau des paramètres : Les bases invariantes d'échelle existantes (ex: adapS + path norm) performent raisonnablement bien sur les réseaux équipés de normalisation (ex: ResNet18, WideResNet) mais perdent significativement leur pouvoir explicatif lorsque la normalisation est supprimée (ex: no-BN ResNet18) ou lorsque les modèles sont regroupés à travers différentes architectures. Dans ces cas, le $R^2$ de la régression chute, les coefficients deviennent négatifs et le PCR augmente (indiquant des contradictions fréquentes).
Succès des métriques orientées vers la fonction : La paire orientée fonction $(bayesS, func norm)$ proposée étend considérablement la portée explicative.
- Elle récupère un $R^2$ élevé et un PCR faible dans les configurations sans normalisation où les métriques de niveau paramètre échouent (ex: no-BN ResNet18 : le $R^2$ passe de 0,07 à 0,83 ; le PCR chute de 77,8 % à 1,2 %).
- Elle maintient son pouvoir prédictif dans les configurations mixtes inter-architectures et inter-jeux de données, suggérant que ces métriques fournissent une base de comparaison plus stable que les métriques de niveau paramètre.
Échecs persistants : Les métriques orientées fonction échouent à fournir une explication complète pour les Vision Transformers (ViT), particulièrement dans les configurations standards où les pertes de test sont extrêmement élevées. Dans ces régimes, la vue à deux facteurs produit un PCR élevé et des coefficients négatifs. Les auteurs suggèrent que cela peut être dû au fait que les métriques ne sont pas totalement au niveau de la fonction (la netteté Bayes repose toujours sur des perturbations dans l'espace des paramètres) ou parce que ces modèles opèrent en dehors du régime de généralisation significatif où les bornes PAC-Bayes sont lâches.
Insuffisance du facteur unique : L'analyse à facteur unique confirme que ni la netteté ni la complexité seules ne suffisent à expliquer la généralisation, soutenant la nécessité de la vue à deux facteurs.

Signification et affirmations
Le papier affirme que la perspective netteté-complexité est un outil informatif pour comprendre la généralisation dans divers contextes, mais il ne prétend pas être une théorie complète.

Affinement de la vue : Les résultats suggèrent que de nombreux échecs apparents de la vue à deux facteurs sont dus aux limitations des définitions de métriques (spécifiquement, la dépendance aux représentations de niveau paramètre) plutôt qu'à des défauts intrinsèques du cadre lui-même. En passant à des définitions orientées vers la fonction, la portée explicative peut être considérablement étendue.
Questions ouvertes : Les échecs restants (ex: dans ViT) indiquent que les réalisations actuelles ne sont pas encore complètes. Les auteurs posent deux possibilités : soit de meilleures définitions de la netteté et de la complexité, totalement orientées vers la fonction, sont nécessaires pour étendre la portée, soit le cadre à deux facteurs est intrinsèquement incomplet et nécessite des facteurs supplémentaires au-delà de $(S, C)$ pour expliquer pleinement la généralisation.
Utilité pratique : Les métriques dotées d'un fort pouvoir explicatif peuvent servir d'outils de diagnostic pour la comparaison de modèles, la sélection d'hyperparamètres et la conception de pénalités de régularisation.

En résumé, ce travail caractérise quantitativement les limites du cadre netteté-complexité, démontant que si celui-ci est un outil explicatif puissant, son efficacité est contingente sur la manière dont ces facteurs sont réalisés et mesurés.

La Grande Expérience : Une Nouvelle Façon de Mesurer

Ce Qu'Ils Ont Découvert

Conclusion

Résumé Technique : Jusqu'où la netteté et la complexité peuvent-elles conjointement expliquer la généralisation ?

Articles similaires