📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

Ce papier présente DiMS, un échantillonneur basé sur la mécanique riemannienne dissipative qui utilise l'énergie cinétique, l'attraction gravitationnelle et la friction pour échantillonner exactement des solutions invariantes par reparamétrisation sur les ensembles de niveau des minima de perte, améliorant ainsi la quantification de l'incertitude dans l'inférence bayésienne par rapport aux méthodes existantes.

Auteurs originaux : Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Trouver le « Sol de la Vallée »

Imaginez que vous entraînez un réseau de neurones (un type d'IA) pour résoudre un problème. Vous pouvez considérer le processus d'entraînement comme la tentative de trouver le point le plus bas dans un vaste paysage montagneux. La hauteur du terrain représente l'« erreur » ou la « perte » du modèle. Plus vous descendez, mieux le modèle performe.

Par le passé, nous arrêtions généralement l'entraînement dès que nous trouvions un point bas (une seule solution). Cependant, les auteurs de ce papier soulignent un détail crucial : dans les modèles d'IA modernes et complexes, le « fond » de la vallée n'est pas un simple point. C'est un immense sol plat et connecté. Il existe des millions de façons différentes d'organiser les paramètres internes du modèle qui aboutissent tous exactement au même score parfait sur les données d'entraînement.

Le problème est que la plupart des méthodes soit :

Chassent au hasard autour des zones basses mais peuvent manquer le sol parfait.
Restent coincées dans un tout petit endroit et ne peuvent pas explorer le reste du sol.

Ce papier introduit une nouvelle méthode appelée DIMS (Dissipative Minima Sampler) pour explorer efficacement tout ce « sol parfait ».

L'Analogie : La Bille à Friction

Pour comprendre comment fonctionne DIMS, imaginez une bille roulant sur ce paysage.

1. L'Ancienne Méthode (Géodésiques) :
Imaginez une bille roulant sur une surface parfaitement sans frottement. Si vous lui donnez une poussée, elle roulera pour toujours, rebondissant d'avant en arrière à travers la vallée. Elle ne s'arrête jamais. Elle explore la zone, mais ne se stabilise jamais pour vous donner une « réponse » spécifique à examiner. C'est trop chaotique pour être utile afin d'échantillonner des solutions spécifiques.

2. La Nouvelle Méthode (DIMS) :
Les auteurs proposent une façon plus intelligente de faire rouler la bille. Ils introduisent deux nouvelles forces :

La Gravité : Elle tire la bille vers le point le plus bas possible (la perte minimale).
Le Frottement (L'Ingrédient Secret) : C'est la clé. Alors que la bille roule, le frottement draine lentement son énergie.

Voici la magie : le frottement n'est pas constant. Il est dépendant de la vitesse.

Si la bille roule vite (énergie élevée), le frottement est fort, la ralentissant rapidement.
Si la bille roule lentement, le frottement est doux.

Le Résultat :
Vous placez la bille à un endroit connu comme étant bon. Vous lui donnez une « poussée » aléatoire (vitesse initiale). Elle roule autour, explorant le paysage. Grâce au frottement, elle finit par perdre toute son énergie et s'arrête complètement. Crucialement, en raison de la physique du système, elle s'arrête toujours exactement sur le « sol » plat de la perte minimale.

Elle ne s'arrête pas au milieu d'une pente ; elle s'arrête exactement là où le modèle est parfait. En changeant la direction de la poussée initiale, vous pouvez faire en sorte que la bille s'arrête à différents endroits sur ce sol parfait, vous offrant un ensemble diversifié de solutions parfaites.

Pourquoi Cela Compte-t-il ? (L'Incertitude)

Pourquoi voulons-nous de nombreuses solutions différentes ayant toutes le même score parfait ?

Imaginez que vous enseignez à un élève (l'IA) à reconnaître des chats en utilisant 10 images.

Solution A apprend : « Les chats ont des oreilles pointues. »
Solution B apprend : « Les chats ont des moustaches. »
Solution C apprend : « Les chats ont une queue. »

Les trois élèves obtiennent 100 % à l'examen avec ces 10 images. Mais si vous leur montrez une image d'un chien, ils pourraient ne pas être d'accord.

L'élève A pourrait penser que le chien est un chat parce qu'il a des oreilles pointues.
L'élève B pourrait correctement dire que ce n'est pas un chat parce qu'il manque de moustaches.

Si vous ne choisissez qu'un seul élève (l'ancienne méthode), vous ne savez pas si votre IA est confiante ou simplement chanceuse. Mais si vous utilisez DIMS pour générer de nombreux « élèves » parfaits différents, vous pouvez voir où ils sont d'accord et où ils divergent.

S'ils sont tous d'accord sur une nouvelle image, l'IA est confiante.
S'ils divergent fortement, l'IA est incertaine.

Ceci est vital pour la sécurité. Si une IA conduit une voiture, vous voulez qu'elle sache quand elle est incertaine afin qu'elle puisse ralentir, plutôt que de conduire confiemment vers une falaise.

La « Physique » Derrière la Magie

Le papier utilise quelques termes mathématiques sophistiqués, mais ils correspondent directement à notre analogie de la bille :

Mécanique Riemannienne : Il s'agit simplement des mathématiques décrivant comment la bille se déplace sur une surface courbe (le paysage des erreurs de l'IA) plutôt que sur un sol plat.
Dissipatif : Cela signifie « perdre de l'énergie ». Le terme de frottement assure que la bille ne rebondit pas éternellement mais se stabilise.
Invariance par Reparamétrisation : C'est une façon élégante de dire que même si la bille s'arrête à des coordonnées différentes (différents paramètres internes), la fonction (le comportement réel de l'IA) est tout aussi bonne.

Ce Que le Papier Affirme Réellement

Les auteurs ont testé cette méthode de « bille à frottement » sur plusieurs jeux de données (comme la classification de chiffres manuscrits ou l'identification de types de verre). Ils ont constaté que :

Cela fonctionne : La bille s'arrête toujours sur le sol parfait, ne restant jamais coincée à mi-pente.
C'est robuste : Vous n'avez pas besoin d'ajuster excessivement les paramètres de frottement ; cela fonctionne bien avec un réglage standard.
C'est meilleur pour deviner l'inconnu : Lorsque l'IA rencontre des données qu'elle n'a jamais vues auparavant (Hors Distribution), la méthode DIMS est bien meilleure pour dire « Je ne sais pas » par rapport aux autres méthodes. Elle fournit une mesure d'incertitude plus honnête.

Résumé

Considérez l'entraînement d'une IA comme la recherche du fond d'une vallée. La plupart des méthodes trouvent un endroit et s'arrêtent. Ce papier nous offre une « bille à frottement » qui roule autour de tout le fond de la vallée, explorant chaque solution parfaite possible avant de s'arrêter doucement. Cela nous permet de voir l'image complète de ce que l'IA sait et, plus important encore, de ce qu'elle ne sait pas.

Résumé technique : Ne m'arrêtez pas encore : Minimisation des minima de perte par échantillonnage via la mécanique riemannienne dissipative

Énoncé du problème
Les réseaux de neurones modernes sont généralement surparamétrés, ce qui se traduit par des paysages de perte où les minima globaux ne sont pas des points isolés, mais forment des sous-variétés continues et connectées de solutions invariantes par reparamétrage. Bien que ces solutions performent également bien sur les données d'entraînement, elles peuvent induire des comportements fonctionnels divers sur des entrées non vues. Les approches existantes pour la quantification de l'incertitude font face à une dichotomie : les méthodes qui échantillonnent des régions de faible perte échouent souvent à imposer une interpolation exacte des données d'entraînement, tandis que les méthodes restreintes à l'ensemble invariant par reparamétrage sont souvent intrinsèquement locales, limitant leur capacité à explorer des vallées de minima distinctes. L'article aborde le défi de naviguer dans l'espace des « bonnes solutions » pour échantillonner des modèles divers qui minimisent strictement la perte d'entraînement tout en maintenant une incertitude prédictive élevée sur les données hors distribution (OOD).

Méthodologie : Échantillonneur de minima dissipatifs (DIMS)
Les auteurs proposent l'Échantillonneur de minima dissipatifs (DIMS), un système dynamique piloté par la géométrie conçu pour échantillonner exactement les ensembles de niveau minimaux de la fonction de perte. L'approche s'appuie sur la mécanique riemannienne et les systèmes dissipatifs classiques.

Formulation riemannienne : La surface de perte est traitée comme une variété riemannienne $(M, g)$ plongée dans $\mathbb{R}^{K+1}$ . Le tenseur métrique $G(\theta)$ est défini comme une métrique de tirage arrière, $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ , qui intègre la courbure du paysage de perte dans la géométrie de l'espace des paramètres.
Système dynamique : Le processus d'échantillonnage modélise une particule se déplaçant sur cette variété. La dynamique est régie par une équation différentielle ordinaire (EDO) du second ordre dérivée des équations d'Euler-Lagrange. Le système comprend :
- Énergie cinétique : $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ .
- Énergie potentielle : $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ , agissant comme une attraction gravitationnelle vers les minima.
- Dissipation : Un terme de frottement $-\eta(t)\dot{\alpha}$ est introduit pour briser la conservation de l'énergie.
Frottement dépendant de la vitesse : Une innovation clé réside dans la définition de la fonction de dissipation $\eta(t)$ , qui est proportionnelle à la vitesse de la particule (la racine carrée de l'énergie cinétique) et à l'angle entre la vitesse et le gradient. Cela garantit que l'énergie est dissipée plus rapidement lors d'un mouvement contre le gradient, tout en permettant à la particule de parcourir l'ensemble de niveau minimal (où le gradient est orthogonal à la vitesse) avec un frottement minimal.
Procédure d'échantillonnage : L'échantillonneur initialise une particule à un minimum entraîné $\theta^*$ avec une vitesse aléatoire échantillonnée à partir d'une distribution (généralement une approximation de Laplace respectant la géométrie locale). L'EDO est intégrée numériquement jusqu'à ce que la particule converge vers un nouveau point sur la sous-variété minimale $S^*(D)$ .

Contributions clés

Échantillonneur déterministe pour les sous-variétés minimales : DIMS fournit une méthode pour visiter continuellement des points distincts sur les sous-variétés minimales de la perte d'entraînement. Il est formulé comme un système dynamique piloté par la géométrie avec des hyperparamètres interprétables physiquement (coefficient de frottement $\eta_0$ ) qui contrôlent l'exploration.
Garanties théoriques : L'article établit que la dynamique proposée explore la surface de perte avant de converger vers la variété minimale en un temps fini. Plus précisément, le théorème 1 garantit la convergence vers l'ensemble des équilibres (minima locaux) sous la propriété de selle stricte, tandis que les théorèmes 2 et 3 fournissent des bornes sur le temps de convergence et la longueur d'arc parcourue, assurant une exploration non triviale.
Validation empirique : Les auteurs démontrent que les approximations postérieures concentrées sur la variété minimale généralisent bien. DIMS améliore les performances prédictives, l'étalonnage et spécifiquement la quantification de l'incertitude OOD par rapport aux approximations de Laplace existantes (LA standard, LA linéarisée et LA riemannienne).

Résultats expérimentaux
La méthode a été évaluée sur des tâches de régression (jeu de données Snelson) et de classification (Banana, jeux de données UCI, MNIST, Fashion MNIST).

Régression : Sur le jeu de données Snelson, DIMS a convergé avec succès vers des solutions qui ajustent parfaitement les données d'entraînement tout en présentant une forte incertitude OOD, alors que l'approximation de Laplace riemannienne (RLA) n'a pas pu garantir l'interpolation lors d'une initialisation depuis des positions sous-optimales.
Classification : Sur les jeux de données UCI, DIMS a atteint des métriques de vraisemblance négative logarithmique (NLL) et d'étalonnage compétitives ou supérieures par rapport à la RLA et à d'autres références. Notamment, DIMS s'est révélé robuste face à l'hyperparamètre de frottement $\eta_0$ , performant souvent bien avec une valeur par défaut fixe sur divers jeux de données.
Performance OOD : Sur MNIST et Fashion MNIST, DIMS a constamment surpassé les autres méthodes en termes de scores AUROC pour la détection OOD, indiquant une capacité supérieure à distinguer les échantillons de la distribution de ceux hors distribution.

Signification et affirmations
L'article affirme que DIMS offre une approche fondée sur des principes pour la quantification de l'incertitude en apprentissage profond en ciblant explicitement la géométrie des sous-variétés de perte minimale. Contrairement aux approximations postérieures traditionnelles qui peuvent s'étendre sur des régions de faible perte sans imposer une interpolation exacte des données, DIMS garantit la convergence vers la variété minimale. Les auteurs postulent que cette approche permet de générer des échantillons diversifiés dans l'espace des fonctions qui s'accordent sur les données d'entraînement mais varient ailleurs, une propriété cruciale pour l'inférence bayésienne. Ce travail suggère que les dynamiques inspirées par la physique et conscientes de la géométrie peuvent naviguer efficacement dans les paysages de perte complexes des réseaux surparamétrés, offrant une alternative robuste aux techniques d'échantillonnage et d'approximation existantes. Les auteurs reconnaissent que la méthode est exigeante sur le plan computationnel en raison de la nécessité de résoudre des EDO dans des espaces de haute dimension, mais soutiennent que le compromis produit des estimations d'incertitude supérieures.