⚡ electrical engineering

Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss

Cet article introduit le Double Préconditionnement (DoPr), un nouveau paradigme d'optimisation qui combine un préconditionnement par gradient et par activation afin d'atténuer l'accumulation d'erreurs de rétroaction au moment du test dans les tâches autorégressives et génératives, améliorant de manière significative les performances en aval même lorsque la perte de validation reste inchangée.

Auteurs originaux : Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : L'écart entre « Entraînement et Performance »

Imaginez que vous enseigniez à un robot à marcher à travers une pièce.

La phase d'entraînement : Vous montrez au robot une vidéo d'un humain marchant parfaitement. Vous dites au robot : « Copie exactement ce pas. » Le robot s'entraîne sur cette vidéo encore et encore. Il devient très doué pour copier la vidéo. En termes d'apprentissage automatique, cela revient à minimiser la Perte de Validation (obtenir un bon score au test d'entraînement).
Le monde réel (Temps de test) : Maintenant, vous laissez le robot libre de ses mouvements. Il doit traverser la pièce de lui-même. S'il fait un petit pas légèrement décentré, le pas suivant doit compenser cette erreur. S'il fait un autre petit pas décentré, les erreurs commencent à s'accumuler. Lorsqu'il arrive de l'autre côté, il peut trébucher ou tomber.

L'article appelle cela le Feedback au Temps de Test (TTF). C'est le phénomène où un modèle qui semble parfait sur les données d'entraînement (la vidéo) échoue lamentablement dans le monde réel parce que les petites erreurs se cumulent pour devenir de grands désastres lorsque le modèle dépend de ses propres prédictions précédentes.

L'ancienne méthode : Se concentrer uniquement sur le tableau des scores

Pendant longtemps, les ingénieurs ont construit des « optimiseurs » (les moteurs qui enseignent à l'IA) avec un seul objectif : Réduire le score d'entraînement le plus bas possible et le plus rapidement possible.

Considérez ces optimiseurs comme un entraîneur qui ne se soucie que de la forme du robot pendant qu'il regarde la vidéo. L'entraîneur dit : « Beau travail, tu as parfaitement correspond à la vidéo ! » Mais l'entraîneur ignore le fait que le robot a appris à marcher d'une manière qui est très fragile. Si le robot doit marcher seul, cette « forme parfaite » se brise immédiatement.

L'article soutient que de faibles scores d'entraînement ne garantissent pas une bonne performance dans le monde réel. En fait, chercher le score d'entraînement le plus bas peut parfois amener le robot à prendre de « mauvaises habitudes » qui ne fonctionnent que lorsque l'enseignant lui tient la main.

La nouvelle solution : Le Double Préconditionnement (DoPr)

Les auteurs proposent une nouvelle façon d'entraîner ces modèles appelée Double Préconditionnement (DoPr). Ils le décrivent comme une mise à jour de type « plug-in » pour les moteurs d'entraînement existants.

Pour comprendre comment cela fonctionne, imaginez que le cerveau du robot est composé de couches d'engrenages.

Le premier engrenage (Préconditionnement de l'activation) : L'article explique que les anciens optimiseurs étaient biaisés. Ils apprenaient à être parfaits dans les directions où les données étaient faciles, mais ils ignoraient les directions où les données étaient désordonnées ou « étirées ».
- L'analogie : Imaginez essayer d'apprendre à conduire sur une autoroute parfaitement plate et vide (données faciles). Vous devenez excellent à cela. Mais si vous essayez de conduire sur une route de montagne sinueuse et cahoteuse (données désordonnées), vous vous écrasez.
- La correction : La première partie de DoPr force le robot à apprendre de manière uniforme. Cela oblige le robot à s'entraîner à conduire de manière égale sur l'autoroute plate et sur la route de montagne cahoteuse. Cela garantit que le robot apprend correctement la forme de la route, et pas seulement les parties faciles. C'est ce qu'on appelle le Préconditionnement de l'Activation.
Le second engrenage (Préconditionnement du gradient) : Apprendre sur la route cahoteuse est difficile et lent. Si vous forcez simplement le robot à apprendre de cette façon, il pourrait rester bloqué ou avancer trop lentement.
- L'analogie : C'est comme ajouter un turbocompresseur à la voiture. Cela aide la voiture à se déplacer rapidement et de manière fluide sans perdre le contrôle.
- La correction : La deuxième partie de DoPr utilise les optimiseurs standards et rapides (comme Adam ou Muon) pour accélérer le processus.

La Magie : DoPr combine ces deux éléments. Il « redresse » d'abord le chemin d'apprentissage pour que le robot apprenne les bonnes caractéristiques (la route de montagne), puis il utilise le turbocompresseur pour aller vite.

Le résultat surprenant

Voici la partie la plus intéressante de l'article :

Lorsque les auteurs ont testé DoPr, ils ont constaté que les robots n'obtenaient pas nécessairement de meilleurs scores au test d'entraînement (Perte de Validation). Parfois, le score d'entraînement était même légèrement moins bon qu'auparavant !

Cependant, lorsqu'ils ont envoyé les robots dans le monde réel (Temps de test) :

Robotique : Les robots ont marché plus loin et ont terminé les tâches plus souvent.
Modèles de langage : L'IA a mieux écrit de code et résolu des problèmes mathématiques avec plus de précision, même si elle ne prédisait pas le mot suivant dans le texte d'entraînement aussi parfaitement que les anciens modèles.

Ce qu'il faut retenir

L'article conclut que nous regardions le mauvais tableau des scores. Nous avons été obsédés par la capacité d'un modèle à minimiser son erreur d'entraînement, mais cela ne signifie pas qu'il réussira lorsqu'il devra agir de lui-même.

Le Double Préconditionnement est un outil qui enseigne aux modèles à être robustes et à apprendre de manière « uniforme » à travers tous les types de données, plutôt que de simplement mémoriser les parties faciles. C'est une façon de construire une IA qui ne se contente pas d'avoir l'air bonne en classe, mais qui performe réellement dans le monde réel.

En bref : DoPr empêche l'IA de « tricher » lors du test d'entraînement en lui apprenant les bonnes leçons pour l'examen final, même si cela signifie que le score d'entraînement ne semble pas aussi brillant.

Résumé Technique : Double Préconditionnement (DoPr)

1. Énoncé du Problème : Le Feedback au Temps de Test (TTF) et l'Écart Perte-Performance

Le papier traite d'une déconnexion critique dans les applications modernes de l'apprentissage profond où les modèles sont entraînés sur des objectifs supervisés à une étape (ex: prédiction du prochain jeton, imitation par étape) mais déployés via des déploiments séquentiels le long de leurs propres prédictions. Les auteurs nomment ce phénomène le Feedback au Temps de Test (TTF - Test-Time Feedback).

Dans les contextes de TTF — tels que la modélisation de langage autorégressive, la modélisation générative basée sur le flux et l'apprentissage de politiques robotiques — les petites erreurs dans les prédictions du modèle se cumulent au fil du temps. Cela provoque une divergence entre la distribution des états rencontrés lors du déploiement et la distribution d'entraînement (un phénomène connu sous le nom de décalage de TTF).

Le problème central identifié est que les optimiseurs standards (ex: Adam, Muon, Shampoo) sont conçus pour minimiser la perte de validation ( $L_{val}$ ) sous la distribution d'entraînement. Cependant, les auteurs soutiennent que minimiser $L_{val}$ ne minimise pas nécessairement la récompense de la tâche en aval ( $R_{test}$ ) ou la perte idéalisée ( $L_{ideal}$ ) définie sur la propre distribution de déploiement du modèle. Plus précisément, les optimiseurs standards peuvent induire un apprentissage de caractéristiques imparfait, où le modèle apprend des caractéristiques qui sont optimales pour la distribution d'entraînement mais qui échouent à généraliser sous la dynamique de feedback du TTF, entraînant une dégradation des performances en aval même lorsque la perte de validation converge bien.

2. Méthodologie : Double Préconditionnement (DoPr)

Pour atténuer le décalage de TTF sans modifier les données, l'architecture ou l'objectif d'entraînement, les auteurs proposent le Double Préconditionnement (DoPr). Le DoPr est un cadre d'optimisation "plug-in" qui combine deux stratégies de préconditionnement distinctes :

Préconditionnement d'Activation (AP - Activation Preconditioning) : Un préconditionneur par couche qui utilise la covariance empirique des activations de la couche ( $\hat{\Sigma}_z \approx E[zz^\top]$ ) pour préconditionner le gradient.
- Mécanisme : Le gradient brut $G$ est multiplié par l'inverse de la matrice de covariance d'activation : $M = G \cdot \hat{\Sigma}_z^{-1}$ .
- Motivation Théorique : Les auteurs démontrent que lorsque les activations des couches sont non-isotropes (mal conditionnées), la descente de gradient standard souffre d'un apprentissage de caractéristiques biaisé. L'AP corrige ce biais, encourageant un apprentissage de caractéristiques uniforme dans toutes les directions de l'espace d'état. Cela garantit que le modèle apprend des caractéristiques robustes, même dans les directions sous-pondérées par la perte d'entraînement mais critiques pour prévenir l'accumulation d'erreurs sous le TTF.
- Principe d'Invariance : Le papier établit que l'AP induit une invariance aux transformations affines de la distribution d'entrée. Si la distribution d'entrée subit une transformation affine, la règle de mise à jour de l'AP garantit que les sorties de la couche restent invariantes, stabilisant la trajectoire d'optimisation contre les décalages de distribution.
Préconditionnement de Gradient (GP - Gradient Preconditioning) : Un préconditionneur standard basé sur le gradient (ex: Adam, Muon, Signum) appliqué au gradient préconditionné par l'AP.
- Rôle : Tandis que l'AP traite de la géométrie de l'apprentissage des caractéristiques, il peut être numériquement instable à lui seul. La composante GP stabilise le processus d'entraînement, accélère la convergence et fournit du momentum.
- Intégration : Le DoPr applique d'abord l'AP au gradient, puis transmet le résultat au GP. Cela permet au DoPr de tirer parti de la stabilité et des règles d'échelle d'hyperparamètres des GP établis (comme Adam ou Muon) tout en héritant des propriétés d'atténuation du TTF de l'AP.

Flux Algorithmique :
Pour une couche avec des poids $W$ et des activations $z$ :

Calculer le gradient par lot $G = \nabla_W \mathcal{L}$ .
Calculer la covariance d'activation empirique $\hat{\Sigma}_z$ .
Appliquer l'AP : $M = G \cdot (\hat{\Sigma}_z + \gamma \text{tr}(\hat{\Sigma}_z)I)^{-1}$ .
Appliquer le GP : $D = \text{GP}(M, \dots)$ .
Mettre à jour les poids : $W \leftarrow W - \eta D$ .

3. Contributions Clés

Insight Théorique : Le papier connecte rigoureusement le décalage de TTF à l'apprentissage de caractéristiques imparfait. Il prouve (via la Proposition 3.2 et 4.1) que les optimiseurs standards peuvent converger vers des solutions avec une faible perte de validation mais un mauvais alignement des sous-espaces de caractéristiques, ce qui exacerbe le TTF.
Cadre DoPr : Introduction d'un nouveau paradigme d'optimisation qui découple la directionnalité (gérée par l'AP pour assurer un apprentissage de caractéristiques uniforme) de l'adaptativité/stabilité (gérée par le GP).
Compatibilité "Drop-in" : Le DoPr est conçu comme un remplacement direct pour les optimiseurs existants. Il ne nécessite aucune modification de l'architecture du modèle ou de la curation des données.
Transfert d'Hyperparamètres : Les auteurs montrent que parce que le DoPr conserve la composante GP, les règles de mise à l'échelle des hyperparamètres existantes (ex: mise à l'échelle $\mu$ P pour les taux d'apprentissage et le décroissance des poids) dérivées pour les GP de base comme Adam ou Muon se transfèrent directement au DoPr, facilitant l'entraînement à grande échelle.

4. Résultats Expérimentaux

Les auteurs évaluent le DoPr à travers des tâches de contrôle continu, de robotique et de modélisation de langage. Les conclusions clés incluent :

Contrôle Continu (Humanoid-v5) : Le DoPr améliore systématiquement la récompense terminale par rapport aux optimiseurs de référence (AdamW, Muon, Signum, AdaMuon). Notamment, cette amélioration de la performance en aval ne corrèle pas systématiquement avec des améliorations de la perte d'entraînement ou de validation ; dans certains cas, le DoPr atteint des récompenses plus élevées avec une convergence de perte égale ou légèrement moins bonne.
Apprentissage de Politiques Robotiques (Robomimic) : Sur des tâches complexes comme "Tool-Hang" et "Transport", les variantes du DoPr surpassent les références en taux de succès. Là encore, les gains de succès de la tâche ne sont pas accompagnés d'améliorations uniformes de la perte d'entraînement.
Modèles de Langage (Raisonnement Mathématique) :
- SFT 3B : Le DoPr-AdamW atteint une précision de pointe plus élevée sur GSM8K à travers divers taux d'apprentissage par rapport à AdamW, malgré une perte de jeton d'entraînement comparable ou plus élevée.
- SFT 8B : Dans le réglage fin à plus grande échelle, le DoPr-AdamW démontre une corrélation plus forte entre la perte de validation et la performance en aval (GSM8K, MATH-500) par rapport à l'AdamW de référence. Les modèles AdamW de référence montraient souvent une perte de validation améliorée mais une performance de tâche dégradée à des taux d'apprentissage plus élevés, tandis que le DoPr maintenait une performance robuste.
- Conflit Inter-Tâches : Le DoPr réduit le conflit entre les tâches ; les taux d'apprentissage optimaux pour GSM8K-CoT étaient également proches de l'optimal pour MATH-500, une propriété non observée dans l'AdamW de base.

5. Signification et Revendications

Le papier affirme que l'optimisation est un nouvel axe de conception pour atténuer l'accumulation d'erreurs dans les contextes de TTF, distinct de la curation de données ou de la conception d'architecture.

Découplage de la Perte et de la Performance : La principale signification est la démonstration que l'amélioration des performances en aval dans les contextes de TTF ne nécessite pas (et ne s'accompagne pas forcément de) l'amélioration de la perte de validation. Cela remet en question la sagesse conventionnelle selon laquelle la minimisation de la perte d'entraînement est le seul proxy de la qualité du modèle.
L'Apprentissage de Caractéristiques comme Levier : Le travail pose que l'« apprentissage de caractéristiques uniforme » (assuré par l'AP) est le facteur critique pour la robustesse sous le TTF, plutôt que la vitesse de convergence de la perte.
Utilité Pratique : Le DoPr offre une intervention pratique à faible surcharge (un "plug-in") qui améliore la robustesse des modèles dans des scénarios de déploiement réels où les modèles doivent dérouler leurs propres prédictions.

Les auteurs concluent en demandant s'il existe encore un "argent gratuit" (free-lunch) pour les optimiseurs, suggérant que le découplage de la directionnalité et de l'adaptativité dans les optimiseurs reste un terrain fertile pour la recherche, particulièrement pour les tâches où l'objectif d'entraînement diverge de la réalité du déploiement.