🤖 machine learning

Loss Smoothing for Stable Adaptation Under Distribution Shift

Cet article propose le « lissage de perte » (loss smoothing), une méthode qui interpole entre les objectifs de la source et de la cible pour permettre une adaptation progressive sous un changement de distribution, préservant ainsi les caractéristiques utiles et améliorant de manière constante les performances à travers diverses tâches telles que l'ajustement fin (fine-tuning) et l'apprentissage par renforcement.

Auteurs originaux : Darshan Patil, Ekaterina Lobacheva, Razvan Pascanu, Sarath Chandar

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Darshan Patil, Ekaterina Lobacheva, Razvan Pascanu, Sarath Chandar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé ayant passé des années à perfectionner une recette française classique. Vous savez exactement comment manipuler les ingrédients, gérer le timing et maîtriser la chaleur. Maintenant, quelqu'un vous demande de cuisiner un plat complètement différent, disons, un curry thaï épicé.

L'Ancienne Méthode (Le « Changement Brut ») :
Dans l'apprentissage automatique traditionnel, lorsqu'il est temps de changer de tâche, on dit au chef de jeter immédiatement son livre de cuisine française, d'oublier tout ce qu'il savait sur la cuisine française et de repartir de zéro en utilisant uniquement les nouvelles instructions. Il peut conserver ses compétences au couteau (la capacité de base à couper), mais il est forcé de désapprendre instantanément ses techniques françaises. Ce changement soudain peut provoquer une panique chez le chef, lui faire rater le nouveau plat et lui faire perdre sa précieuse mémoire musculaire. En termes de recherche, il s'agit d'une « transition abrupte » qui déforme les caractéristiques utiles.

La Nouvelle Méthode (Le Lissage de la Perte - Loss Smoothing) :
Les auteurs de cet article proposent une approche plus douce appelée Loss Smoothing (Lissage de la Perte). Au lieu de jeter le livre de cuisine française dès l'arrivée de la recette thaïlandaise, ils suggèrent une période de transition.

Le Mélange : Au début de la nouvelle tâche, le chef suit une instruction « mélangée ». Il utilise 90 % des nouvelles instructions thaïlandaises et 10 % des anciennes techniques françaises.
L'Estompage : À mesure qu'il continue de cuisiner, la recette évolue lentement. On passe à 80 % Thaï / 20 % Français, puis 50/50, et enfin 100 % Thaï.
Le Résultat : Parce que le chef n'a pas dû subir un saut soudain et brutal, il a pu conserver ses compétences au couteau et son intuition culinaire générale tout en s'adaptant progressivement aux nouvelles saveurs. L'ancien savoir a servi de filet de sécurité, empêchant le chef de commettre des erreurs catastrophiques pendant qu'il apprenait le nouveau style.

Ce que l'article a réellement découvert

Les chercheurs ont testé cette idée de « mélange » dans quatre scénarios différents du monde réel, agissant comme un chef essayant différentes nouvelles cuisines :

IA de Jeux Vidéo (Apprentissage par Renforcement) : Imaginez une IA entraînée à jouer à un jeu en utilisant d'anciennes données enregistrées (hors ligne). Lorsqu'elle commence à jouer en direct contre de vrais adversaires (en ligne), elle perd souvent ses repères. Le « Changement Brut » fait qu'elle oublie les stratégies sûres apprises grâce aux enregistrements. Le Loss Smoothing a aidé l'IA à conserver ces stratégies sûres tout en apprenant progressivement à prendre des risques, ce qui a permis d'obtenir de meilleurs scores dans des jeux comme AntMaze et HalfCheetah.
Modèles de Langage (LLM) : Les grands modèles de langage sont d'abord entraînés sur un mélange massif de textes provenant d'Internet (pré-entraînement). Ensuite, ils sont « affinés » (fine-tuning) pour suivre des instructions spécifiques. Parfois, si le modèle a été trop entraîné sur les données d'Internet, il devient « fragile » et se brise lorsqu'on lui demande de suivre des instructions. L'article a constaté que le Loss Smoothing (le passage progressif du texte d'Internet aux instructions) a empêché cette rupture, permettant au modèle de rester intelligent et utile sans perdre ses connaissances générales.
Apprentissage de Nouvelles Tâches (Apprentissage Continu) : Si un robot apprend à reconnaître les chats, puis les chiens, puis les oiseaux, un changement brutal fait souvent qu'il oublie les chats. Le Loss Smoothing a aidé le robot à se souvenir des chats tout en apprenant les chiens, réduisant ainsi l'« oubli » qui se produit habituellement.
Modèles de Vision : Lors de l'adaptation d'un modèle entraîné sur un ensemble d'images (comme ImageNet) à un nouvel ensemble (comme DomainNet), la transition fluide a aidé le modèle à conserver sa capacité à reconnaître les objets tout en apprenant le nouveau style d'images.

L'Idée Principale

L'article soutient que la manière dont vous passez d'une ancienne tâche à une nouvelle est tout aussi importante que la nouvelle tâche elle-même.

Le Problème : Passer directement à un nouvel objectif est comme donner un coup de frein brusque et appuyer sur l'accélérateur en même temps. Cela choque le système.
La Solution : Le Loss Smoothing est comme lâcher l'accélérateur et appuyer doucement sur la nouvelle pédale. Cela maintient vivantes les parties utiles de l'entraînement précédent juste assez longtemps pour guider le modèle vers la nouvelle tâche, puis les atténue progressivement pour que le modèle puisse se spécialiser.

Les auteurs concluent que ce tour simple — interpoler entre l'ancien objectif et le nouvel objectif — rend les modèles plus stables, moins susceptibles de « se briser » pendant l'apprentissage, et généralement meilleurs pour s'adapter à de nouvelles situations, qu'il s'agisse de robots, de modèles de langage ou de classificateurs d'images.

Note Importante : L'article se concentre strictement sur la mécanique de l'entraînement de ces modèles. Il ne prétend pas que cette méthode peut guérir des maladies, prédire la bourse ou être utilisée dans des applications futures spécifiques au-delà des scénarios d'entraînement testés (affinage, apprentissage par renforcement et apprentissage continu). La « magie » réside purement dans les mathématiques de la façon dont le processus d'apprentissage est lissé.

Résumé technique : Lissage de la perte pour une adaptation stable sous changement de distribution

Énoncé du problème

Les réseaux de neurones sont fréquemment adaptés d'une distribution source vers une distribution cible dans des contextes tels que l'ajustement fin (fine-tuning), l'apprentissage continu et l'apprentissage par renforcement (RL). Les méthodes d'adaptation standard exécutent généralement un « basculement brutal » (hard switch), abandonnant immédiatement l'objectif d'entraînement de la source dès le début de la phase cible. Les auteurs soutiennent que cette transition discontinue induit une optimisation fragile. Plus précisément, la suppression soudaine de l'objectif source peut déformer les représentations et les caractéristiques apprises qui restent utiles pour la nouvelle tâche, entraînant des performances sous-optimales, un oubli catastrophique ou une instabilité. Ce problème est particulièrement prononcé lorsque l'objectif cible est difficile ou lorsque le modèle a subi un « surapprentissage catastrophique » (catastrophic overtraining), où les paramètres deviennent très sensibles aux mises à jour en aval.

Méthodologie : Lissage de la perte (Loss Smoothing)

Le papier propose le Lissage de la perte, une intervention légère conçue pour remplacer le basculement discontinu par une transition graduelle entre les objectifs d'entraînement.

Mécanisme central

Au lieu d'optimiser uniquement sur l'objectif cible $J_t(\theta)$ , la méthode optimise une interpolation convexe de l'objectif source $J_s(\theta)$ et de l'objectif cible au début de la phase d'adaptation :
$J_\alpha(\theta) = (1 - \alpha)J_s(\theta) + \alpha J_t(\theta), \quad \alpha \in [0, 1]$

Le coefficient d'interpolation $\alpha$ est amorti linéairement sur $\tau$ étapes selon le programme $\alpha(k) = \min(k/\tau, 1)$ .

Mises à jour précoces : Lorsque $\alpha$ est faible, les mises à jour restent proches de la dynamique d'entraînement de la source, préservant les caractéristiques et la structure utiles provenant de la distribution source.
Mises à jour tardives : À mesure que $\alpha$ approche de 1, la méthode récupère l'objectif cible standard, permettant au modèle de se spécialiser pour la nouvelle tâche.

Détails de mise en œuvre

La méthode est générale et ne suppose pas de relations spécifiques entre les phases source et cible. Elle nécessite une estimation de l'objectif source sous les paramètres actuels, qui peut être obtenue via :

Données de rejeu (Replay data) : Stockage des transitions ou entrées passées (utilisé en RL et apprentissage continu).
Cibles stockées : Utilisation de cibles de valeur ou d'étiquettes précédemment calculées.
Accès direct : Accès à la distribution d'entraînement précédente (utilisé pour le fine-tuning des LLM).

Dans les cas où les objectifs source et cible ont des échelles différentes (ex: TD3+BC vers TD3), la méthode applique un amortissement multiplicatif à l'échelle de la perte pour assurer une interpolation fluide.

Contributions clés

Formulation de l'adaptation : Les auteurs cadrent l'adaptation comme une transition entre des objectifs d'entraînement, identifiant le « basculement brutal » vers l'objectif cible comme une source primaire d'optimisation fragile sous les changements de distribution.
Algorithme de lissage de la perte : Ils introduisent une méthode d'interpolation simple basée sur le chemin, applicable à travers les changements d'entrées ( $u$ ), de signaux d'apprentissage ( $s$ ) et de familles de pertes ( $\ell$ ).
Validation empirique : La méthode démontre une amélioration de l'adaptation dans divers contextes :
- Changements de distribution supervisés continus.
- Adaptation de modèles de vision pré-entraînés.
- Apprentissage par renforcement offline-to-online et online.
- Fine-tuning de grands modèles de langage (LLM).
Analyse du mécanisme : Les preuves suggèrent que la préservation des caractéristiques réutilisables au début de l'adaptation conduit à une spécialisation en aval plus forte et réduit l'effondrement de performance transitoire (le « fossé de stabilité »).

Résultats expérimentaux

1. Apprentissage par renforcement Offline-to-Online

Évalué sur les benchmarks D4RL (MuJoCo, AntMaze, Adroit), le lissage de la perte a été appliqué aux méthodes offline-to-online de pointe (TD3+BC, SPOT).

Performance : Le lissage de la perte a obtenu les meilleurs scores de moyenne interquartile (IQM) globaux sur toutes les suites, surpassant les lignes de base à basculement brutal et d'autres méthodes offline-to-online (AWAC, Cal-QL, OPT).
Compromis : Il a réussi à équilibrer le besoin de tirer parti du pré-entraînement offline pour l'exploration (évitant l'échec de score zéro de l'apprentissage à partir de zéro sur des tâches difficiles comme AntMaze) tout en permettant à la politique de dépasser les contraintes conservatrices du offline à mesure que les données en ligne devenaient disponibles.

2. Fine-tuning de LLM

En utilisant des modèles OLMo-1B, les auteurs ont étudié le « surapprentissage catastrophique », où un pré-entraînement plus long rend les modèles plus difficiles à ajuster.

Résultats : Le lissage de la perte a amélioré le compromis entre la performance de suivi d'instructions en distribution (ID) et la généralisation hors distribution (OOD).
Atténuation du surapprentissage : Dans les régimes où le fine-tuning par basculement brutal dégradait les performances à cause du surapprentissage, le lissage de la perte a maintenu ou même augmenté les performances. Notamment, la meilleure performance sur le jeu de données Tulu-v1 a été obtenue en utilisant le checkpoint le plus « surappris » lorsqu'il était lissé, suggérant que le chemin de transition est aussi critique que le checkpoint lui-même.

3. Apprentissage par renforcement Online

Appliqué aux algorithmes TD3 et PPO sur les environnements Brax et DeepMind Control Suite.

Stabilité : Malgré les mécanismes de stabilisation existants (buffers de rejeu, réseaux cibles), le lissage de la perte a apporté des améliorations significatives, certains environnements montrant presque le double de performance.
Observation : La méthode a aidé à stabiliser l'adaptation du critique, qui est souvent plus difficile que l'adaptation de la politique.

4. Apprentissage supervisé continu et adaptation de la vision

Préservation des caractéristiques : Dans des tâches d'apprentissage continu synthétiques (entrées permutées, étiquettes mélangées), le lissage de la perte a préservé les caractéristiques partagées par les tâches (ex: couches profondes pour les entrées permutées) tout en adaptant les composants spécifiques à la tâche (ex: premières couches), surpassant EWC et le rejeu standard.
Fossé de stabilité : La méthode a considérablement réduit la chute transitoire de performance sur la tâche précédente immédiatement après un changement de tâche.
DomainNet : Lors de l'adaptation d'un ViT pré-entraîné sur ImageNet à DomainNet, le lissage de la perte a atteint une frontière rétention-adaptation meilleure que le rejeu constant, indiquant que l'amortissement de l'objectif source est plus efficace que le maintien d'un poids de rejeu fixe.

Signification et affirmations

L'article affirme que des transitions d'objectifs plus fluides sont un outil largement utile pour l'adaptation des modèles. La thèse centrale est que l'adaptation fragile provient souvent non pas de la difficulté de l'objectif cible, mais du chemin discontinu mal choisi pour y parvenir.

Préservation de la structure : En liant les mises à jour précoces à l'objectif source, le lissage de la perte empêche l'écrasement immédiat des représentations utiles et partagées par les tâches.
Dépendance au chemin : Les résultats suggèrent que le chemin emprunté pour atteindre un objectif en aval est important. Le surapprentissage catastrophique et la distorsion des caractéristiques peuvent être atténués par la manière dont le modèle passe du pré-entraînement au fine-tuning, plutôt que par la seule qualité du checkpoint pré-entraîné.
Généralité : Contrairement aux méthodes reposant sur des heuristiques de données spécifiques ou des contraintes architecturales, le lissage de la perte est une intervention générale applicable aux changements d'entrées, de signaux et de fonctions de perte.

Les auteurs restent modestes quant aux limites, notant que la méthode nécessite l'accès à l'objectif source ou une estimation de celui-ci (données de rejeu, cibles stockées) et introduit des hyperparamètres (horizon de lissage) qui peuvent nécessiter un réglage, particulièrement en RL en ligne où les changements de distribution sont continus et moins définis. Ils identifient la détection automatique des frontières de lissage et la gestion des échelles de perte incompatibles comme des directions pour les travaux futurs.