📊 statistics

Post-Training Augmentation Invariance

Ce travail propose un cadre pour l'invariance aux augmentations post-entraînement, démontrant que des adaptateurs légers entraînés avec des pertes spécifiques de type Markov-Wasserstein ou maximisation de corrélation de Wasserstein peuvent améliorer la robustesse d'un réseau pré-entraîné aux augmentations sans altérer ses performances sur les données originales ni nécessiter de fine-tuning.

Auteurs originaux : Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un expert en reconnaissance d'images, un cerveau artificiel très puissant (appelé modèle pré-entraîné) qui a appris à identifier des chats, des voitures ou des visages en regardant des millions de photos. Ce modèle est excellent, mais il a un défaut : il est très "rigide".

Si vous lui montrez une photo de chat, il le reconnaît. Mais si vous tournez la photo de 90 degrés, ou si vous ajoutez un peu de "neige" (du bruit) sur l'image, ce même expert panique et dit : "Ce n'est plus un chat !". C'est comme si vous lui aviez appris à reconnaître un chat uniquement dans une position parfaite, sous un éclairage idéal.

C'est là que cette recherche intervient. Les auteurs veulent donner à cet expert une nouvelle compétence (la capacité de voir les objets sous n'importe quel angle ou avec du bruit) sans lui faire perdre ses anciennes compétences (reconnaître les objets normaux).

Voici l'explication simple de leur méthode, avec des analogies :

1. Le Problème : Réapprendre ou Adapter ?

Habituellement, pour rendre un expert plus flexible, on le force à réapprendre tout depuis zéro avec des images tournées ou bruitées.

L'analogie : C'est comme si vous preniez un chef étoilé qui sait cuisiner un parfait bœuf bourguignon, et que vous le forciez à tout réapprendre en cuisinant des plats mexicains. À la fin, il risque d'oublier comment faire son bourguignon !
La solution de l'article : Ne touchez pas au cerveau de l'expert (ses poids sont "gelés"). Au lieu de cela, on lui ajoute un petit assistant (un "adaptateur") juste devant ses yeux.

2. L'Assistant (l'Adaptateur)

Cet assistant est un petit réseau de neurones très simple (comme un petit cerveau de 3 ans). Son travail est de regarder l'image, de la tourner ou de la nettoyer mentalement, et de la présenter à l'expert sous une forme que ce dernier comprend déjà.

L'analogie : Imaginez que l'expert est un vieux professeur qui ne parle que le français. L'assistant est un traducteur. Si vous arrivez en parlant un dialecte bizarre (une image tournée), le traducteur reformule votre phrase en français parfait pour que le professeur comprenne, sans que le professeur ait besoin d'apprendre le dialecte.

3. Le Défi : Ne pas gâcher le travail

Le vrai défi, c'est que si l'assistant est trop zélé, il va déformer les images normales.

L'analogie : Si le traducteur est trop créatif, il pourrait transformer une phrase simple ("Bonjour") en un poème complexe. Le professeur comprendra, mais il aura perdu la capacité de répondre simplement.
L'objectif : L'assistant doit être invisible pour les images normales (il ne les change pas) mais actif pour les images bizarres (il les corrige).

4. Les Deux Recettes Magiques (Les "Losses")

Les chercheurs ont testé plusieurs façons d'entraîner cet assistant. Ils ont découvert que deux méthodes fonctionnent, tandis que d'autres échouent lamentablement.

A. La Méthode "Miroir Parfait" (Markov-Wasserstein / MaWa)

C'est la méthode la plus précise.

Comment ça marche : On dit à l'assistant : "Si tu vois une image normale, renvoie-la telle quelle (comme un miroir). Si tu vois une image tournée, tourne-la mentalement pour qu'elle ressemble à l'image normale."
Le résultat : L'assistant apprend à être un isométrie (une transformation qui conserve les distances). C'est comme si vous aviez un traducteur qui garde exactement le même ton et la même structure, juste en changeant les mots pour qu'ils aient du sens.
Résultat : Sur des images tournées, la précision passe de 71 % à 94 %, tout en restant parfaite sur les images normales.

B. La Méthode "Colle Statistique" (Wasserstein Correlation / WaCo)

C'est une méthode un peu plus souple, qui permet même de réduire la taille des données (compression).

Comment ça marche : Au lieu de forcer l'assistant à copier l'image, on lui demande de s'assurer que l'image originale et l'image tournée "collent" statistiquement ensemble dans l'esprit du professeur.
L'analogie : C'est comme si on disait à l'assistant : "Assure-toi que le professeur voit la même 'essence' dans les deux images, même si les détails changent."
Résultat : Ça marche très bien aussi, et en plus, on peut utiliser cet assistant pour réduire la taille du fichier (compression) sans perdre trop de qualité.

5. Ce qui ne fonctionne PAS (Les mauvaises recettes)

Les chercheurs ont aussi testé des méthodes populaires (comme SimCLR ou HSIC), souvent utilisées pour créer des intelligences artificielles.

L'analogie : C'est comme essayer d'entraîner l'assistant en lui disant : "Regarde toutes les images de chats, peu importe leur forme, et regroupe-les toutes au même endroit !"
Le problème : L'assistant finit par tout mélanger. Il devient si bon pour regrouper les chats qu'il oublie la différence entre un chat et un chien. Il détruit la mémoire de l'expert.
Résultat : La précision s'effondre. L'expert devient confus.

En Résumé

Cette recherche propose une astuce géniale pour l'IA moderne :

Ne touchez pas au modèle puissant déjà entraîné (c'est cher et risqué).
Ajoutez un petit "filtre" ou "traducteur" devant lui.
Entraînez ce filtre avec une recette mathématique précise (Markov-Wasserstein ou WaCo) qui lui apprend à corriger les images tordues sans jamais déformer les images normales.

C'est comme donner des lunettes de soleil à un expert aveugle : il voit mieux dans le brouillard, mais il ne perd pas sa vue normale quand le soleil brille.

1. Problématique

L'objectif principal de ce travail est de résoudre le problème de l'invariance aux augmentations post-entraînement.

Contexte : Les modèles pré-entraînés à grande échelle (comme les Vision Transformers, CLIP, DINO) fournissent des caractéristiques (features) générales transférables à de nombreuses tâches. Cependant, ces modèles ne sont pas nécessairement invariants à des augmentations spécifiques (rotations, bruit, transformations affines) qui pourraient être critiques pour certaines applications (ex: imagerie satellite, médicale).
Défi : Retrainer un modèle fondamental pour le rendre invariant est coûteux en calcul et risque de dégrader les représentations apprises. De plus, le fine-tuning standard peut déformer l'espace latent pré-entraîné, rendant les caractéristiques originales inutilisables pour d'autres tâches.
Question centrale : Peut-on ajouter des propriétés d'invariance à un réseau pré-entraîné sans altérer son comportement sur la distribution d'entrée originale (non augmentée) et sans modifier les poids du réseau pré-entraîné ?

2. Méthodologie

Les auteurs proposent un cadre théorique et pratique basé sur l'ajout de réseaux adaptateurs (adapters) légers à l'espace latent d'un réseau pré-entraîné gelé.

A. Définitions Fondamentales

Encodeurs Augmentés : Ils définissent formellement les encodeurs augmentés comme des encodeurs probabilistes qui modélisent le processus d'augmentation aléatoire suivie du codage.
Invariance Post-Entraînement : Une invariance $(t, \mu_X, F, V)$ est définie pour un encodeur $E_\theta$ appliqué après un réseau pré-entraîné $F$ . L'objectif est que le composite $E_\theta \circ F$ soit invariant à l'augmentation $t$ , tout en préservant la structure métrique de la distribution latente originale $F_\sharp \mu_X$ via une application admissible $V$ (généralement une isométrie ou une isométrie locale approximative).

B. Perte de Formation (Loss Functions)

Deux fonctions de perte sont introduites pour entraîner l'adaptateur $E_\theta$ (un MLP à une couche cachée) :

Minimisation Markov-Wasserstein (MaWa) :
- Basée sur une erreur quadratique moyenne (MSE) ancrée.
- Elle force l'encodeur à préserver les features non augmentées (ancrage à l'identité) tout en rapprochant les features augmentées des features originales correspondantes.
- Formellement, elle minimise la distance Markov-Wasserstein entre le noyau de l'encodeur augmenté et l'identité.
- Avantage : Évite l'effondrement (collapse) de l'espace latent, un problème courant avec les pertes d'invariance naïves.
Maximisation de la Corrélation de Wasserstein (WaCo) :
- Maximise la corrélation de Wasserstein de la distribution conjointe induite par l'encodeur augmenté.
- Contrairement aux méthodes de contraste (comme SimCLR) qui cherchent à regrouper des points sémantiquement similaires, WaCo cherche à préserver la structure métrique de la distribution d'entrée tout en rendant les vues augmentées invariants.
- Particularité : Elle permet également la réduction de dimensionnalité tout en agissant comme une isométrie locale approximative.

C. Comparaison avec d'autres approches

Les auteurs comparent leurs méthodes avec :

SimCLR (Contraste) : Bien qu'efficace pour l'apprentissage de représentations de zéro, il dégrade l'espace latent pré-entraîné en modifiant sa géométrie, rendant les features originales inutilisables.
HSIC (Critère d'Indépendance de Hilbert-Schmidt) : Produit des résultats similaires à SimCLR, corrompant l'espace latent et échouant à préserver la structure.

3. Contributions Clés

Formalisation Mathématique : Définition précise de l'invariance post-entraînement via la notion d'encodeurs augmentés et de préservation de structure (isométrie).
Nouvelles Fonctions de Perte : Introduction de la minimisation Markov-Wasserstein et de la maximisation de la corrélation de Wasserstein comme objectifs d'entraînement pour l'invariance.
Preuve Empirique : Démonstration que des réseaux adaptateurs simples (MLP à une couche) entraînés avec ces pertes améliorent considérablement l'invariance sans fine-tuning du modèle principal.
Analyse de la Structure : Mise en évidence que les méthodes proposées préservent la géométrie de l'espace latent, contrairement aux méthodes contrastives.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données STL10 (et TinyImageNet) avec divers modèles pré-entraînés (DINOv2, SwAV, CLIP, ResNet50).

Performance en Classification :
- Rotation : Avec DINOv2, la précision sur des images arbitrairement rotées passe de 71 % (sans adaptateur) à 94 % avec l'adaptateur MaWa.
- Bruit (Noise) : La précision passe de 58 % à 86 %.
- Ces résultats sont obtenus avec un adaptateur léger et sans toucher aux poids du modèle pré-entraîné.
Préservation de la Structure :
- Les méthodes MaWa et WaCo préservent la structure métrique de l'espace latent (coefficients de détermination $R^2$ élevés, distorsions faibles).
- Les méthodes SimCLR et HSIC provoquent une corruption majeure de l'espace latent ( $R^2$ très bas, distorsion des distances), rendant les features inutilisables pour des tâches en aval non augmentées.
Limites et Collision Rate :
- L'efficacité de MaWa dépend du "taux de collision" (collision rate) des features pré-entraînées. Si les augmentations créent des collisions sémantiques irréversibles (comme c'est le cas pour un ResNet50 supervisé sur des images bruyantes), MaWa peut échouer. WaCo est plus robuste dans ces cas, bien que moins performant.

5. Signification et Impact

Ce travail apporte une solution élégante et efficace au problème de l'adaptation des modèles pré-entraînés à des contraintes d'invariance spécifiques :

Efficacité : Il évite le coût computationnel du réentraînement ou du fine-tuning complet.
Sécurité des Représentations : Il garantit que les capacités générales du modèle pré-entraîné ne sont pas compromises, contrairement aux méthodes d'adaptation traditionnelles qui risquent de "casser" l'espace latent.
Généralité : La méthode fonctionne sur une variété d'architectures (Transformers, CNN) et d'objectifs d'entraînement (auto-supervisés, supervisés).
Perspectives : Les résultats suggèrent que ces méthodes pourraient être appliquées à la robustesse adversariale en traitant les attaques comme des augmentations, offrant une voie vers des espaces latents robustes sans entraînement adversarial explicite.

En résumé, l'article démontre qu'il est possible d'ajouter des propriétés d'invariance ciblées à des modèles de vision modernes en utilisant de petits adaptateurs entraînés avec des objectifs basés sur le transport optimal, tout en préservant l'intégrité des représentations originales.