🤖 machine learning

TRACER: Persistent Regularization for Robust Multimodal Finetuning

L'article présente TRACER, une méthode robuste de fine-tuning multimodal qui répond à l'oubli catastrophique et à l'effondrement de l'enseignant en employant un enseignant à Moyenne Mobile Pondérée (WMA) pour une régularisation persistante, améliorant ainsi considérablement la précision et l'étalonnage hors distribution.

Auteurs originaux : Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire brillante et bien voyageuse (le Modèle Préentraîné) qui connaît tout sur le monde : l'art, la science, l'histoire et la nature. Cette bibliothécaire a lu des millions de livres et peut reconnaître presque n'importe quoi instantanément.

Maintenant, vous engagez cette bibliothécaire pour travailler dans une bibliothèque très spécifique et étroite qui ne contient que des livres sur les aliments épicés. Vous voulez qu'elle devienne une experte des aliments épicés.

Le Problème : La Bibliothécaire « Oublieuse »

Si vous dites simplement à la bibliothécaire : « Oublie tout le reste, apprends uniquement les aliments épicés », elle fera un excellent travail pour identifier les piments. Mais, parce qu'elle est tellement concentrée sur la nouvelle tâche, elle commence à oublier ses anciennes connaissances. Si vous lui demandez soudainement : « Qu'est-ce qu'un tableau ? » ou « Qu'est-ce qu'un chat ? », elle pourrait avoir du mal ou donner une mauvaise réponse. Dans l'article, cela s'appelle l'Oubli Catastrophique. Le modèle devient excellent dans le nouveau travail mais terrible en tant que généraliste, ce qui le rend fragile face à des situations étranges ou inattendues (Hors Distribution).

Les Anciennes Solutions : Les Mentors « Statiques » et « Glissants »

Les chercheurs ont essayé de résoudre ce problème en donnant à la bibliothécaire un mentor pour l'aider à se souvenir des anciennes choses tout en apprenant les nouvelles.

Mentor Statique : Imaginez un mentor qui est une statue figée de la bibliothécaire du Jour 1. L'élève essaie de rester proche de cette statue.
- Le Défaut : La statue est trop rigide. Si l'élève doit bouger légèrement pour apprendre la nouvelle tâche « aliments épicés », la statue le tire trop fort en arrière. L'élève finit coincé au milieu, ne maîtrisant pas pleinement la nouvelle tâche ni ne conservant pas pleinement l'ancienne.
Mentor Glissant (EMA) : Imaginez un mentor qui est une « moyenne mobile » des récents pas de l'élève. À mesure que l'élève s'améliore dans la nouvelle tâche, le mentor se déplace juste à côté d'elle.
- Le Défaut : Au moment où l'élève devient experte, le mentor s'est déplacé si près qu'ils sont pratiquement la même personne. Le mentor cesse de fournir toute « traction » ou orientation utile. L'élève est laissée seule pour se spécialiser excessivement et oublier à nouveau les anciennes connaissances.

La Nouvelle Solution : TRACER (Le Mentor « Trajectoire »)

Les auteurs de cet article ont créé une nouvelle méthode appelée TRACER. Considérez TRACER comme un Mentor à Moyenne Mobile Pondérée (WMA).

Au lieu de regarder simplement la position actuelle de l'élève ou un passé figé, ce mentor examine l'ensemble du parcours que l'élève a effectué jusqu'à présent.

Comment cela fonctionne : Le mentor se souvient de la version originale « Jour 1 » de la bibliothécaire (les connaissances générales robustes) et des récents pas effectués pour apprendre la nouvelle tâche. Il utilise une « lentille » mathématique spéciale (appelée noyau Beta) qui garantit que le mentor n'oublie jamais le début du parcours, même alors que l'élève avance davantage.
Le Résultat : Le mentor fournit une « traction » constante et douce vers la version originale et robuste de la bibliothécaire. Cette traction est suffisamment forte pour empêcher la bibliothécaire d'oublier les anciennes choses, mais suffisamment flexible pour lui permettre d'apprendre parfaitement la nouvelle tâche des aliments épicés.

L'Approche « Chirurgicale »

L'article utilise des mathématiques complexes pour prouver que cette méthode fonctionne comme une opération chirurgicale :

La Partie « Parallèle » : Lorsque la bibliothécaire doit apprendre quelque chose de nouveau (comme les aliments épicés), la méthode lui permet de modifier son cerveau dans cette zone spécifique.
La Partie « Orthogonale » : Lorsqu'il s'agit de choses sans rapport avec les aliments épicés (comme reconnaître des chats ou des tableaux), la méthode agit comme un bouclier, maintenant ces parties du cerveau exactement telles qu'elles étaient.

Pourquoi Cela Compte (Dans le Contexte de l'Article)

Les auteurs ont testé cela sur CLIP, un modèle d'IA célèbre qui comprend à la fois les images et le texte. Ils ont constaté que :

Il n'oublie pas : Le modèle conserve sa capacité à reconnaître des choses générales (comme des chats, des voitures ou de l'art) même après avoir été entraîné sur des tâches spécifiques.
Il gère les surprises : Lorsque le modèle voit des images étranges (comme un chat dessiné dans un style croquis ou une photo avec un filtre), il fonctionne toujours bien. D'autres méthodes échouent ici car elles « surajustent » aux données d'entraînement.
Il est stable : Contrairement à d'autres méthodes qui nécessitent un timing très précis et délicat pour fonctionner, TRACER fonctionne bien quelle que soit la fréquence à laquelle vous mettez à jour le mentor.

Analogie de Résumé

Si l'entraînement d'une IA est comparable à l'enseignement d'un élève pour un examen final :

Entraînement Normal : L'élève étudie uniquement les sujets de l'examen et oublie tout le reste qu'il a appris à l'école.
Anciennes Méthodes : Le professeur reste soit immobile (trop rigide), soit marche avec l'élève (trop glissant), entraînant une perte de connaissances générales.
TRACER : Le professeur marche avec l'élève mais pointe constamment vers le carnet original de connaissances générales de l'élève, garantissant qu'il apprend le matériel de l'examen sans perdre la tête.

L'article conclut que cette « Ancrage Robuste de Trajectoire » (TRACER) est une méthode mathématiquement prouvée pour rendre les modèles d'IA plus intelligents dans de nouvelles tâches sans les rendre plus stupides pour tout le reste.

Résumé Technique : TRACER – Régularisation Persistante pour un Finetuning Robuste Multimodal

1. Énoncé du Problème

Les modèles multimodaux préentraînés, tels que CLIP, possèdent des capacités de transfert en zéro-shot remarquables dérivées d'un préentraînement à grande échelle. Cependant, l'adaptation de ces modèles à des tâches en aval via un finetuning standard conduit souvent à un oubli catastrophique, où le modèle sacrifie sa robustesse générale hors distribution (OOD) pour optimiser des motifs spécifiques à la tâche. Bien que diverses stratégies existent pour atténuer ce compromis (par exemple, la moyenne des poids, la régularisation L2, l'auto-distillation), elles souffrent souvent de limitations fondamentales.

Une limitation critique, largement négligée dans ce travail, est le comportement des enseignants Exponential Moving Average (EMA) standards utilisés dans le finetuning robuste. À mesure que l'entraînement converge et que le modèle étudiant approche l'enseignant, l'enseignant EMA s'effondre sur l'étudiant, provoquant la disparition du signal de régularisation précisément lorsque la robustesse OOD est la plus vulnérable. De plus, les méthodes d'auto-distillation statique introduisent un « biais d'ancrage » en fixant l'enseignant aux poids préentraînés initiaux, empêchant le modèle de converger pleinement vers la solution optimale de la tâche dans le sous-espace de la tâche.

2. Méthodologie : TRACER

Les auteurs proposent TRACER (Trajectory-Robust Anchoring for Contrastive Encoder Regularization), un cadre de finetuning fondé sur une nouvelle analyse théorique de l'apprentissage contrastif.

2.1 Cadre Théorique

L'article développe un cadre théorique pour le finetuning contrastif multimodal en linéarisant les encodeurs d'images et de texte. Les insights théoriques clés incluent :

Reformulation de la Matrice Cible Contrastive : L'objectif d'apprentissage contrastif multimodal linéarisé (MMCL) est reformulé comme un problème de moindres carrés matriciel piloté par une « matrice cible contrastive » ( $Y_{FT}$ ). Cela permet des solutions sous forme fermée pour diverses stratégies de finetuning.
Décomposition Géométrique : L'analyse révèle que le finetuning implique deux comportements géométriques distincts :
1. Préservation Orthogonale : Maintien des connaissances préentraînées dans des directions orthogonales aux données de finetuning.
2. Mélange du Sous-espace de la Tâche : Adaptation ou mélange des connaissances au sein du sous-espace engendré par les données de finetuning.
Limitations des Méthodes Existantes :
- Le Finetuning Direct rejette les connaissances préentraînées dans le sous-espace de la tâche.
- La Régularisation L2 crée un mélange complexe et non chirurgical des anciens et des nouveaux poids.
- L'Auto-distillation Statique préserve les connaissances orthogonales mais introduit un biais dans le sous-espace de la tâche, empêchant la convergence vers la solution optimale de la tâche.
- Les Enseignants EMA souffrent d'un effondrement du signal à mesure que l'enseignant et l'étudiant convergent.

2.2 L'Enseignant WMA

Pour remédier à l'effondrement des enseignants EMA et au biais des enseignants statiques, TRACER introduit un enseignant Moyenne Mobile Pondérée (WMA).

Mécanisme : Contrairement à l'EMA, qui pondère l'historique en fonction de la récence, l'enseignant WMA pondère l'ensemble de la trajectoire de l'étudiant sur la base d'un noyau de temps normalisé (par exemple, une distribution Beta).
Régularisation Persistante : En utilisant un noyau qui place du poids à la fois sur les états précoces (préentraînés) et tardifs (convergés), l'enseignant WMA maintient une force de régularisation persistante sur des horizons d'entraînement finis. Il empêche l'écart enseignant-étudiant de disparaître trop tôt.
Convergence Sans Biais : Les auteurs prouvent que l'enseignant WMA permet à l'étudiant de converger vers la solution de tâche de norme minimale au sein du sous-espace de la tâche (éliminant le biais d'ancrage statique) tout en préservant strictement les connaissances dans le sous-espace orthogonal.

2.3 Objectif d'Entraînement

TRACER combine la perte InfoNCE symétrique standard avec une perte d'auto-distillation dynamique guidée par l'enseignant WMA :
$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$
La perte de distillation ( $L_{SD-WMA}$ ) est une composite de quatre perspectives pour opérationnaliser les principes géométriques :

Distillation de Caractéristiques (FD) : Aligne les embeddings de l'étudiant et de l'enseignant.
Distillation Relationnelle Contrastive (CRD) : Correspond aux distributions de similarité par lot.
Apprentissage Contrastif Interactif (ICL) : Encourage l'alignement croisé modal étudiant-enseignant.
Distillation de Connaissance Croisée (Cross-KD) : Aligne les logits croisés modaux pour transférer la structure relationnelle.

3. Contributions Clés

Reformulation Théorique : Introduction de la « matrice cible contrastive » pour reformuler la perte contrastive linéarisée comme un problème de moindres carrés, permettant des solutions sous forme fermée et une décomposition géométrique des stratégies de finetuning.
Identification de l'Effondrement de l'Enseignant : Démonstration que les enseignants EMA standards souffrent d'un effondrement inhérent, affaiblissant la régularisation exactement lorsque la robustesse OOD est la plus fragile.
Enseignant WMA et Convergence Sans Biais : Démonstration qu'un enseignant à Moyenne Mobile Pondérée maintient un signal de régularisation persistant et atteint une convergence sans biais dans le sous-espace de la tâche tout en préservant les connaissances orthogonales.
Implémentation TRACER : Incarnation de ces principes dans une méthode pratique combinant l'apprentissage contrastif avec une distillation multi-perspectives guidée par WMA.

4. Résultats Expérimentaux

Les auteurs ont évalué TRACER sur des modèles CLIP (ViT-B/16, ViT-L/14, ResNet50) finetunés sur ImageNet-1K et testés sur cinq décalages de distribution OOD (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

Performance OOD : TRACER a constamment surpassé les bases de l'état de l'art (incluant LP-FT, FLYP, Lipsum-FT, CaRot et Model Stock) en précision OOD moyenne. Par exemple, sur ViT-B/16, TRACER a atteint 64,07 % de précision OOD moyenne contre 62,54 % pour CaRot et 59,91 % pour LP-FT.
Calibration : TRACER a obtenu l'erreur de calibration attendue (ECE) la plus faible sur les ensembles de données OOD, indiquant une fiabilité probabiliste améliorée sous des décalages de distribution.
Préservation Géométrique : L'analyse de similarité représentative couche par couche (CKA et SVCCA) a montré que tandis que le Finetuning Direct provoquait une dérive significative dans les couches profondes (oubli), TRACER maintenait une similarité > 0,97 avec le modèle préentraîné sur toutes les couches.
Études d'Ablation : Des ablations complètes ont confirmé que :
- Les composants de distillation multi-perspectives sont complémentaires.
- Une force de distillation modérée ( $\lambda_{SD} \approx 1,0-2,0$ ) offre le meilleur compromis ID-OOD.
- La méthode est robuste aux fréquences de mise à jour de l'enseignant (contrairement à CaRot, qui nécessite une planification fragile).
- Un pondération de type arcsinus (Beta(0,5, 0,5)) est la plus efficace pour le noyau.
Efficacité : TRACER est computationnellement plus efficace que CaRot, évitant le coût de régularisation spectrale $O(d^3)$ , avec une surcharge de seulement $O(B^2)$ pour la distillation.

5. Signification et Revendications

L'article revendique que TRACER comble le fossé entre la géométrie du finetuning et la conception pratique de méthodes robustes. En prouvant théoriquement que la régularisation de trajectoire avec un enseignant WMA empêche l'effondrement du signal de régularisation, la méthode offre une solution fondée sur des principes à l'oubli catastrophique dans les modèles multimodaux.

Les auteurs soulignent que leur travail est purement défensif, visant à améliorer la fiabilité des modèles de base dans des applications réelles où les entrées peuvent différer des données d'entraînement (par exemple, l'imagerie médicale, les systèmes autonomes). Ils déclarent explicitement que la méthode n'accélère pas les capacités nuisibles mais atténue plutôt le surapprentissage et améliore la généralisation. L'analyse théorique est actuellement développée dans un régime linéarisé, avec des travaux futurs suggérés pour des extensions aux noyaux tangents neuronaux (NTK) et aux paramètres à fonction aléatoire pour les modèles non linéaires plus grands.