🤖 machine learning

Memory-Efficient Continual Learning with CLIP Models

Cet article propose une méthode d'apprentissage continu robuste sur le plan distributionnel et économe en mémoire qui réattribue dynamiquement les pertes par classe pour permettre aux modèles CLIP de s'adapter à de nouvelles tâches tout en minimisant l'oubli catastrophique, même avec des tampons mémoire minimaux.

Auteurs originaux : Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant surdoué nommé CLIP. Cet étudiant est exceptionnel pour relier des images à des mots. Si vous lui montrez une photo de chat et le mot « chat », il comprend instantanément le lien. Il a étudié une bibliothèque massive de livres et de photos, il connaît donc beaucoup de choses sur le monde.

Cependant, il y a un problème. Si vous essayez d'enseigner à cet étudiant quelque chose de nouveau — par exemple, comment reconnaître un type spécifique d'oiseau rare — il risque d'oublier par inadvertance tout ce qu'il savait sur les chats ordinaires. C'est ce qu'on appelle « l'oubli catastrophique ». C'est comme essayer d'écrire un nouveau chapitre dans un livre, mais l'encre est si humide qu'elle efface les pages précédentes.

L'article de Ryan King et de son équipe à l'Université Texas A&M se demande : Comment enseigner à cet étudiant de nouvelles choses sans effacer les anciennes, surtout lorsque nous n'avons pas beaucoup d'espace pour conserver d'anciennes notes ?

Voici comment ils ont résolu le problème, en utilisant deux idées principales :

1. Le Problème : Le « Petit Sac à Dos »

Habituellement, pour empêcher un étudiant d'oublier, les enseignants lui donnent un « tampon mémoire ». C'est comme un sac à dos où l'étudiant garde quelques exemples de tout ce qu'il a appris auparavant (anciennes photos de chats, de chiens, de voitures, etc.). Lorsqu'il apprend quelque chose de nouveau, l'enseignant sort les anciennes photos pour rappeler à l'étudiant : « Hé, n'oublie pas ça ! »

Mais dans le monde réel, nous ne pouvons souvent pas porter un énorme sac à dos. Peut-être n'avons-nous de la place que pour quelques photos. Lorsque le sac à dos est petit, l'étudiant se confond. Il se concentre trop sur la nouvelle chose et abandonne l'ancienne. L'article a montré que les méthodes standard échouent lorsque ce « sac à dos » est trop petit.

2. La Solution : Deux Nouvelles Stratégies Pédagogiques

Les auteurs ont proposé deux façons de résoudre ce problème, toutes deux basées sur la façon dont l'étudiant apprend.

Stratégie A : La « Étreinte de Groupe Globale » (Perte de Contraste Globale)

Imaginez que l'étudiant apprend à trier des photos. Au lieu de regarder une seule photo à la fois, cette méthode demande à l'étudiant de regarder le groupe entier de photos qu'il possède (les nouvelles et les quelques anciennes dans le sac à dos) tous en même temps.

Comment cela fonctionne : L'étudiant apprend à rapprocher les choses similaires (comme tous les chats) et à éloigner les choses différentes (chats vs chiens).
L'astuce : Parce que l'étudiant regarde le groupe entier, il ne se confond pas avec une seule nouvelle photo. Il se souvient de la « forme » des connaissances anciennes.
Idéal pour : Lorsque vous avez un sac à dos de taille moyenne à grande. Cela fonctionne très bien lorsque vous avez suffisamment d'anciens exemples pour maintenir l'étreinte de groupe équilibrée.

Stratégie B : Le « Coach Exigeant » (Optimisation Robuste Distributionnelle)

C'est la grande innovation de l'article lorsque le sac à dos est très petit.

Imaginez que l'étudiant passe un examen. Certaines questions sont faciles (il connaît la réponse) et d'autres sont difficiles (il continue de se tromper). Un enseignant normal pourrait simplement passer à autre chose après que l'étudiant a eu quelques bonnes réponses. Mais cette méthode de « Coach Exigeant » dit : « Stop ! Nous devons nous concentrer sur les questions difficiles ! »

Comment cela fonctionne : Le système détecte automatiquement quelles classes (comme des types spécifiques d'oiseaux) posent le plus de problèmes à l'étudiant ou sont sous-représentées dans le petit sac à dos. Il accorde ensuite à ces exemples difficiles un poids supplémentaire ou une importance accrue pendant l'entraînement.
La métaphore : C'est comme un entraîneur qui remarque qu'un joueur a du mal avec les lancers gauchers. Au lieu de tout pratiquer également, l'entraîneur passe 80 % du temps sur les lancers gauchers jusqu'à ce que le joueur s'améliore.
Idéal pour : Lorsque le sac à dos est minuscule. Cela garantit que l'étudiant n'ignore pas les anciens détails oubliés simplement parce qu'il ne reste pas beaucoup d'exemples.

3. Les Résultats : Qu'est-il arrivé ?

L'équipe a testé ces méthodes sur deux types de défis :

Apprendre de nouvelles catégories : Comme passer de la connaissance de 100 types d'animaux à l'apprentissage de 100 autres.
Apprendre de nouveaux environnements : Comme apprendre à reconnaître les mêmes animaux, mais maintenant ils sont dans différents styles de photos (dessins animés, croquis, vie réelle).

Les constatations étaient les suivantes :

Les méthodes standard (comme celles utilisées auparavant) ont échoué lorsque le sac à dos mémoire était petit. Elles ont oublié les anciennes choses rapidement.
La « Étreinte de Groupe Globale » a très bien fonctionné lorsqu'il y avait assez d'espace pour conserver un nombre décent d'anciens exemples.
Le « Coach Exigeant » (DRO) a été la star pour les petits sacs à dos. Même avec très peu d'anciens exemples, il a maintenu la mémoire de l'étudiant vive et l'a empêché d'oublier le passé tout en apprenant l'avenir.

La Conclusion

L'article montre qu'en changeant la façon dont le modèle prête attention à ses anciennes mémoires — soit en regardant le groupe entier, soit en se concentrant encore plus fort sur les parties difficiles — nous pouvons enseigner à l'IA d'apprendre continuellement sans perdre son passé. C'est comme enseigner à un étudiant à être un apprenant à vie qui n'oublie jamais ses premières leçons, même lorsqu'il est occupé à étudier pour ses examens finaux.

Résumé technique : Apprentissage continu économe en mémoire avec des modèles CLIP

Énoncé du problème
Les modèles de Préentraînement Contrastif Langage-Image (CLIP) démontrent des capacités supérieures dans la compréhension des relations image-texte, mais font face à des défis majeurs lors de l'adaptation à de nouveaux flux de données sans oublier les connaissances antérieures (oubli catastrophique). Bien que l'apprentissage continu (CL) soit essentiel pour les environnements dynamiques, son application aux modèles CLIP reste peu explorée. Les approches existantes reposent souvent sur des mémoires tampons contenant des données de tâches passées pour réviser les anciennes informations. Cependant, la fonction de perte contrastive de CLIP souffre lorsque ces mémoires tampons sont de petite taille, entraînant une dégradation des performances sur les tâches précédentes. Le défi central abordé consiste à exploiter efficacement des mémoires tampons limitées dans l'apprentissage continu basé sur CLIP pour équilibrer les performances sur les nouvelles tâches tout en conservant les connaissances des anciennes tâches.

Méthodologie
Les auteurs proposent deux approches distinctes pour étendre CLIP aux contextes d'apprentissage incrémental par classe et d'apprentissage incrémental par domaine, en utilisant un objectif d'apprentissage contrastif bimodal qui encode conjointement les images et les étiquettes textuelles.

Perte Contrastive Globale (GCL) :
- Mécanisme : Cette approche traite les anciennes et les nouvelles données de manière égale lors du fine-tuning. Elle définit un objectif contrastif sur l'union des données de la tâche actuelle ( $D_t$ ) et d'une banque de mémoire ( $M_t$ ) d'échantillons passés.
- Optimisation : Pour gérer le coût computationnel de la sommation sur l'ensemble du jeu de données pour les termes contrastifs, la méthode emploie des estimateurs à moyenne mobile ( $u^I$ et $u^T$ ) pour les composantes du gradient. Cela permet au modèle de maintenir une vue « globale » de la distribution des données à travers les tâches, permettant aux informations des tâches antérieures d'informer les mises à jour de gradient actuelles sans nécessiter le recalcul complet du jeu de données.
- Objectif : Améliorer la résistance à l'oubli catastrophique en intégrant conjointement les étiquettes et les images, en exploitant les capacités pré-entraînées de CLIP.
Optimisation Robuste Distributivement par Groupe (GDRO) :
- Motivation : Dans les scénarios avec des tailles de mémoire fixes, le nombre d'exemples par classe diminue à mesure que de nouvelles tâches sont ajoutées, créant un déséquilibre entre les distributions des tâches précédentes et actuelles. La GCL standard peine à gérer ce déséquilibre.
- Mécanisme : Cette méthode introduit un objectif de DRO par groupe qui répondère dynamiquement les pertes par classe. Elle attribue un poids plus élevé aux classes présentant des pertes plus importantes (classes plus difficiles) pendant l'entraînement.
- Optimisation : L'objectif est formulé comme un problème minimax ( $\min_w \max_{p \in \Delta} \sum p_k h_k$ ), qui est équivalentement exprimé à l'aide d'une formulation log-sum-exp. Pour relever le défi des fonctions imbriquées dans l'estimation du gradient, les auteurs appliquent l'Optimisation Stochastique Composée. Ils maintiennent des estimateurs à moyenne mobile pour les termes de perte et les composantes contrastives, permettant un calcul efficace du gradient à l'aide de mini-lots.

Contributions clés

Cadre Contrastif Bimodal : L'article étend CLIP à l'apprentissage continu en proposant un objectif contrastif bimodal qui intègre conjointement les images et les étiquettes textuelles, améliorant l'adaptabilité et la rétention par rapport aux classifieurs linéaires standards.
Algorithmes Économes en Mémoire : Les auteurs introduisent la GCL et la GDRO, spécifiquement conçues pour fonctionner efficacement même avec une utilisation minimale de la mémoire.
Répondération Dynamique : La méthode GDRO adresse spécifiquement le déséquilibre de classes inhérent aux mémoires tampons de taille fixe en répondérant dynamiquement les pertes, garantissant des performances robustes lorsque la mémoire est contrainte.

Résultats expérimentaux
Les méthodes ont été évaluées sur des jeux de données d'apprentissage incrémental par classe (CIFAR-100, ImageNet1K) et un jeu de données d'apprentissage incrémental par domaine (DomainNet), en utilisant un encodeur CLIP ViT-B/16 pré-entraîné.

ImageNet1K (Incrémental par classe) : Les méthodes proposées ont nettement surpassé les références (incluant EWC, DER, iCaRL, Co2L et FOSTER) sur toutes les tailles de mémoire. Notamment, les approches contrastives unimodales comme Co2L ont connu des baisses de performances abruptes à mesure que la taille de la mémoire diminuait, tandis que les méthodes proposées ont maintenu leur robustesse.
CIFAR-100 (Incrémental par classe) : À mesure que la taille de la mémoire diminuait, la méthode GDRO a maintenu des performances comparables à une évaluation zero-shot, indiquant une solide rétention malgré un certain oubli. Bien que la méthode contrastive (GCL) ait mieux performé avec une mémoire plus grande, ses performances se sont dégradées significativement sans mémoire. En revanche, la GDRO est restée stable sous des contraintes de mémoire strictes.
DomainNet (Incrémental par domaine) : Les deux méthodes ont surpassé les résultats de référence zero-shot. Alors que les méthodes contrastives comme CaSSLe ont eu du mal à conserver les connaissances sans banque de mémoire, l'objectif GDRO a démontré une rétention et une adaptabilité supérieures par rapport à la GCL après l'achèvement de toutes les tâches.

Signification et affirmations
L'article affirme que l'intégration des données d'entrée et des étiquettes au sein d'un cadre contrastif bimodal réduit l'oubli catastrophique plus efficacement que les approches traditionnelles de classifieurs linéaires. La signification de ce travail réside dans la démonstration que :

Apprentissage Multimodal : Exploiter l'intégration conjointe d'images et de texte inhérente à CLIP est bénéfique pour l'apprentissage continu dans des environnements dynamiques.
Pondération Adaptative : La pondération dynamique des classes (via GDRO) est particulièrement efficace pour conserver les connaissances lorsque les ressources mémoire sont limitées, adressant un goulot d'étranglement clé dans l'apprentissage continu basé sur la mémoire.
Efficacité : Les méthodes proposées permettent aux modèles CLIP de s'adapter rapidement à de nouvelles tâches tout en minimisant l'oubli catastrophique, même avec une utilisation minimale de la mémoire, les rendant adaptées aux flux de données réels contraints en ressources.