💬 NLP

Continual Visual Learning under Evolving Semantic Concept Shift

Cet article présente SemReWrite, un cadre conçu pour gérer l'évolution des glissements de concepts sémantiques dans les modèles visuels fondamentaux en mettant à jour sélectivement les correspondances visuo-sémantiques obsolètes tout en préservant les connaissances valides, validé par un nouveau banc d'essai (EvoShift-Bench) et des métriques d'évaluation spécialisées.

Auteurs originaux : Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Publié 2026-08-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les règles de dénomination des choses changent, mais où les choses elles-mêmes ne changent pas. Une voiture reste une voiture sur chaque photographie, pourtant une nouvelle loi de la circulation pourrait soudainement nous obliger à distinguer un « véhicule privé », un « camion commercial » et un « véhicule de secours » en se basant sur des détails subtils qui étaient auparavant ignorés. De la même manière, un oiseau qui était autrefois simplement appelé « moineau » pourrait être reclassé en deux espèces distinctes par une nouvelle étude scientifique, ou un défaut d'usine pourrait être redéfini par une norme de sécurité plus stricte. C'est la réalité des systèmes de vision par ordinateur à longue durée de vie : le monde visuel reste le même, mais la signification que nous lui attribuons évolue. Pendant des décades, les chercheurs en intelligence artificielle se sont concentrés sur l'apprentissage de la reconnaissance d'objets par les ordinateurs, même lorsque l'éclairage change ou que l'angle de la caméra varie. Cependant, un nouveau défi est apparu : comment apprendre à un ordinateur à mettre à jour son dictionnaire de significations sans effacer les connaissances qu'il a déjà acquises ?

Une équipe de chercheurs a abordé ce problème en développant un nouveau cadre appelé SemReWrite. Leur travail traite d'un scénario spécifique et difficile connu sous le nom de « décalage sémantique évolutif ». Dans cette situation, la preuve visuelle que l'IA voit ne change pas, mais la définition de ce que cette preuve représente change. Considérez un système de conduite autonome qui traite initialement tous les véhicules en mouvement comme une seule catégorie. Plus tard, une nouvelle politique exige que le système sépare les voitures particulières des véhicules de secours parce qu'ils nécessitent des actions différentes. Les images des voitures semblent identiques, mais la bonne réponse pour l'ordinateur a fondamentalement changé. Les méthodes traditionnelles de mise à jour des modèles d'IA échouent souvent ici. Si vous réentraînez simplement le modèle sur les nouvelles règles, il pourrait apprendre les nouvelles distinctions mais oublier comment gérer les anciennes catégories, toujours valides. Si vous essayez de protéger trop strictement les anciennes connaissances, le modèle pourrait refuser d'apprendre les nouvelles règles. Les chercheurs ont découvert que la solution n'est pas de choisir entre apprendre et se souvenir, mais de faire les deux de manière sélective.

Le cœur de leur approche est un système qui agit comme un éditeur méticuleux plutôt que comme une page blanche. Lorsque les règles sémantiques changent, le système analyse d'abord la différence entre l'ancienne définition et la nouvelle. Il utilise un petit nombre de nouveaux exemples, étiquetés avec les nouvelles règles, pour identifier précisément quelles parties du monde visuel sont affectées par ce changement. Par exemple, si la règle change pour distinguer les types de véhicules, le système identifie que les caractéristiques visuelles de la taille ou de la forme du véhicule sont désormais critiques, tandis que les caractations de la route ou de la météo sont devenues non pertinentes pour la nouvelle définition. Une fois qu'il sait où le changement importe, il applique une mise à jour ciblée uniquement à ces zones spécifiques du processus de décision du modèle. Le reste du modèle, qui gère les parties du monde qui n'ont pas changé, est laissé intact. Cela garantit que le système apprend les nouvelles définitions sans désapprendre accidentellement les anciennes, qui sont correctes.

Pour tester cette idée, les chercheurs ont créé un nouveau benchmark appelé EvoShift-Bench, qui simule diverses façons dont les significations peuvent évoluer. Ils ont testé des scénarios où une catégorie unique se divise en deux, où deux catégories fusionnent en une seule, où la frontière entre les catégories se déplace, et où de nouvelles catégories sont entièrement insérées. Ils ont également testé des situations où l'apparence visuelle du monde change en même temps que les définitions, comme lorsqu'un système entraîné sur des photos claires doit s'adapter à des croquis ou à des images en faible luminosité. Dans ces tests, le nouveau cadre a systématiquement surpassé les méthodes existantes. Alors que d'autres approches soit échouaient à apprendre les nouvelles règles, soit oubliaient les anciennes, cette méthode de réécriture sélective a obtenu un score élevé dans les deux domaines. Elle a réussi à apprendre les nouvelles distinctions tout en préservant la précision des concepts inchangés.

Les résultats montrent que le système est particulièrement efficace. Il peut apprendre ces nouvelles règles sémantiques en utilisant très peu d'exemples — parfois seulement un ou deux images par nouvelle catégorie. Cela est crucial car, dans le monde réel, obtenir un grand nombre d'images correctement étiquetées est souvent difficile et coûteux. Les chercheurs ont également constaté que le système pouvait gérer une séquence de changements au fil du temps. À mesure que les règles évoluaient à travers plusieurs étapes, le système continuait de s'adapter sans accumuler d'erreurs ni perdre sa capacité à reconnaître les concepts stables. Crucialement, le système a été capable de supprimer les anciennes associations incorrectes. Il n'a pas seulement appris la nouvelle réponse ; il a activement cessé de prédire l'ancienne réponse, désormais erronée, pour les images concernées. Cette distinction est vitale : un bon système d'adaptation ne doit pas seulement savoir ce qui est vrai maintenant, mais aussi savoir ce qui ne l'est plus.

L'étude suggère que l'avenir des systèmes visuels à longue durée de vie réside dans ce type de mise à jour sélective. Au lieu de traiter toute connaissance comme étant également permanente ou également jetable, ces systèmes doivent être capables d'identifier quelles parties de leur compréhension sont devenues obsolètes et lesquelles restent valides. En combinant une compréhension claire de la manière dont les définitions ont changé avec un mécanisme précis pour mettre à jour uniquement les parties nécessaires du modèle, les chercheurs ont démontré une voie à suivre pour une IA capable de croître et de changer aux côtés du monde qu'elle observe. Ce travail ne prétend pas résoudre tous les problèmes de l'intelligence artificielle, mais il offre une méthode concrète et efficace pour gérer la réalité complexe et spécifique des changements de sens dans un monde visuel statique.

Résumé Technique : Apprentissage Visuel Continu sous un Changement Évolutif de Concept Sémantique

1. Définition du Problème : Changement Évolutif de Concept Sémantique

Le papier traite d'une limitation critique des modèles de fondation visuelle et des stratégies d'adaptation actuelles : l'hypothèse selon laquelle, bien que l'apparence des données puisse changer (décalage de covariable), la signification sémantique de la tâche de prédiction reste fixe. Dans les systèmes à longue durée de vie (ex. : conduite autonome, inspection industrielle, surveillance écologique), les définitions mêmes des concepts évoluent en raison de changements dans les taxonomies, les politiques ou les critères de décision.

Les auteurs définissent le Changement Évolutif de Concept Sémantique comme un scénario où la probabilité conditionnelle $P(Y|X)$ change même lorsque la distribution marginale de l'évidence visuelle $P(X)$ reste constante. Dans ce cadre :

La même entrée visuelle peut nécessiter une interprétation sémantique différente au fil du temps.
L'adaptation de domaine conventionnelle échoue car elle suppose que la sémantique de la tâche est statique.
L'apprentissage continu (CL) standard échoue car son objectif principal est d'empêcher tout oubli, alors que l'évolution sémantique nécessite l'oubli sélectif des associations obsolètes tout en préservant les associations valides.
Crucialement, ce décalage est souvent imidentifiable à partir de flux visuels non étiquetés seuls ; si la distribution des images ne change pas, les tests statistiques ne peuvent pas détecter que la règle d'étiquetage a changé. Par conséquent, l'adaptation nécessite une information latérale explicite concernant la révision sémantique.

2. Méthodologie : Le Cadre SEMREWRITE

Les auteurs proposent SEMREWRITE, un cadre conçu pour mettre à jour sélectivement les mappages visuo-sémantiques obsolètes tout en préservant les connaissances valides. Le cadre opère à travers quatre étapes principales :

A. Représentation du Changement Sémantique

Le système compare la spécification sémantique ancienne ( $S_t$ ) et la spécification révisée ( $S_{t+1}$ ) en utilisant un encodeur de texte gelé (ex. : issu de CLIP).

Prototypes : Les définitions sémantiques sont encodées sous forme de prototypes textuels normalisés ( $z_c$ ).
Delta Sémantique : Pour les concepts persistants, le changement est représenté par un vecteur de déplacement $\Delta z_c = z_{t+1}^c - z_t^c$ . Ce vecteur capture la direction du mouvement sémantique dans l'espace d'encodage du langage.
Mémoire de Graphe : Une mémoire de concept sémantique structurée ( $G_t$ ) maintient les relations (ex. : est-un, fait-partie-de) pour gérer des opérations complexes telles que la division, la fusion et la redéfinition de concepts.

B. Localisation des Concepts Affectés

Puisque le flux visuel seul ne peut révéler le décalage, le cadre combine la spécification sémantique avec un petit ensemble d'exemples de supervision révisés ( $D_{few}$ ) pour estimer quelles entrées sont affectées.

Discrépance Sémantique : Il calcule la divergence de Jensen-Shannon (JS) entre les anciennes et les nouvelles distributions de probabilité induites par le texte pour une entrée $x$ .
Localisateur au niveau de l'échantillon : Un réseau léger $g_\psi$ est entraîné sur les exemples révisés épars pour prédire une "cible de changement" $r_i$ , indiquant si l'étiquette d'une entrée a changé par rapport au modèle ancien.
Porte de Réécriture (Rewrite Gate) : Ces signaux sont combinés en une porte continue $a(x) \in [0, 1]$ , qui estime la probabilité qu'une entrée $x$ nécessite une réécriture sémantique.

C. Réécriture Sélective de Concept

Le cadre emploie un mécanisme d'adaptation de bas rang dépendant de l'entrée.

Mise à jour de Bas Rang : Au lieu de fine-tuner l'intégralité du backbone, il introduit des matrices de bas rang entraînables $U, V$ (style LoRA) pour créer une transformation résiduelle.
Adaptation Modulée : Le résidu est mis à l'échelle par la porte $a(x)$ $a (x)$ .
- Si $a(x) \approx 1$ (région affectée), le modèle applique une mise à jour forte pour s'aligner sur les nouvelles sémantiques.
- Si $a(x) \approx 0$ (région non affectée), le modèle reste proche de la représentation gelée, préservant ainsi les connaissances valides.

D. Objectifs d'Apprentissage

La perte d'entraînement ( $L_{total}$ ) est une somme pondérée de cinq composantes :

$L_{new}$ : Entropie croisée standard sur la supervision révisée pour apprendre la nouvelle règle.
$L_{pres}$ : Une perte de préservation qui distille les connaissances uniquement pour les concepts dont la sémantique est inchangée et la pondère par $(1-a(x))$ pour protéger les régions non affectées.
$L_{erase}$ : Un objectif pour supprimer explicitement la probabilité des anciennes décisions conflictuelles sur les échantillons affectés (empêchant les "fantômes" d'associations obsolètes).
$L_{sem}$ : Une perte de cohérence sémantique garantissant que les prototypes adaptés restent proches de leurs définitions textuelles et préservent les structures de graphes relationnels.
$L_{reg}$ : Une régularisation pour maintenir les mises à jour de bas rang compactes.

3. Contributions Clés

Formulation du Problème : Le papier définit formellement le Changement Évolutif de Concept Sémantique, le distinguant du décalage de covariable, de l'adaptation de domaine et de l'apprentissage incrémental de classes standard. Il souligne l'impossibilité théorique de détecter de tels décalages en utilisant uniquement des données visuelles non étiquetées.
Cadre (SEMREWRITE) : Une architecture novatrice qui couple une information latérale sémantique explicite avec une supervision éparse pour localiser les régions affectées et effectuer une réécriture de modèle sélective et dépendante de l'entrée.
Benchmark (EVOSHIFT-BENCH) : Une nouvelle suite d'évaluation couvrant ImageNet, iNaturalist, CUB-200-2011 et DomainNet. Elle couvre divers types de décalages : division de classe, fusion, révision de frontière, insertion, redéfinition partielle, récurrence et décalages mixtes sémantique-apparence.
Métriques d'Évaluation : Les auteurs introduisent des métriques spécifiquement conçues pour la révision sélective :
- Précision de Réécriture (RA) : Performance sur les régions affectées.
- Précision de Préservation (PA) : Performance sur les régions non affectées.
- Rétention d'Obsolescence (OR) : Probabilité retenue par les associations sémantiques obsolètes.
- Score de Révision Sélective (SRS) : Moyenne harmonique de la RA et de la PA pour équilibrer la réécriture et la préservation.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant CLIP ViT-B/16 (et validées sur SigLIP et DINOv2) contre des bases incluant le fine-tuning complet, LoRA, les méthodes d'apprentissage continu (EWC, LwF, Replay) et l'adaptation basée sur les prompts.

Équilibre de Performance : SEMREWRITE a obtenu le Score de Révision Sélective (SRS) le plus élevé sur tous les types de décalages (ex. : 90,7 % de SRS moyen contre 80,1 % pour le Fine-Tuning Complet et 81,5 % pour le Replay).
Oubli Sélectif : Alors que le Fine-Tuning Complet a atteint une RA élevée (84,7 %) mais une PA faible (80,1 %), indiquant un oubli catastrophique des concepts stables, SEMREWRITE a atteint à la fois une RA élevée (88,9 %) et une PA élevée (93,4 %).
Suppression de l'Obsolescence : SEMREWRITE a considérablement réduit la Rétention d'Obsolescence (OR) à 7,9 %, contre 13,6 % pour le Fine-Tuning Complet et 21,9 % pour le Replay, démontant sa capacité à supprimer activement les règles obsolètes plutôt que de simplement les écraser.
Efficacité de l'Annotation : La méthode est restée efficace avec une supervision extrêmement éparse (1-shot), exploitant la spécification sémantique comme un fort a priori.
Décalages Mixtes : Dans des scénarios combinant des décalages sémantiques avec des décalages de covariable (ex. : croquis ou corruption), SEMREWRITE a surpassé les méthodes d'adaptation de domaine (comme StatA) et les méthodes basées uniquement sur les prompts, qui échouent à gérer le changement simultané des règles de décision.
Évolution Continue : Sur cinq révisions séquentielles, SEMREWRITE a maintenu une PA supérieure à 92 % et a gardé un OR inférieur à 10 %, montrant une stabilité sans accumulation d'interférences.

5. Signification et Revendications

Le papier affirme qu'une adaptation réussie sous une évolution sémantique nécessite un changement de paradigme passant de "prévenir tout oubli" à "sélectionner la préservation de ce qui reste vrai tout en réécrivant ce qui est devenu obsolète".

Les auteurs soutiennent que :

Les méthodes d'adaptation standard sont insuffisantes car elles soit échouent à mettre à jour la frontière de décision (approche par prompt uniquement), soit détruisent les connaissances valides (fine-tuning global).
Les méthodes d'apprentissage continu sont insuffisantes car elles traitent toute connaissance précédente comme précieuse, échouant à distinguer entre l' "oubli nuisible" (perte de concepts valides) et l' "oubli désirable" (suppression d'associations obsolètes).
Le cadre SEMREWRITE proposé démontre qu'en modélisant explicitement le changement sémantique et en localisant son impact visuel, les modèles peuvent s'adapter à des définitions évolutives sans nécessifier un réentraînement massif ou souffrir d'interférence catastrophique.

L'étude conclut que le défi central des systèmes visuels à longue durée de vie n'est pas seulement d'apprendre de nouvelles distributions de données, mais de gérer dynamiquement la validité des mappages sémantiques à mesure que les définitions du monde changent.