🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Ce papier présente l'Optimisation de Politique consciente de la Rétention (RaPO), une nouvelle méthode d'Affinement par Renforcement qui atténue l'oubli catastrophique dans l'apprentissage continu visuel en traitant l'Agnosticisme de la Dérive au niveau des Trajectoires par le façonnage de récompenses de rétention et la normalisation de l'avantage inter-tâches, atteignant ainsi des performances supérieures aux approches existantes.

Auteurs originaux : Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'IA « Poisson Rouge »

Imaginez que vous enseigniez à un robot très intelligent à reconnaître différents types d'oiseaux.

Lundi : Vous lui montrez une photo d'un Moineau. Il l'apprend parfaitement.
Mardi : Vous lui montrez une photo d'un Faucon. Il apprend le Faucon, mais soudainement, il oublie à quoi ressemble le Moineau. Il pense que le Moineau n'est qu'un petit Faucon.
Mercredi : Vous lui montrez un Hibou. Maintenant, il oublie le Moineau et le Faucon.

Ceci s'appelle l'Oubli Catastrophique. Le robot est comme un poisson rouge ayant une mémoire de trois secondes ; chaque fois qu'il apprend quelque chose de nouveau, il efface son cerveau des anciennes informations. C'est un énorme problème pour l'IA qui doit apprendre en continu dans le monde réel.

La Solution Actuelle (et pourquoi elle n'est pas parfaite)

Les chercheurs ont essayé deux méthodes principales pour résoudre ce problème :

Ajustement Fin Supervisé (SFT) : C'est comme un professeur strict qui dit : « Mémorisez cette réponse exactement. » Cela fonctionne passablement, mais le robot oublie rapidement les anciennes réponses.
Ajustement Fin par Renforcement (RFT) : C'est comme un entraîneur qui dit : « Essayez différentes façons de résoudre ce problème, et je vous donnerai une récompense si vous avez raison. » Des études récentes ont montré que cette méthode d'« entraîneur » (spécifiquement une technique appelée GRPO) est meilleure pour se souvenir que la méthode du « professeur ».

Cependant, les auteurs de ce document ont trouvé une limite : même la méthode d'« entraîneur » (GRPO) oublie beaucoup lorsque les tâches deviennent vraiment difficiles. C'est mieux que le professeur, mais ce n'est pas parfait.

La Découverte : Le Détective de la « Dérive »

Les chercheurs se sont demandé : Pourquoi la méthode d'« entraîneur » oublie-t-elle encore des choses ?

Ils ont examiné de près comment le robot pense. Ils ont remarqué quelque chose d'étrange appelé Agnosticisme de la Dérive au Niveau des Trajectoires.

L'Analogie : Imaginez que le robot passe un examen. Il peut résoudre la question actuelle correctement de deux manières différentes.
- Manière A : Il utilise une logique très similaire à celle qu'il a utilisée pour résoudre les questions hier.
- Manière B : Il utilise une logique complètement sauvage et nouvelle, totalement différente de celle d'hier.
Le Problème : L'actuel « entraîneur » (GRPO) ne regarde que le score final. Si la Manière A et la Manière B répondent correctement à la question, l'entraîneur leur donne la même récompense. Il ne se soucie pas du fait que la Manière B « dérive » loin des anciennes connaissances du robot.
Le Résultat : Avec le temps, le robot continue de choisir les façons « sauvages » (Manière B) parce qu'elles rapportent des points. Finalement, il dérive si loin de ses connaissances originales qu'il oublie tout ce qu'il savait auparavant.

La Solution : RaPO (Optimisation de Politique Consciente de la Rétention)

Pour résoudre ce problème, les auteurs ont créé une nouvelle méthode appelée RaPO. Imaginez RaPO comme un « Entraîneur Intelligent » qui se soucie de deux choses : obtenir la bonne réponse et rester fidèle à qui vous étiez hier.

RaPO possède deux astuces principales :

1. L'« Ancre Mémoire » (Récompense de Rétention)

Comment ça marche : Chaque fois que le robot essaie de résoudre un problème, RaPO vérifie : « À quel point cette nouvelle façon de penser ressemble-t-elle à la façon dont vous pensiez hier ? »
L'Analogie : Imaginez que vous apprenez un nouveau mouvement de danse.
- Si vous apprenez un mouvement qui s'écoule naturellement de votre style précédent, l'entraîneur vous donne un bonus de points.
- Si vous apprenez un mouvement totalement chaotique qui brise votre rythme précédent, l'entraîneur vous donne moins de points, même si vous avez tout de même terminé la danse.
L'Objectif : Cela encourage le robot à apprendre de nouvelles choses sans abandonner complètement ses anciennes habitudes. Il pousse doucement le robot à rester proche de son « ancre mémoire ».

2. La « Main Stable » (Normalisation de l'Avantage Inter-tâches)

Comment ça marche : Lorsque le robot passe de l'apprentissage des « Oiseaux » à l'apprentissage des « Voitures », la difficulté des tâches change soudainement. Cela peut confondre le processus d'apprentissage du robot, le faisant osciller violemment entre une confiance excessive et un doute excessif.
L'Analogie : Imaginez que vous conduisez une voiture. Soudainement, vous passez d'une autoroute lisse à une route de terre cahoteuse. Si la suspension de votre voiture réagit instantanément à chaque cahot, vous allez accidenter.
La Correction : RaPO utilise un « amortisseur » (une moyenne mobile exponentielle). Au lieu de réagir aux cahots maintenant, il lisse les irrégularités au fil du temps. Cela maintient le rythme d'apprentissage du robot stable, même lorsque les tâches changent radicalement.

Les Résultats

Les chercheurs ont testé RaPO sur de nombreuses tâches visuelles différentes :

Reconnaître de nouveaux types d'images (Classification d'images).
Trouver des objets dans des photos (Détection d'objets).
Comprendre des vidéos (Classification de vidéos).

Le Résultat :
RaPO était le clair gagnant. Il apprenait de nouvelles choses aussi vite que les autres méthodes, mais oubliait beaucoup moins.

Dans un test, l'ancienne méthode oubliait environ 20 % de ce qu'elle avait appris.
RaPO n'oubliait qu'environ 4 %.

La Conclusion

Ce document ne dit pas simplement « l'IA devient plus intelligente ». Il résout spécifiquement le problème de comment enseigner à une IA à continuer d'apprendre de nouvelles choses sans effacer ses anciens souvenirs.

Ils ont découvert que simplement récompenser l'IA pour être « correcte » ne suffit pas. Vous devez aussi la récompenser pour être cohérente avec son moi passé. En ajoutant un « contrôle mémoire » et un « stabilisateur » au processus d'apprentissage, ils ont créé une IA capable de grandir sans perdre son identité.

Note : Le document se concentre entièrement sur les tâches de vision par ordinateur (images et vidéos) et ne prétend pas que ces méthodes sont actuellement utilisées pour le diagnostic médical, la surveillance ou d'autres applications spécifiques du monde réel pour le moment. C'est une étude fondamentale pour aider les futurs systèmes d'IA à apprendre en continu.

Résumé technique : Surmonter l'oubli catastrophique dans l'apprentissage continu visuel par affinage par renforcement

Énoncé du problème
Alors que des études récentes suggèrent que l'affinage par renforcement (RFT), et en particulier des méthodes comme l'optimisation de politique relative par groupe (GRPO), est intrinsèquement plus résilient à l'oubli catastrophique que l'affinage supervisé (SFT) dans les modèles de langage multimodaux de grande taille (MLLM), son efficacité dans des contextes exigeants d'apprentissage continu visuel (VCL) demeure un problème ouvert. Plus précisément, dans des scénarios sans répétition tels que l'apprentissage incrémental par classe (CIL) et l'apprentissage incrémental par domaine (DIL), le RFT standard souffre toujours d'un oubli non négligeable. Les auteurs identifient un goulot d'étranglement spécifique nommé l'agnosticisme de la dérive au niveau des trajectoires : parmi les déroulements candidats qui obtiennent des récompenses de tâche identiques, la divergence de Kullback-Leibler (KL) par rapport à la politique de la tâche précédente varie considérablement. Un comportement piloté uniquement par la récompense de tâche échoue à distinguer ces trajectoires, conduisant à une attribution de crédit qui favorise involontairement les solutions à forte dérive et accélère la perte des connaissances historiques.

Méthodologie : Optimisation de politique consciente de la rétention (RaPO)
Pour remédier à l'agnosticisme de la dérive au niveau des trajectoires, les auteurs proposent RaPO, une méthode RFT simple mais efficace qui atténue explicitement l'oubli par un façonnage de récompense au niveau des trajectoires. RaPO se compose de deux composants principaux :

Récompense de rétention : Ce composant convertit la dérive de distribution au niveau des trajectoires en un signal de récompense continu. Pour un déroulement $y_i$ généré par la politique actuelle $\pi_t$ , la dérive est mesurée comme le rapport de log-probabilité normalisé par la longueur par rapport à une politique ancre figée $\pi_{t-1}$ (la politique de la tâche précédente).
- La métrique de dérive est définie comme $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ .
- Cette dérive est mappée vers une récompense positive bornée $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$ , où une dérive plus faible produit une récompense plus élevée.
- La récompense totale est formulée comme $R_{total} = R_{task} + \lambda R_{ret}$ . Crucialement, cette récompense est ajoutée avant le calcul de l'avantage relatif par groupe. Cela garantit que, parmi les déroulements ayant des performances de tâche comparables, ceux qui restent plus proches de la politique ancre (préservant les connaissances antérieures) reçoivent des avantages plus élevés, orientant la politique vers des régions à faible dérive.
Normalisation de l'avantage inter-tâches (CTAN) : Pour contrer l'instabilité d'optimisation causée par des changements brusques dans les distributions de récompense aux frontières des tâches, RaPO remplace l'écart-type des récompenses par lot par une Moyenne Mobile Exponentielle (EMA) persistante $\hat{\sigma}$ .
- $\hat{\sigma}$ est mis à jour à travers les étapes d'optimisation et les frontières de tâches ( $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ ).
- L'avantage est calculé comme $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ .
- Ce mécanisme empêche l'échelle de l'avantage de s'effondrer ou d'exploser lors des transitions entre tâches, assurant une attribution de crédit stable tout au long du flux d'apprentissage continu.

Contributions clés

Identification empirique de l'agnosticisme de la dérive : L'article fournit la première analyse systématique montrant que le GRPO standard souffre d'agnosticisme de la dérive au niveau des trajectoires dans le VCL visuel, où des trajectoires à récompense égale présentent des degrés de dérive distributionnelle très différents par rapport aux tâches précédentes.
Cadre RaPO : Les auteurs introduisent RaPO, qui intègre une Récompense de Rétention et un CTAN pour pénaliser explicitement les déroulements à forte dérive et stabiliser les échelles d'optimisation, respectivement.
Évaluation complète : La méthode est évaluée sur cinq contextes divers d'apprentissage continu visuel : classification d'images incrémentale par classe, classification d'images incrémentale par domaine, détection d'objets incrémentale par classe, détection d'objets incrémentale par domaine, et classification vidéo incrémentale par classe.
Première exploration systématique : À la connaissance des auteurs, il s'agit du premier travail à explorer systématiquement le potentiel du RFT basé sur des vérificateurs pour l'apprentissage continu visuel.

Résultats expérimentaux
Des expériences extensives sur des jeux de données incluant ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 et Kinetics-200 démontrent que RaPO surpasse constamment de solides références (incluant SFT, EWC, LwF et GRPO standard).

Classification d'images : Sur ImageNet-R (10 tâches), RaPO a atteint une précision de 85,92 % avec seulement 4,69 % d'oubli, surpassant significativement GRPO (74,67 % de précision, 20,02 % d'oubli).
Détection d'objets : Sur COCO (5 tâches), RaPO a amélioré l'AP des boîtes de 14,64 % à 19,31 % tout en réduisant l'oubli de 6,67 % à 1,39 %.
Généralisation : RaPO a montré des performances robustes dans les contextes de classification vidéo et d'apprentissage incrémental par domaine, maintenant une forte plasticité pour les nouvelles tâches tout en préservant les connaissances historiques.
Études d'ablation : Les auteurs ont confirmé que la Récompense de Rétention et le CTAN sont complémentaires ; le retrait de l'un ou l'autre dégrade les performances. La méthode s'est également révélée robuste face aux choix d'hyperparamètres et efficace lorsqu'appliquée à d'autres algorithmes d'optimisation de politique (par exemple, SAPO).

Signification et affirmations
L'article affirme que, bien que le RFT soit naturellement plus résilient à l'oubli catastrophique que le SFT, il est insuffisant pour le VCL visuel exigeant sans intervention explicite contre la dérive au niveau des trajectoires. RaPO remédie à cela en modifiant le signal de récompense pour privilégier les déroulements préservant les connaissances, sans nécessiter de changements architecturaux ni de répétition de données. Les auteurs positionnent ce travail non pas comme une quête de références de pointe par une ingénierie complexe, mais comme une exploration fondamentale de la manière dont le RFT peut être adapté à l'apprentissage continu. Ils concluent que RaPO offre une stratégie simple et efficace qui réduit substantiellement l'oubli catastrophique tout en préservant les fortes capacités de raisonnement et d'adaptation des MLLM, espérant inspirer de nouvelles recherches dans l'apprentissage continu basé sur le RFT.