🤖 machine learning

CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

CRAFT est un cadre d'apprentissage continu pour les grands modèles de langage qui atténue l'oubli catastrophique en apprenant des interventions de faible rang sur les représentations cachées grâce à un processus unifié en trois étapes de routage des tâches, d'affinage basé sur la divergence KL et de fusion des interventions, surpassant ainsi des approches basées sur LoRA performantes sur plusieurs benchmarks.

Auteurs originaux : Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un bibliothécaire brillant et hautement qualifié (le modèle de langage à grande échelle) qui connaît beaucoup d'histoire, de sciences et de cuisine. Vous souhaitez enseigner à ce bibliothécaire de nouvelles compétences chaque jour : aujourd'hui, c'est la programmation, demain la synthèse de documents juridiques, et le jour suivant, l'écriture poétique.

Le problème avec les méthodes d'enseignement traditionnelles est que, pour apprendre quelque chose de nouveau, le bibliothécaire doit réécrire son propre cerveau. À chaque fois qu'il apprend une nouvelle compétence, il efface ou brouille accidentellement les anciennes mémoires. Cela s'appelle « l'oubli catastrophique ». S'il apprend à coder, il risque d'oublier comment écrire de la poésie.

CRAFT est une nouvelle façon d'enseigner à ce bibliothécaire qui résout ce problème sans jamais réécrire son cerveau. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Les « Post-it » au lieu de réécrire le cerveau

Au lieu de forcer le bibliothécaire à modifier sa mémoire permanente (les poids du modèle), CRAFT lui fournit une pile de post-it (interventions).

Le Cerveau : Les connaissances originales du bibliothécaire restent figées et intactes. Elles ne changent jamais.
Les Post-it : Lorsqu'une nouvelle tâche arrive, CRAFT écrit une petite « instruction » de faible rang sur un post-it et le colle sur le processus de pensée actuel du bibliothécaire.
Le Résultat : Le bibliothécaire peut accomplir parfaitement la nouvelle tâche en utilisant le post-it, mais son cerveau original reste exactement tel qu'il était. Aucune ancienne mémoire n'est effacée car le cerveau lui-même n'a pas été touché.

2. Le « Trieur Intelligent » (Routage)

Vous ne pouvez pas simplement donner au bibliothécaire un post-it aléatoire pour chaque tâche ; ce serait chaotique. CRAFT utilise un Trieur Intelligent pour organiser ces notes.

L'Échauffement : Lorsqu'une nouvelle tâche arrive (par exemple, « Résumer une réunion »), CRAFT l'essaie brièvement pour voir quel genre d'« ambiance » ou de sortie elle produit.
La Correspondance : Il compare cette ambiance aux groupes existants de post-it qu'il possède déjà.
- Si la nouvelle tâche ressemble à « Actualités financières », elle est regroupée avec les post-it existants « Finance ».
- Si elle semble totalement différente, comme « Écrire du code Python », elle obtient son propre nouveau groupe.
Pas de Cerveau Supplémentaire : Crucialement, ce trieur n'a pas besoin d'apprendre quoi que ce soit de nouveau lui-même. Il regarde simplement la sortie et dit : « Oh, cela ressemble au Groupe A », ou « C'est nouveau, créons le Groupe B ».

3. Le « Gardien » (Contrôle de l'oubli)

C'est la partie la plus ingénieuse. Lorsque le bibliothécaire apprend une nouvelle tâche en utilisant un post-it, il existe un risque que cette nouvelle note perturbe accidentellement les anciennes notes du même groupe.

L'Ancre : CRAFT prend une « instantanée » de ce que le groupe savait avant l'arrivée de la nouvelle tâche. C'est l'Ancre.
La Vérification de Sécurité : Alors que le bibliothécaire apprend la nouvelle tâche, CRAFT vérifie constamment : « Vous éloignez-vous trop de ce que le groupe savait auparavant ? »
Le Signal KL : Il utilise une mesure mathématique appelée Divergence KL (pensez-y comme un « Mètre de Dérive ») pour mesurer la distance entre le nouveau comportement et l'ancien comportement.
- Si la dérive est faible, la nouvelle note est sûre à conserver.
- Si la dérive est énorme (ce qui signifie que la nouvelle tâche est trop différente et ruinerait les anciennes), le système arrête l'entraînement ou déplace la tâche vers un nouveau groupe.
La Fusion : Une fois la tâche apprise en toute sécurité, la nouvelle note est fusionnée dans le tas partagé du groupe, mettant à jour les connaissances du groupe sans casser les anciennes choses.

Pourquoi est-ce mieux ?

Efficacité : Il utilise beaucoup moins de « post-it » (paramètres) que les autres méthodes car il partage les notes entre des tâches similaires.
Pas d'oubli : Parce que le cerveau original est figé et que les notes sont soigneusement gérées, le bibliothécaire se souvient de tout ce qu'il a appris hier tout en apprenant aujourd'hui.
Simplicité : Il n'a pas besoin d'un système complexe de « porte » pour décider quoi faire ; il regarde simplement la sortie et s'organise naturellement.

En résumé

CRAFT traite l'apprentissage continu non pas comme une « réécriture du cerveau », mais comme l'organisation d'une bibliothèque de post-it. En gardant le cerveau figé et en utilisant un seul « Mètre de Dérive » pour s'assurer que les nouvelles notes ne perturbent pas les anciennes, il permet aux modèles de langage à grande échelle d'apprendre éternellement sans oublier qui ils sont.

Résumé Technique : CRAFT – Adaptation Basée sur l'Intervention Sensible à l'Oubli pour l'Apprentissage Continu

1. Énoncé du Problème

Les grands modèles de langage (LLM) souffrent d'un oubli catastrophique lorsqu'ils sont adaptés à de nouvelles tâches par ajustement fin (fine-tuning). Cela se produit parce que l'ajustement fin standard met à jour les mêmes paramètres qui encodent les connaissances antérieures, créant un compromis inhérent entre la plasticité (apprendre de nouvelles tâches) et la stabilité (retenir les anciennes). Les solutions existantes — telles que la régularisation (par exemple, EWC), les mécanismes de replay, ou les contraintes architecturales comme les pools LoRA — opèrent dans l'espace des paramètres, où le conflit prend naissance. Ces méthodes nécessitent souvent des mécanismes de routage appris (qui sont eux-mêmes sujets à l'oubli) ou des références fixes qui échouent à capturer les connaissances partagées en évolution.

L'article postule que l'apprentissage continu devrait être redéfini non pas comme un problème de compétition des paramètres, mais comme l'organisation et le contrôle des interventions au niveau des représentations. En maintenant les poids du modèle de base figés et en modifiant les représentations cachées dans un sous-espace de faible rang, la source d'interférence au niveau des poids est éliminée. Cependant, des défis subsistent dans l'apprentissage basé sur les représentations : comment partager la capacité entre des tâches similaires sans forcer des tâches non liées à entrer en compétition, comment router les tâches sans un portier appris, et comment contrôler l'oubli lors de l'adaptation sans limiter l'efficacité.

2. Méthodologie : CRAFT

CRAFT (Continual Representation-Anchored Fine-Tuning) est un cadre qui effectue le routage, l'adaptation et la fusion entièrement dans l'espace des représentations sans modifier les poids du modèle. Il exploite LoReFT (Low-rank Linear Subspace ReFT), qui modifie les états cachés $h^{(l)}$ à des positions de tokens spécifiques en utilisant une fonction d'intervention de faible rang $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$ .

Le cadre opère en trois étapes unifiées pilotées par un signal unique de divergence Kullback–Leibler (KL) :

A. Architecture d'Intervention

CRAFT répartit les interventions sur deux flux de prompts au sein du flux résiduel :

Flux f : Appliqué aux $t_{pos}$ premiers tokens (préfixe), encodant les instructions.
Flux l : Appliqué aux $t_{pos}$ derniers tokens (suffixe), où la sortie est engagée.
Les tâches au sein d'un groupe de tâches similaires $S_k$ partagent un état d'intervention commun $\phi_{S_k}$ , tandis que les tâches de groupes différents restent isolées.

B. Routage Déterministe (Sans Portier Appris)

Au lieu d'un routeur entraînable, CRAFT utilise la divergence de distribution de sortie pour assigner les tâches :

Échauffement : Une nouvelle tâche $\tau_t$ subit un bref échauffement ( $S_{wu}$ étapes) à partir d'une graine aléatoire partagée pour produire une intervention provisoire $\tilde{\phi}^{(t)}$ .
Calcul de Distance : La distribution de sortie $\pi_{\tilde{\phi}^{(t)}}$ est comparée aux distributions stockées des groupes existants $S_k$ en utilisant une distance KL symétrique normalisée :
$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$
où $D_K$ est la distance de la nouvelle tâche par rapport à la ligne de base, $D_{G_k}$ est la distance du groupe par rapport à la ligne de base, et $D_{KG_k}$ est la distance entre la tâche et le groupe.
Assignation : Si $d(t, k) \le \delta$ , la tâche rejoint le groupe $S_k$ . Sinon, un nouveau groupe est initialisé. Cela ne nécessite aucun paramètre de routage entraînable ni identifiant de tâche.

C. Adaptation et Fusion Régularisées par KL

Une fois assigné à un groupe $S_k$ :

Ancrage : L'état actuel du groupe $\phi_{S_k}$ est figé comme ancre $\phi_{anchor}$ .
Entraînement : L'intervention de la tâche $\phi^{(t)}$ $ϕ^{(t)}$ est entraînée sur la nouvelle tâche avec une fonction de perte :
$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$
Le terme KL agit comme un signal unifié qui :
- Régularise l'entraînement pour empêcher la dérive par rapport aux connaissances antérieures du groupe.
- Prédit l'oubli : Selon des lois empiriques (Shenfeld et al., 2025), une forte divergence KL est corrélée à l'oubli. Si la KL moyenne de l'époque initiale dépasse un seuil $\eta$ , la tâche est expulsée vers un nouveau groupe.
Fusion : À la convergence, le $\phi^{(t)}$ entraîné écrase l'état partagé $\phi_{S_k}$ .

3. Contributions Clés

Apprentissage Continu au Niveau des Interventions : CRAFT est le premier cadre à effectuer conjointement le routage, l'adaptation et la fusion entièrement dans l'espace des représentations sans modifier les poids du modèle.
Routage Déterministe sans Portiers Appris : Il élimine le besoin de paramètres de routage entraînables en utilisant un bref échauffement et la distance KL des distributions de sortie pour assigner les tâches, rendant le routeur robuste à l'oubli.
Contrôle Unifié de l'Oubli : Il introduit un signal unique basé sur la KL qui régule simultanément la dérive de l'entraînement, prédit l'oubli et régit l'intégration de nouvelles connaissances, remplaçant les heuristiques disjointes.
Validation Empirique : L'approche est validée sur trois LLM distincts (Llama-3.2-1B, Gemma-2B, Llama-2-7B) et des benchmarks diversifiés (TRACE, Math-LLM, séquences O-LoRA).

4. Résultats Expérimentaux

CRAFT a été évalué par rapport à des bases solides incluant SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA, et des méthodes récentes comme SAPT et TASL.

Gains de Performance : CRAFT améliore la Performance Globale (OP) jusqu'à 8,03 % (sur Llama-3.2-1B) par rapport aux meilleures méthodes de l'état de l'art.
Réduction de l'Oubli : Il réduit le taux d'oubli du Transfert Arrière (BWT) jusqu'à 6,49 %. Sur le flux de 15 tâches avec Llama-3.2-1B, CRAFT a atteint un BWT de 2,60 % contre 6,41 % pour TreeLoRA et 10,99 % pour O-LoRA.
Efficacité Paramétrique : CRAFT utilise 3,75 fois moins de paramètres d'intervention entraînables que les bases solides basées sur LoRA. Par exemple, sur Llama-3.2-1B avec 15 tâches, CRAFT n'a requis que 4,20 M de paramètres contre 15,73 M pour LoRA standard.
Robustesse : La méthode reste robuste face à différents ordres de tâches et est insensible aux variations du seuil de routage $\delta$ et de la longueur d'échauffement $S_{wu}$ dans un large plateau.
Invariance Inter-Groupe : L'analyse théorique et empirique confirme que l'entraînement d'une tâche dans un cluster n'affecte pas la sortie d'inférence des tâches dans d'autres clusters, car le champ d'optimisation ne touche que l'intervention du groupe spécifique.

5. Importance et Revendications

L'article revendique que contrôler l'adaptation dans l'espace des représentations, guidé par la divergence de l'espace de sortie, fournit une approche évolutive et fondée pour l'apprentissage continu.

Redéfinition du Compromis : En supprimant les mises à jour de poids, CRAFT déplace le compromis stabilité-plasticité d'une lutte dans l'espace des paramètres vers un problème d'organisation des modifications de représentations.
Contrôle Principé de l'Oubli : L'utilisation de la divergence KL comme signal unifié permet au système de mesurer et de contrôler directement l'oubli plutôt que de s'appuyer sur des proxies.
Évolutivité : Le cadre évolue avec le nombre de groupes de tâches découverts ( $K$ ) plutôt qu'avec le nombre total de tâches ( $T$ ), offrant une solution plus efficace pour les flux de tâches longs.
Limites : Les auteurs reconnaissent que le mécanisme de routage peut avoir des difficultés avec des tâches proches du plafond ou des flux où les tâches sont quasi-dupliquées mais présentées séquentiellement (par exemple, deux moitiés du même ensemble de données), car la distance KL symétrique peut saturer. Ils suggèrent que des travaux futurs pourraient impliquer l'initialisation des échauffements à partir de clusters existants pour gérer de tels cas.

En essence, CRAFT démontre que l'oubli catastrophique peut être efficacement contrôlé au niveau des sorties du modèle grâce à une édition structurée des représentations, sans nécessité de contraindre ou de modifier les poids de base sous-jacents.