🤖 machine learning

Skill Neologisms: Towards Skill-based Continual Learning

Ce papier propose des « néologismes de compétences », qui sont des tokens souples optimisés intégrés au vocabulaire d'un LLM, en tant que solution évolutive pour l'apprentissage continu permettant au modèle d'acquérir et de composer de nouvelles compétences sans mise à jour des poids ni oubli catastrophique.

Auteurs originaux : Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un bibliothécaire brillant et bien informé (le modèle de langage de grande taille) qui sait faire beaucoup de choses : trier des livres, calculer des nombres, écrire des poèmes et traduire des langues. Mais que se passe-t-il si vous voulez enseigner à ce bibliothécaire un tout nouveau tour, comme « comment trier les livres par couleur », sans qu'il oublie comment trier par auteur ou calculer des nombres ?

C'est le problème que l'article aborde. Habituellement, enseigner un nouveau tour implique de réentraîner l'ensemble du cerveau du bibliothécaire, ce qui risque de lui faire oublier d'anciennes compétences (un problème appelé « oubli catastrophique ») ou simplement de le rendre confus.

Les auteurs proposent une solution ingénieuse appelée « Néologismes de Compétence ».

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Piège du « Tout ou Rien »

L'Ancienne Méthode (Ajustement fin) : Imaginez essayer d'enseigner une nouvelle compétence au bibliothécaire en réécrivant toute son encyclopédie. Cela fonctionne, mais vous risquez d'effacer accidentellement la page sur le « tri par auteur ».
La Méthode par « Prompt » : Imaginez chuchoter des instructions au bibliothécaire avant qu'il ne commence (« Veuillez trier par couleur »). Cela fonctionne pour une tâche spécifique, mais les instructions sont liées à ce travail précis. Vous ne pouvez pas facilement mélanger « trier par couleur » avec « calculer des nombres » simplement en chuchotant deux choses différentes à la fois.

2. La Solution : « Néologismes de Compétence » (Nouveaux Mots Magiques)

Les auteurs suggèrent d'offrir au bibliothécaire un nouveau mot de vocabulaire (un « néologisme ») qui agit comme un interrupteur magique.

Le Concept : Au lieu de réécrire le cerveau du bibliothécaire, vous ajoutez un nouveau « jeton doux » invisible (un mot numérique spécial) à son dictionnaire.
Comment c'est appris : Vous montrez au bibliothécaire des milliers d'exemples où ce nouveau mot apparaît en même temps que la tâche que vous voulez qu'il apprenne (par exemple, « TriCouleur »). Vous n'entraînez que ce nouveau mot pour comprendre la tâche, laissant le cerveau original du bibliothécaire complètement gelé et intact.
Le Résultat : Lorsque vous utilisez le mot « TriCouleur » dans une invite, le bibliothécait sait instantanément comment effectuer cette tâche spécifique, sans avoir à réapprendre quoi que ce soit d'autre.

3. Le Superpouvoir : Mélanger et Associer (Composition)

La vraie magie se produit lorsque vous combinez ces nouveaux mots.

L'Analogie : Imaginez que le bibliothécaire possède un ensemble de briques Lego. Certaines briques sont anciennes (les compétences qu'il connaît déjà). Les auteurs créent de nouvelles briques Lego personnalisées (les néologismes) pour de nouvelles compétences.
L'Affirmation : L'article montre que si vous enseignez au bibliothécaire deux nouvelles compétences séparément (par exemple, « TriCouleur » et « TriTaille »), vous pouvez ensuite lui donner une invite avec les deux mots (« TriCouleur » + « TriTaille »), et le bibliothécaire peut comprendre comment faire les deux en même temps, même s'il n'a jamais été entraîné sur cette combinaison spécifique.
Pourquoi cela compte : Cela signifie que vous pouvez construire une bibliothèque de compétences. Vous pouvez apprendre une nouvelle compétence aujourd'hui, une autre demain, et les combiner plus tard sans jamais avoir à réentraîner l'ensemble du système.

4. Ce qu'ils ont réellement prouvé

Les chercheurs ont testé cette idée dans un environnement contrôlé, « de type mathématique » (pas encore avec des conversations humaines réelles). Ils ont créé un bibliothécaire numérique et lui ont appris de nouvelles façons de manipuler des nombres.

Ils ont constaté :
- Pas d'oubli : Le bibliothécaire n'a pas oublié les anciennes compétences en apprenant de nouvelles.
- Le mélange fonctionne : Le bibliothécaire pouvait combiner une compétence nouvellement apprise avec une ancienne compétence qu'il n'avait jamais vue combinée auparavant.
- Mélange en Zéro Coup : Ils pouvaient enseigner la Compétence A et la Compétence B séparément, puis les combiner immédiatement sans aucun entraînement supplémentaire.
- Le « Point Doux » : Ils ont découvert que les nouveaux « mots magiques » ne devaient pas être trop longs ni trop complexes. Si le mot est trop grand, le bibliothécaire se confond et oublie comment le mélanger avec d'autres compétences. Un mot petit et ciblé fonctionne mieux.

5. La Mise en Garde (Limites)

L'article est honnête sur ce que cela ne fait pas encore :

C'est encore un prototype : Ils ont testé cela sur une petite tâche mathématique synthétique, pas sur l'écriture de romans ou le diagnostic de maladies.
Vous avez besoin des bonnes données : Pour enseigner une nouvelle compétence, vous avez besoin d'un ensemble de données où chaque exemple unique nécessite cette compétence spécifique. Si les données sont désordonnées, le nouveau « mot magique » n'apprendra pas correctement.
Ce n'est pas gratuit : Bien que cela économise de la mémoire par rapport à la réécriture de tout le cerveau, l'entraînement de ces nouveaux mots nécessite toujours une puissance informatique significative.

Résumé

Pensez aux Néologismes de Compétence comme à l'ajout de nouveaux boutons de télécommande spécialisés sur un téléviseur. Au lieu de reconstruire le téléviseur pour ajouter une nouvelle chaîne, vous ajoutez simplement un bouton qui, lorsqu'il est enfoncé, active un ensemble spécifique de circuits que le téléviseur possède déjà. La meilleure partie ? Vous pouvez enfoncer deux boutons à la fois, et le téléviseur trouve comment gérer les deux chaînes simultanément. Cet article montre que cette approche par « bouton » fonctionne pour l'IA, lui permettant d'apprendre continuellement de nouvelles compétences sans oublier les anciennes.

Résumé Technique : Néo-lexèmes de Compétences : Vers un Apprentissage Continu Basé sur les Compétences

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) modernes démontrent une maîtrise d'un large éventail de compétences et la capacité de les composer de manière flexible. Cependant, étendre ces capacités à de nouvelles compétences de manière évolutive reste un problème ouvert. Les approches existantes rencontrent des limitations significatives :

Affinage et Affinage Économe en Paramètres (PEFT) : Des méthodes comme LoRA risquent l'oubli catastrophique des capacités précédemment maîtrisées et peuvent introduire des risques de sécurité.
Approches Basées sur le Contexte : L'apprentissage en contexte (ICL) a une expressivité limitée et est contraint par la fenêtre de contexte effective du modèle.
Ajustement des Prompts : Bien qu'efficace pour l'adaptation aux tâches, les préfixes appris sont généralement spécifiques à la tâche plutôt qu'à la compétence. Ils ne peuvent être composés ou adaptés à de nouveaux paramètres sans réentraînement, échouant à soutenir la composition à zéro coup de compétences apprises indépendamment.

L'article définit l'Apprentissage Continu Basé sur les Compétences comme l'objectif d'apprendre de nouvelles compétences composables sans modifier les paramètres du modèle. Pour être pratique et évolutive, cette approche doit satisfaire trois propriétés :

Aucune Mise à Jour des Poids : Les nouvelles compétences sont apprises sans altérer les paramètres du modèle figé.
Transfert Compositif : Les compétences apprises doivent se composer avec les compétences existantes, y compris celles hors distribution (OOD) par rapport à l'ensemble de données d'entraînement.
Composition Multi-Compétences : Plusieurs compétences apprises indépendamment doivent pouvoir être combinées à zéro coup, sans entraînement conjoint sur leur combinaison spécifique.

2. Méthodologie : Néo-lexèmes de Compétences

Les auteurs proposent les Néo-lexèmes de Compétences, une méthode qui intègre des tokens mous directement dans le vocabulaire du modèle pour représenter des connaissances procédurales spécifiques.

Composants Principaux

Entraînement Centrée sur la Compétence : Contrairement aux ensembles de données centrés sur la tâche où les échantillons reposent implicitement sur diverses compétences, les néo-lexèmes de compétences sont entraînés sur des ensembles de données où chaque échantillon nécessite la compétence cible, mélangée avec d'autres compétences déjà maîtrisées par le modèle. Cela encourage l'apprentissage de représentations généralement composables.
Intégration au Niveau du Vocabulaire : Un néo-lexème de compétence consiste en un ensemble de tokens mous apprenables (un « token de compétence ») ajoutés à la matrice d'embedding et au vocabulaire du modèle. Ces tokens sont optimisés sur l'ensemble de données centré sur la compétence tandis que le reste des paramètres du modèle reste figé.
Fonction d'Insertion : Les tokens de compétence sont insérés dans le prompt via une fonction $\phi_S$ (par exemple, remplacer un mot-clé ou ajouter une instruction) pour activer la compétence spécifique lors de l'inférence.

Procédure d'Entraînement

Initialisation : Un ensemble de tokens mous est initialisé (par exemple, à partir de l'embedding moyen des tokens d'opération existants) et ajouté au vocabulaire.
Optimisation : Les tokens sont entraînés par rétropropagation à travers le modèle figé sur un ensemble de données centré sur la compétence. La fonction de perte (par exemple, l'entropie croisée) est minimisée uniquement par rapport aux embeddings des tokens.
Évaluation : La performance est mesurée sur des combinaisons In-Distribution (ID) (compétence cible + compétences d'entraînement) et des combinaisons Out-of-Distribution (OOD) (compétence cible + compétences retenues).

3. Contributions Clés

Proposition des Néo-lexèmes de Compétences : L'article introduit les néo-lexèmes de compétences comme une voie vers l'apprentissage continu basé sur les compétences, motivé par des preuves empiriques montrant que les LLM pré-entraînés exhibent naturellement des tokens de vocabulaire associés aux connaissances procédurales (par exemple, le token « XOR » encode l'opération XOR mieux qu'une description textuelle).
Démonstration des Propriétés Compositives : Dans des environnements algorithmiques contrôlés, les auteurs montrent que les néo-lexèmes de compétences satisfont les trois propriétés requises :
- Ils apprennent sans mise à jour des poids.
- Ils se composent avec succès avec des compétences OOD non vues pendant l'entraînement.
- Les néo-lexèmes de compétences entraînés indépendamment peuvent être composés à zéro coup.
Analyse par Ablation : L'article analyse les mécanismes derrière le succès des néo-lexèmes de compétences, investiguant spécifiquement l'impact de la capacité des tokens (longueur) et la complexité des combinaisons de compétences dans les données d'entraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode sur un ensemble de données synthétique impliquant des tâches de transformation de séquences de chiffres (par exemple, tri, addition, décalage) en utilisant un modèle Qwen2.5-0.5B affiné.

Comparaison avec les Lignes de Base : Les Néo-lexèmes de Compétences ont été comparés à LoRA et à l'Ajustement des Prompts.
- Transfert Compositif (Propriété 2) : Bien que LoRA et l'Ajustement des Prompts aient atteint une haute précision sur les combinaisons ID, ils ont échoué à généraliser aux combinaisons OOD. Seuls les Néo-lexèmes de Compétences ont réussi de manière cohérente à composer de nouvelles compétences avec des compétences retenues.
- Composition Multi-Compétences (Propriété 3) : Des néo-lexèmes de compétences entraînés indépendamment pour « SHIFT » et « INV-POL » ont été combinés à zéro coup. Les Néo-lexèmes de Compétences ont nettement surpassé les lignes de base d'Apprentissage en Contexte (ICL) sur diverses longueurs de séquence, démontrant que les tokens capturent des connaissances procédurales réutilisables plutôt que de compter sur l'extraction de motifs à partir d'exemples.
Résultats de l'Ablation :
- Capacité des Tokens : Il existe un compromis dans la longueur des tokens. Bien qu'une plus grande capacité aide à l'apprentissage, une capacité excessive (par exemple, longueur > 20) a réduit la généralisation OOD, suggérant qu'une capacité limitée agit comme un biais inductif pour des représentations composables.
- Complexité de l'Entraînement : L'entraînement sur des compositions plus complexes (par exemple, des combinaisons de 3 compétences) a amélioré la généralisation aux combinaisons OOD de 2 et 3 compétences.
- Initialisation : Bien que l'initialisation à partir d'embeddings de compétences pré-entraînés ait offert des améliorations marginales, l'initialisation aléatoire a toujours produit de fortes capacités de composition OOD.

5. Importance et Revendications

L'article revendique que les néo-lexèmes de compétences fournissent une voie évolutive vers l'apprentissage continu basé sur les compétences. En tirant parti des capacités compositives existantes du modèle et en intégrant des tokens mous au niveau du vocabulaire, cette approche permet l'ajout incrémental de nouvelles compétences sans oubli catastrophique ni besoin de réentraînement conjoint.

Les auteurs positionnent ce travail comme une preuve de concept dans un environnement expérimental contrôlé. Ils reconnaissent des limitations, notamment la nécessité de construire des ensembles de données centrés sur la compétence diversifiés, l'instabilité inhérente de l'optimisation lors de l'entraînement de tokens mous, et le coût computationnel de la rétropropagation à travers le modèle complet pendant l'entraînement. Cependant, les résultats suggèrent que les interventions au niveau du vocabulaire peuvent encoder efficacement des connaissances procédurales, permettant aux LLM d'accroître leurs capacités de manière contrôlée et composable.