CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

Ce papier présente CapTrack, un cadre d'évaluation axé sur les capacités qui redéfinit l'oubli dans le post-entraînement des LLM comme une dérive comportementale systémique et révèle, via une étude à grande échelle, que ce phénomène affecte profondément la robustesse et les comportements par défaut, avec des impacts variables selon les algorithmes et les familles de modèles.

L'essentiel

Imaginez que vous avez un grand chef cuisinier très talentueux (c'est le modèle de langage, ou LLM, comme ceux qui écrivent des emails ou résolvent des problèmes de maths). Ce chef a appris à cuisiner de tout pendant des années, grâce à des milliers de livres de recettes (c'est l'entraînement initial).

Maintenant, vous voulez que ce chef se spécialise dans la cuisine légale (pour rédiger des contrats) ou médicale (pour donner des conseils de santé). Vous lui donnez donc un stage intensif de quelques semaines avec des livres de cuisine spécialisés. C'est ce qu'on appelle le "post-entraînement".

Le problème ? Après ce stage, le chef devient excellent en cuisine légale, mais il commence à oublier certaines choses importantes qu'il savait faire avant.

Le problème : Ce n'est pas juste de l'oubli de "faits"

Jusqu'à présent, les chercheurs pensaient que l'oubli était simple : le chef oublie des faits précis (par exemple, il ne sait plus qui a écrit Les Misérables ou comment calculer une racine carrée).

Mais cette nouvelle étude, appelée CapTrack, dit : "Attendez, c'est plus compliqué que ça !"

L'équipe explique que l'oubli ne concerne pas seulement les connaissances, mais aussi la personnalité et les habitudes du chef. Imaginez que votre chef, qui était auparavant :

• Rassurant et détaillé (il expliquait chaque étape),
• Polyglotte (il parlait couramment espagnol et chinois),
• Respectueux des règles (il suivait scrupuleusement les consignes de présentation),

...devient soudainement :

• Sec et brutal (il donne juste la réponse sans explication),
• Bégueule (il refuse de parler espagnol),
• Désobéissant (il ne met plus les plats dans l'assiette comme demandé).

Le chef sait toujours cuisiner (il a la compétence), mais son comportement a changé de façon négative. C'est ça, le vrai "oubli" selon CapTrack.

La solution : CapTrack, le "Test de Santé Comportemental"

Pour mesurer ce phénomène, les auteurs ont créé CapTrack. C'est comme un grand examen de santé pour le chef, divisé en trois catégories :

1. CAN (Ce qu'il PEUT faire) : Est-ce qu'il sait encore cuisiner un gâteau ? (Connaissances, raisonnement).
2. WILL (Ce qu'il VEUT faire) : Est-ce qu'il a envie de répondre à une question bizarre ? Est-ce qu'il est trop bavard ou trop court ? (Comportement par défaut).
3. HOW (Comment il FAIT les choses) : Est-ce qu'il respecte le format de l'assiette ? Est-ce qu'il se souvient de ce qu'il a dit 5 minutes plus tôt dans la conversation ? (Respect des règles et exécution).

Ce qu'ils ont découvert (Les résultats)

En testant des chefs de différentes tailles (de 4 milliards à 80 milliards de "neurones") avec différentes méthodes d'apprentissage, ils ont vu des choses surprenantes :

• L'apprentissage intensif (IFT) est le plus dangereux : Si vous forcez le chef à apprendre par cœur de nouvelles recettes (Fine-Tuning), il perd beaucoup de ses anciennes habitudes. Il devient très spécialisé, mais il perd sa polyvalence et son "style". C'est comme si, en apprenant à faire des sushis, il avait oublié comment faire des pâtes et avait perdu son sourire.
• L'apprentissage par préférence (DPO) est plus doux : Cette méthode consiste à dire au chef : "J'aime bien cette réponse, mais pas celle-là". C'est plus subtil. Le chef apprend la spécialité sans oublier autant ses anciennes habitudes. C'est comme un coach qui corrige doucement la posture plutôt que de réécrire tout le manuel.
• La taille n'est pas une garantie : Un chef géant (80 milliards de paramètres) n'est pas forcément plus résistant à l'oubli qu'un petit chef. Parfois, le géant oublie même plus de choses !
• On ne peut pas tout avoir (Le compromis) : Ils ont essayé de "sauver" le chef en mélangeant ses nouvelles compétences avec ses anciennes (comme si on mélangeait deux versions du même chef). Résultat : soit il est excellent en spécialité mais oublie tout, soit il garde tout mais ne devient pas meilleur en spécialité. On ne peut pas avoir les deux gratuitement.

En résumé

Cette étude nous dit que quand on adapte une intelligence artificielle à un nouveau métier (médecine, droit, etc.), on ne doit pas seulement vérifier si elle connaît les bons faits. Il faut aussi vérifier :

• Est-elle devenue trop arrogante ?
• Est-elle capable de parler d'autres langues ?
• Est-elle toujours polie et respectueuse des règles ?

CapTrack est l'outil qui permet de voir ces changements invisibles. C'est comme un miroir qui nous montre que notre chef, même s'il est devenu un expert en sushis, a peut-être perdu son âme de cuisinier polyvalent. Et c'est crucial pour s'assurer que l'IA reste utile et sûre pour tout le monde.

Résumé technique

1. Problématique

Le post-entraînement (post-training) des grands modèles de langage (LLM) est essentiel pour adapter les modèles de base à des domaines spécifiques (juridique, médical), aligner leurs valeurs et améliorer leurs performances. Cependant, ce processus est connu pour induire un phénomène d'oubli catastrophique.

La vision traditionnelle de l'oubli se concentre principalement sur la perte de connaissances paramétriques (faits, données encodées dans les poids) et la baisse de précision sur des tâches factuelles. Les auteurs soutiennent que cette perspective centrée sur la précision est insuffisante pour les modèles de fondation modernes. En effet, un modèle peut maintenir une précision factuelle élevée tout en subissant une dérive systématique dans d'autres aspects critiques :

• La robustesse (face aux changements de domaine ou de formulation).
• Les préférences comportementales par défaut (ton, longueur, refus de répondre).
• La conformité aux protocoles d'interaction (suivi d'instructions, format de sortie, gestion de l'état sur plusieurs tours).

Cette dérive, souvent ignorée par les benchmarks standards, dégrade directement l'expérience utilisateur et la fiabilité du modèle en production.

2. Méthodologie : Le Framework CapTrack

Pour mesurer ces phénomènes au-delà de la simple connaissance factuelle, les auteurs introduisent CapTrack, un framework centré sur les capacités.

A. Taxonomie des Capacités

CapTrack décompose le comportement des LLM en trois groupes complémentaires :

1. CAN (Compétence Latente) : Ce que le modèle peut faire sous un prompting idéal.
   • Sous-catégories : Connaissances paramétriques (C1), Raisonnement (C2), Compréhension contextuelle (C3), Fidélité épistémique (C4), Robustesse (C5 : invariance de forme, dérive de domaine, stabilité multilingue).
2. WILL (Préférences Comportementales) : Ce que le modèle choisit de faire par défaut.
   • Sous-catégories : Volonté de répondre (W1), Utilité et portée informationnelle (W2), Style et niveau de détail (W3 : verbosité, évasivité, formatage).
3. HOW (Conformité aux Protocoles et Exécution) : Comment le modèle exécute les instructions.
   • Sous-catégories : Suivi d'instructions (H1), Fidélité du format de sortie (H2), Utilisation d'outils (H3), Maintien de l'état sur plusieurs tours (H4), Opérations sur de longs contextes (H5), Mécanismes de citation (H6).

B. Suite d'Évaluation

CapTrack utilise une suite d'évaluation composée de 30 benchmarks existants et de variantes ciblées (environ 14 500 échantillons au total).

• Approche relative : Les modèles post-entraînés sont comparés à leur version de base "Out-of-the-Box" (OOB) pour détecter la dérive, plutôt que de mesurer la performance absolue.
• Métriques : Utilisation de scores de précision, de juges LLM (LLM-as-a-judge) pour des critères qualitatifs (cohérence, hallucination), et de métriques de parsing pour le formatage.
• Échelle : L'étude couvre 7 modèles (familles Qwen, LLaMA, Gemma) allant de 4B à 80B paramètres, dans les domaines juridique et médical.

3. Contributions Clés

1. Redéfinition de l'oubli : Extension du concept d'oubli au-delà de la perte de connaissances factuelles pour inclure la dérive des capacités comportementales et d'exécution.
2. Framework CapTrack : Introduction d'une taxonomie structurée (CAN, WILL, HOW) et d'une suite d'évaluation permettant une analyse granulaire de l'oubli.
3. Analyse Empirique à Grande Échelle : Une étude systématique montrant que l'oubli varie qualitativement selon les algorithmes, les familles de modèles et les capacités, mais pas nécessairement selon la taille du modèle.
4. Évaluation des Stratégies d'Atténuation : Analyse de l'efficacité des stratégies basées sur les données, l'architecture et la régularisation, révélant des compromis fondamentaux.

4. Résultats Principaux

A. Nature de l'Oubli

• Au-delà des faits : L'oubli ne se limite pas aux connaissances paramétriques. Les capacités de robustesse (notamment multilingue) et les préférences comportementales (style, refus, couverture) subissent les dégradations les plus sévères.
• Impact des Algorithmes :
  • Le Fine-Tuning par Instruction (IFT) induit la dérive la plus forte, affectant massivement la robustesse et le style (réduction drastique de la verbosité et du formatage).
  • L'Optimisation par Préférence (DPO) est plus conservative. Elle préserve mieux les capacités de base et peut partiellement récupérer les pertes causées par l'IFT (surtout dans la catégorie WILL).
• Variations par Famille :
  • Les modèles LLaMA et Gemma montrent une dérive plus marquée dans la compétence latente et les préférences comportementales.
  • Les modèles Qwen sont globalement plus stables, bien que vulnérables sur la robustesse multilingue et le suivi d'instructions.
• Taille du Modèle : Il n'existe pas de corrélation monotone entre la taille du modèle (4B vs 80B) et la stabilité. Les grands modèles ne sont pas systématiquement plus résistants à l'oubli, sauf pour des capacités spécifiques comme la précision des citations (où les petits modèles échouent plus souvent).

B. Stratégies d'Atténuation

Les auteurs testent trois axes classiques d'apprentissage continu :

1. Données (Data-Centric) : L'utilisation de données générales (Tulu 3) par rapport à des données spécifiques au domaine n'offre pas de solution universelle. Les effets sont hétérogènes et dépendent de la capacité spécifique.
2. Architecture (Fusion de Modèles) : La fusion de modèles (Model Merging) entre le modèle post-entraîné et le modèle de base réduit la dérive mais au prix d'une perte de performance dans le domaine cible.
3. Régularisation (LoRA) : L'utilisation de Low-Rank Adaptation (LoRA) agit comme un régularisateur global.

Conclusion sur l'atténuation : Toutes ces stratégies révèlent un compromis fondamental stabilité-plasticité. Améliorer la plasticité (performance dans le domaine cible) augmente inévitablement l'oubli (dérive des capacités générales), et vice-versa. Aucune méthode ne permet de protéger sélectivement les capacités vulnérables sans sacrifier l'adaptation.

5. Signification et Impact

Ce travail remet en question la pratique actuelle d'évaluation des LLM post-entraînés, qui se repose trop souvent sur des benchmarks de connaissances générales (comme MMLU).

• Changement de paradigme : Il est crucial de passer d'une évaluation centrée sur la précision à une évaluation centrée sur les capacités, englobant le comportement, la robustesse et la conformité aux protocoles.
• Outil Diagnostique : CapTrack fournit un outil pratique pour les praticiens afin de détecter des modes de défaillance subtils (ex: un modèle qui devient trop concis, refuse des requêtes sûres, ou perd sa capacité à citer des sources) avant le déploiement.
• Implications pour le Développement : Les résultats suggèrent qu'il n'existe pas de solution "magique" (no free lunch) pour l'oubli. La sélection et l'adaptation des modèles doivent être guidées par une compréhension fine des compromis spécifiques à chaque capacité et à chaque famille de modèles.

En résumé, CapTrack démontre que l'oubli dans le post-entraînement est un phénomène multifacette qui nécessite une approche d'évaluation holistique pour garantir la fiabilité des LLM dans des applications réelles.