Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

1. Problématique : L'Oubli Catastrophique dans le Réglage d'Instructions

Les grands modèles de langage (LLM) excellent dans diverses tâches, mais leur adaptation continue à de nouvelles tâches via un réglage fin (fine-tuning) se heurte au problème de l'oubli catastrophique. Lorsqu'un modèle est entraîné sur de nouvelles tâches, il a tendance à oublier les connaissances acquises précédemment sur d'anciennes tâches.

Les approches existantes pour mitigé ce problème présentent des limitations majeures :

• Méthodes basées sur la répétition (Replay) : Elles nécessitent l'accès aux données d'entraînement originales, ce qui est souvent impossible pour des raisons de confidentialité ou parce que les fournisseurs de modèles ne partagent pas leurs données.
• Méthodes basées sur la régularisation : Elles imposent des contraintes sur les paramètres ou les gradients, ce qui peut entraîner des sous-contraintes ou des sur-contraintes, limitant la plasticité du modèle.
• Méthodes basées sur les adaptateurs (Adapters) : Elles nécessitent une différenciation explicite des types de tâches (identifiants de tâche), ce qui réduit la flexibilité du modèle.

L'objectif de cet article est de concevoir une méthode capable d'adapter un LLM existant à de nouvelles tâches tout en préservant ses capacités sur les anciennes, sans accès aux données d'entraînement passées et sans nécessiter de différenciation explicite des tâches.

2. Méthodologie : Joint Flashback Adaptation (JFA)

Les auteurs proposent une nouvelle méthode appelée Joint Flashback Adaptation (JFA). Cette approche repose sur deux piliers principaux : l'utilisation de "flashbacks" et l'apprentissage conjoint de tâches latentes.

A. Le Concept de "Flashback"

Au lieu d'utiliser l'ensemble des données d'entraînement anciennes, JFA utilise un nombre limité de prompts (instructions) provenant des anciennes tâches, appelés "flashbacks".

• Ces prompts peuvent être manuellement créés ou échantillonnés à partir d'un ensemble de validation (sans leurs étiquettes/réponses).
• Un modèle de référence (le modèle initial avant l'adaptation) est maintenu pour générer les réponses de référence sur ces prompts.
• Une fonction de perte de divergence ($L_{DIV}$) est introduite pour pénaliser les écarts entre les sorties du modèle actuel et celles du modèle de référence sur ces prompts. Cela force le modèle à ne pas dévier trop de son comportement original sur les anciennes tâches.

B. Apprentissage Conjoint de Tâches Latentes (Joint Task Learning)

Pour pallier la parcimonie des données (peu de prompts de flashback) et faciliter le partage de connaissances, JFA introduit des tâches latentes.

• Représentation : Chaque tâche latente est définie par une clé (un vecteur d'encodage) et un incrément de poids correspondant (représentant une connaissance spécifique).
• Récupération : Pour chaque échantillon d'entraînement (nouvelle tâche ou flashback), le modèle encode l'entrée et récupère les $k$ tâches latentes les plus similaires via une mesure de similarité cosinus.
• Interpolation : Les paramètres du modèle pour la génération sont mis à jour en interpolant les incréments de poids des tâches latentes récupérées. Cela permet d'interpoler des connaissances entre les nouvelles tâches et les flashbacks, créant un espace d'apprentissage plus lisse et favorisant le transfert de connaissances.

C. Objectif d'Optimisation

L'objectif final combine trois composantes :

1. $L_{SFT}$ : La perte standard de réglage fin supervisé sur les nouvelles tâches.
2. $L_{DIV}$ : La perte de divergence (KL) sur les prompts de flashback pour éviter l'oubli.
3. Projection de Gradient (PCGrad) : Une technique utilisée pour projeter les gradients des différentes composantes (nouvelle tâche vs anciennes tâches) afin de réduire les conflits d'optimisation et de gérer le dilemme stabilité-plasticité.

3. Contributions Clés

1. Proposition de JFA : Une méthode d'apprentissage continu agnostique aux tâches qui ne nécessite ni données de répétition (replay data), ni identification explicite des types de tâches.
2. Mécanisme de Flashback et Tâches Latentes : Utilisation de quelques prompts d'anciennes tâches couplés à un apprentissage conjoint de tâches latentes pour combler le manque de données et faciliter le partage de connaissances.
3. Validation Empirique : Démonstration de l'efficacité de la méthode sur des modèles de pointe (Vicuna-13B et Llama-3.1-8B) à travers plus de 1000 tâches d'instruction, de raisonnement arithmétique et de raisonnement général.

4. Résultats Expérimentaux

Les expériences ont été menées sur six jeux de données : Super Natural Instructions (SNI), GSM-8K, SVAMP, ARC-Challenge, BIG-Bench-Hard (BBH) et MMLU-Pro.

• Performance sur les nouvelles tâches (Généralisation) : JFA obtient les meilleurs résultats sur le jeu de données SNI par rapport aux méthodes de référence (SFT, PACE, Replay, FROMP, SLM), démontrant une meilleure capacité de généralisation.
• Résilience à l'oubli : Sur les anciennes tâches (GSM-8K, SVAMP, BBH, etc.), JFA maintient des performances supérieures ou comparables aux méthodes basées sur la répétition (Replay), mais sans utiliser les données d'entraînement originales.
  • Par exemple, sur GSM-8K, JFA atteint une précision de 83.09% (Llama-3.1) contre 66.32% pour le réglage fin standard (SFT), se rapprochant ainsi des performances du modèle original tout en apprenant de nouvelles tâches.
• Analyse des Composantes :
  • L'apprentissage conjoint de tâches latentes améliore significativement les performances à la fois sur les nouvelles et les anciennes tâches.
  • L'utilisation de seulement 30 prompts de flashback (10 à 30 par tâche) suffit à préserver les capacités du modèle. Augmenter le nombre de prompts au-delà de 30 n'apporte pas de gains significatifs, prouvant l'efficacité de l'approche.
  • Le paramètre de poids $\alpha$ permet de trouver un équilibre optimal entre l'apprentissage des nouvelles tâches et la préservation des anciennes.

5. Signification et Impact

Cette recherche propose une solution pratique et généralisable au problème de l'oubli catastrophique dans les LLM, un défi majeur pour leur déploiement dans des scénarios réels où les données historiques ne sont pas accessibles.

• Praticité : En éliminant le besoin de stocker ou de rejouer des données d'entraînement massives, JFA contourne les problèmes de confidentialité et de coût de stockage.
• Flexibilité : Le caractère "agnostique aux tâches" permet d'appliquer la méthode sans connaître a priori la nature des tâches, contrairement aux méthodes basées sur des adaptateurs spécifiques.
• Efficacité des données : La démonstration qu'un très petit nombre de prompts (flashbacks) suffit à stabiliser l'apprentissage ouvre la voie à des stratégies d'adaptation plus légères et économes en ressources.

En conclusion, Joint Flashback Adaptation représente une avancée significative vers des modèles de langage capables d'apprendre continuellement de nouvelles compétences sans sacrifier leurs connaissances antérieures, en utilisant une approche ingénieuse combinant contraintes de sortie et interpolation de connaissances latentes.