Résumé Technique : Modèles Linguistiques Auto-Consolidants (SCoL)

Énoncé du Problème

Les grands modèles linguistiques (LLM) fonctionnent de plus en plus dans des environnements de streaming impliquant des conversations multi-tours, des agents utilisant des outils et des flux de travail à long horizon. Bien que l'augmentation de la taille des fenêtres de contexte permette aux modèles d'accéder à davantage de preuves, cela ne garantit pas que les informations utiles soient préservées ou réutilisées efficacement. Les modèles sous-utilisent souvent les preuves distantes et se dégradent à mesure que la longueur du contexte et la complexité du raisonnement augmentent. Les solutions existantes reposent sur la récupération externe, des modules de mémoire auxiliaires, une compression avec perte ou un traitement répété lors de l'inférence, ce qui introduit des dépendances vis-à-vis de la qualité de la récupération ou de la gestion de la mémoire.

Ce papier reformule l'inférence à long contexte comme un problème de consolidation continue du contexte. L'objectif est d'écrire directement les informations utiles d'un flux de contextes dans les poids du modèle (mémoire interne) tout en préservant les connaissances précédemment consolidées. Cette approche fait face au défi de l'interférence catastrophique, où les mises à jour séquentielles des paramètres d'un réseau de neurones écrasent les connaissances antérieures. Les méthodes classiques pour atténuer ce problème (par exemple, la régularisation basée sur Fisher) sont souvent prohibitives en termes de calcul ou sensibles à l'implémentation à l'échelle des LLM.

Méthodologie : Modèles Linguistiques Auto-Consolidants (SCoL)

Les auteurs proposent SCoL, un cadre d'après-entraînement où un LLM apprend à générer des instructions de mise à jour textuelles spécifiant où dans sa propre architecture adapter pour un contexte donné.

Mécanisme Central

1. Génération d'Actions : Étant donné un contexte actuel $c_t$, le modèle politique $\pi_{\theta_{t-1}}$ génère une liste textuelle d'unités structurelles (spécifiquement des couches Transformer) à mettre à jour.
2. Adaptation : Le modèle attache des modules d'Adaptation à Faible Rang (LoRA) aux couches sélectionnées et effectue une mise à jour standard de modélisation du langage sur le contexte.
3. État Dérivant : Contrairement à l'apprentissage méta standard où la politique est fixe, SCoL opère sous un état de modèle dérivant. Chaque mise à jour validée modifie les paramètres du modèle $\theta_t$, ce qui altère à son tour la politique $\pi_{\theta_t}$ qui générera les futures sélections de mise à jour.

Entraînement par Apprentissage Méta-Renforcement

SCoL est entraîné à l'aide d'une boucle d'apprentissage méta-renforcement conçue pour équilibrer l'acquisition (apprentissage du contexte actuel) et la rétention (prévention de l'oubli des contextes précédents).

• Boucle Intérieure (Sélection et Validation) :

  • Pour chaque contexte, le modèle échantillonne $K$ actions textuelles candidates (sélections de couches).
  • Chaque candidat est adapté (mise à jour LoRA) et noté à l'aide d'une fonction de récompense $r_t$.
  • Le candidat ayant la récompense la plus élevée est validé dans les poids du modèle en cours d'exécution.
  • Des paires de préférences sont construites à partir des récompenses des candidats pour former un ensemble de données pour la boucle extérieure.

• Boucle Extérieure (Mise à jour de la Politique) :

  • Les paramètres de politique pré-adaptation $\theta_0$ sont mis à jour en utilisant l'Optimisation de Préférence par Identité (IPO) sur les données de préférence accumulées.
  • Cela met à jour l'initialisation de la politique afin que ses futurs déploiements génèrent de meilleures sélections d'emplacements de mise à jour.

Instantiations de Récompense

Le cadre prend en charge deux régimes de récompense :

1. Supervisé (SQuAD) : La récompense combine la précision QA en aval sur le contexte actuel (acquisition) et la dégradation de la précision sur les requêtes précédentes mises de côté (oubli).
2. Intrinsèque (LongBench v2) : Pour les flux non étiquetés, la récompense est basée sur l'augmentation de la vraisemblance logarithmique du contexte actuel (acquisition) et la baisse normalisée de la vraisemblance logarithmique des contextes passés (oubli).

Contributions Clés

1. Reformulation de l'Inférence à Long Contexte : Les auteurs rejettent l'inférence à long contexte comme une consolidation continue du contexte, où l'information est internalisée dans les poids plutôt que conservée dans des invites transitoires ou des stockages externes.
2. Cadre SCoL : Un paradigme d'après-entraînement où le LLM apprend à générer des descriptions textuelles de où mettre à jour ses propres poids. Cela est mis en œuvre par apprentissage méta-renforcement avec des récompenses QA supervisées et des récompenses intrinsèques basées sur la vraisemblance.
3. Validation Empirique : Le cadre est évalué sur SQuAD (incorporation de connaissances) et LongBench v2 (consolidation à long contexte), démontrant des améliorations par rapport au prompting, au résumé, à l'entraînement par lots en temps de test et au fine-tuning séquentiel.

Résultats

Incorporation Continue de Connaissances (SQuAD)

• Performance : SCoL a atteint une précision immédiate de 35,40 % et une rétention de 20,46 % sur 100 passages séquentiels. Cela surpassait le seul prompting (28,17 %), l'entraînement par lots en temps de test (26,52 %) et le fine-tuning séquentiel (qui s'est effondré à 1,30 % de rétention).
• Rôle de l'Oubli : La suppression du terme d'oubli ($\lambda=0$) a amélioré l'acquisition immédiate (34,30 %) mais la rétention est tombée à 14,64 %, confirmant que des récompenses de rétention explicites sont nécessaires pour atténuer l'oubli catastrophique.
• Modèles de Sélection : Le modèle a appris à sélectionner des emplacements de mise à jour épars, se concentrant fortement sur les dernières couches Transformer (par exemple, la couche 27).
• Alignement Fisher : Les couches sélectionnées s'alignaient significativement avec les régions à forte information de Fisher (45,1 % de rappel contre 35,7 % pour la base aléatoire), suggérant que le modèle apprend à router la plasticité vers des régions sensibles à la perte.

Consolidation à Long Contexte (LongBench v2)

• Généralisation : SCoL a été méta-entraîné sur des flux plus courts (16k–32k tokens) mais évalué sur des flux courts et plus longs (32k–64k tokens).
• Performance : Dans le régime court, SCoL a atteint 42,3 %, surpassant toutes les bases de référence. Dans le régime long, il a atteint 37,0 %, dépassant significativement le FT séquentiel (23,0 %) et les méthodes in-context.
• Stabilité : Alors que le FT séquentiel a souffert d'un effondrement des performances à mesure que la longueur du contexte augmentait, SCoL a maintenu des performances compétitives, suggérant que le mécanisme de consolidation capture des structures agnostiques de la longueur.

Signification et Revendications

Le papier revendique que SCoL offre une approche évolutive pour la consolidation en streaming en enseignant au modèle à sélectionner lui-même les sites d'adaptation. Les résultats clés incluent :

• Plasticité Éparse : Le modèle apprend à générer des emplacements de mise à jour épars qui s'alignent avec les couches à forte information de Fisher, routant efficacement la plasticité vers des régions sensibles à la perte tout en limitant l'interférence.
• Évolutivité : Les comportements de sélection appris sur des flux méta-entraînement plus courts se transfèrent efficacement vers des flux d'évaluation plus longs sans nécessiter d'accès au contexte complet lors de l'inférence.
• Mémoire Interne : L'écriture du contexte dans les poids fournit une alternative plus robuste à la mémoire externe ou à la compression, car elle ne dépend pas de la qualité de la récupération ou du résumé avec perte.

Les auteurs reconnaissent les limitations, notamment la surcharge computationnelle de l'adaptation de la boucle intérieure et le potentiel d'effondrement de mode (réduction de la diversité dans les sélections de couches) sur des rounds d'entraînement étendus. Ils suggèrent que les travaux futurs pourraient se concentrer sur la régularisation de la diversité et l'extension du méta-entraînement à des séquences plus longues.