💬 NLP

Context Parametrization with Compositional Adapters

Le document présente CompAs, un cadre de méta-apprentissage qui traduit plusieurs segments de contexte en paramètres d'adaptateur algébriquement composables, offrant une alternative plus efficace, stable et réversible à l'apprentissage en contexte et au réglage fin supervisé pour le passage à l'échelle des grands modèles de langage.

Auteurs originaux : Josip Jukić, Martin Tutek, Jan Šnajder

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Josip Jukić, Martin Tutek, Jan Šnajder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le « sac à dos trop chargé »

Imaginez qu'un grand modèle de langage (LLM) est un étudiant brillant qui essaie de répondre à une question. Pour donner le meilleur de lui-même, il doit lire des informations de contexte (comme des instructions, des exemples ou des faits).

Actuellement, il existe deux manières principales de donner ces informations à l'étudiant :

L'apprentissage en contexte (In-Context Learning - ICL) : Vous collez toutes les informations de contexte directement dans le matériel de lecture de l'étudiant.
- Le Problème : Si vous lui donnez 100 pages d'exemples, l'étudiant est submergé. Il commence à oublier le début du texte, s'embrouille et cela prend beaucoup de temps pour tout lire. C'est comme essayer de porter un sac à dos qui devient de plus en plus lourd à chaque nouveau livre que vous y ajoutez.
Le Fine-Tuning (SFT) : Vous entraînez l'étudiant spécifiquement pour cette tâche précise.
- Le Problème : C'est comme embaucher un nouveau tuteur pour chaque matière. C'est coûteux, lent, et vous ne pouvez pas facilement remplacer les tuteurs si la tâche change.

La solution : COMPAS (Les « Cahiers Magiques »)

Les auteurs présentent COMPAS, une nouvelle façon d'enseigner au modèle. Au lieu de coller des pages de texte dans le prompt, COMPAS transforme ce texte en une minuscule « fiche d'instruction » invisible (appelée adaptateur) qui est attachée directement au cerveau du modèle.

Voyez cela comme ceci :

L'ancienne méthode (ICL) : Vous donnez à l'étudiant une pile de 50 livres de référence à chaque fois qu'il passe un examen.
La méthode COMPAS : Vous lisez ces 50 livres une seule fois, vous en extrayez les leçons les plus importantes pour en faire un seul petit cahier magique, et vous scotchez ce cahier sur le front de l'étudiant. Désormais, l'étudiant n'a plus besoin de relire les livres ; il lui suffit de regarder le cahier.

La recette secrète : « Compositional » (Les blocs Lego)

La véritable magie de COMPAS n'est pas seulement de créer un cahier, mais de créer plusieurs petits cahiers qui peuvent s'assembler.

Imaginez que vous avez un ensemble de briques Lego.

Contexte 1 (par exemple, un exemple de mathématiques) devient la Brique A.
Contexte 2 (par exemple, un exemple de sciences) devient la Brique B.
Contexte 3 (par exemple, un exemple d'histoire) devient la Brique C.

Dans l'ancien monde, si vous vouliez utiliser les trois, vous deviez les coller ensemble pour former un seul bloc de texte géant et désordonné. Avec COMPAS, vous pouvez simplement emboîter la Brique A, la Brique B et la Brique C mathématiquement.

Le papier prouve que si vous additionnez ces « briques d'adaptateurs », le modèle se comporte exactement comme s'il avait lu tous les textes originaux combinés. Cela signifie :

Vitesse : Le modèle n'a pas besoin de relire le texte à chaque fois.
Stabilité : Le modèle ne s'embrouille pas face à de longues listes d'informations.
Flexibilité : Vous pouvez remplacer la « Brique A » par un autre exemple de mathématiques sans réentraîner tout le système.

Comment ça marche (Le jeu du Professeur et de l'Étudiant)

Pour apprendre au modèle comment créer ces cahiers magiques, les auteurs utilisent une configuration « Professeur-Étudiant » :

Le Professeur : Un modèle puissant qui lit l'intégralité du texte long et donne la bonne réponse.
L'Étudiant : Un modèle qui ne voit que la question et le « cahier magique » (l'adaptateur).
L'Objectif : L'Étudiant essaie de deviner la réponse en utilisant uniquement le cahier. Le système ajuste le cahier jusqu'à ce que l'Étudiant atteigne la performance du Professeur.

Ils ajoutent également une règle spéciale : La « Règle d'Addition ». Le système force le générateur à garantir que si vous avez deux textes séparés, le cahier pour « Texte A + Texte B » est exactement le même que « Cahier A + Cahier B ». Cela garantit que les blocs Lego s'emboîtent parfaitement.

Pourquoi c'est important (Les Résultats)

Le papier a testé cela sur diverses tâches (comme répondre à des questions à choix multiples et trouver des faits dans des documents longs). Ils ont constaté que :

C'est plus intelligent : Lorsque vous donnez au modèle beaucoup d'exemples (comme 16 ou plus), COMPAS est plus performant que si vous colliez simplement tout dans le prompt.
C'est plus stable : À mesure que la quantité d'informations augmente, le modèle ne se « perd pas au milieu » du texte.
C'est réversible : Le « cahier magique » est si fidèle au texte original que, si vous le vouliez, vous pourriez réellement décoder le cahier pour retrouver le texte d'origine. C'est une fonction de sécurité, garantissant que le modèle ne cache pas de données secrètes.

Résumé

COMPAS est une méthode qui transforme de longues instructions et des exemples désordonnés en de compactes « fiches d'instruction » mathématiques. Ces fiches peuvent être additionnées comme des blocs Lego. Cela permet aux modèles d'IA de gérer de vastes quantités d'informations rapidement et avec précision, sans être submergés par la lecture de longs textes à chaque fois.

Résumé technique : Paramétrage de contexte par adaptateurs compositionnels (COMPAS)

1. Énoncé du problème

Les grands modèles de langage (LLM) s'adaptent généralement à de nouvelles tâches via l'apprentissage en contexte (In-Context Learning - ICL) ou le réglage fin supervisé (Supervised Fine-Tuning - SFT). Cependant, les deux approches présentent des limitations significatives lors du passage à l'échelle vers de multiples démonstrations ou passages récupérés :

Inefficacité de l'ICL : À mesure que le nombre de jetons de contexte (instructions, démonstrations, preuves) augmente, l'ICL devient coûteux en termes de calcul en raison de l'augmentation linéaire des coûts d'inférence. De plus, les contextes longs déstabilisent les mécanismes d'attention, entraînant une dégradation des performances (le phénomène « lost in the middle »).
Rigidité du SFT : Le SFT nécessite l'entraînement d'un modèle ou d'un adaptateur distinct pour chaque tâche ou contexte spécifique, ce qui entraîne des frais de formation élevés et manque de la flexibilité nécessaire pour intégrer dynamiquement de nouvelles informations sans réentraînement.
Limites de la fenêtre de contexte : Lorsque l'entrée dépasse la fenêtre de contexte du modèle, ni l'ICL ni le SFT standard ne peuvent utiliser efficacement l'intégralité de l'information.

Bien que des travaux antérieurs aient exploré la génération d'adaptateurs à partir d'un seul contexte, ils ont largement négligé la nécessité d'intégrer plusieurs blocs d'informations. Les méthodes existantes manquent d'un mécanisme principled pour composer algébriquement des adaptateurs afin de représenter des contextes concaténés, échouant ainsi à capturer la manière dont les LLM combinent plusieurs sources d'information.

2. Méthodologie : COMPAS

Les auteurs introduisent COMPAS (Compositional Adapters), un cadre de méta-apprentissage qui traduit le contexte en paramètres d'adaptateur avec une structure compositionnelle, permettant de les fusionner algébriquement.

2.1. Fondement théorique

Le cadre repose sur une configuration enseignant-étudiant dont l'objectif est de garantir que les adaptateurs générés à partir de contextes individuels puissent être composés dans l'espace des paramètres pour reproduire l'effet de la concaténation de contextes dans l'espace d'entrée.

Modèle Enseignant ( $f_T$ ) : Traite l'entrée concaténée $[c_1; \dots; c_k; q]$ .
Modèle Étudiant ( $f_S$ ) : Traite uniquement la requête $q$ en utilisant les paramètres de base $\theta$ modifiés par la somme des adaptateurs : $\theta \oplus \sum \phi_i$ .
Générateur ( $G$ ) : Un réseau qui mappe un contexte $c$ vers les paramètres de l'adaptateur $\phi = G(c)$ .

L'exigence fondamentale est que le générateur agisse comme un homomorphisme de monoïde du monoïde libre des contextes (concaténation) vers le monoïde additif des paramètres d'adaptateur (addition). Idéalement, $G([c_1; c_2]) = G(c_1) + G(c_2)$ . L'article établit une Borne de Compositionnalité (Théorème 2.1), prouvant que l'erreur entre la sortie de l'étudiant (somme des adaptateurs) et la sortie de l'enseignant (contexte concaténé) est bornée par l'erreur d'additivité du générateur et le désajustement étudiant-enseignant, mis à l'échelle par la constante de Lipschitz de l'étudiant.

2.2. Architecture

Générateur : Augmente le LM de base avec des composants entraînables : un adaptateur LoRA inséré dans le LM et un goulot d'étranglement linéaire suivi de tronçons de projection. Il traite un contexte $c$ pour produire une représentation cachée agrégée, qui est projetée dans un espace latent compact $z(c)$ . Ce vecteur latent est ensuite mappé via des projections linéaires pour générer les matrices LoRA ( $A$ et $B$ ) pour tous les modules cibles du modèle étudiant.
Étudiant : Un LLM standard avec des adaptateurs LoRA. Lors de l'inférence, il reçoit uniquement la requête et la somme des adaptateurs générés pour les contextes pertinents.

2.3. Objectifs d'entraînement

La perte d'entraînement ( $L_{COMPAS}$ ) est une somme pondérée de trois composantes conçues pour imposer la compositionnalité et la fidélité :

Alignement Étudiant-Enseignant ( $L_{ST}$ ) : Minimise la divergence KL entre la distribution de l'étudiant (utilisant des adaptateurs sommés) et la distribution de l'enseignant (utilisant des contextes concaténés). Cela est appliqué à la fois pour les contextes uniques ( $k=1$ ) et les contextes concaténés ( $k=2$ ) pour imposer une cohérence compositionnelle.
Régularisation d'Additivité ( $L_{ADD}$ ) : Pénalise l'écart entre l'adaptateur généré pour un contexte concaténé $G([c_1; c_2])$ et la somme des adaptateurs individuels $G(c_1) + G(c_2)$ . Cela minimise directement l'erreur d'additivité du générateur $\eta$ .
Reconstruction ( $L_{RECON}$ ) : Un objectif auxiliaire où l'étudiant doit reconstruire de manière autorégressive les jetons de contexte originaux à partir de l'état de l'adaptateur en utilisant un jeton spécial [RECON]. Cela garantit que les adaptateurs encodent fidèlement l'information d'entrée et empêche les solutions triviales.

3. Contributions clés

Cadre COMPAS : Un cadre de méta-apprentissage enseignant-étudiant qui encode le contexte dans des adaptateurs compositionnels, permettant une combinaison algébrique dans l'espace des paramètres.
Garanties Théoriques : L'établissement de conditions théoriques (Théorème 2.1) selon lesquelles l'addition dans l'espace des paramètres approxime de manière prouvable le comportement de la concaténation de contextes, en décomposant l'erreur en sources interprétables.
Validation Empirique : Démonstration que COMPAS surpasse l'ICL standard, le fine-tuning et les méthodes existantes basées sur des générateurs (comme GenAda et WILDA), particulièrement lorsqu'on passe à l'échelle avec un grand nombre de démonstrations ou de passages récupérés.

4. Résultats expérimentaux

Les auteurs ont évalué COMPAS sur des tâches de choix multiples (MMLU, ARC-Challenge) et de QA extractif (HotpotQA) en utilisant LLaMA-3.1 (8B), LLaMA-3.2 (3B) et Qwen-2.5 (7B).

Performance vs ICL : COMPAS a systématiquement surpassé l'ICL standard pour tous les modèles et nombres de tirages (shots). Les gains étaient les plus marqués avec des nombres de tirages plus élevés (par exemple, 12–16 démonstrations), là où la performance de l'ICL se dégrade souvent en raison de la longueur du contexte.
Comparaison avec SFT et Générateurs : COMPAS égale ou dépasse la performance de WILDA (qui affine un adaptateur spécifique par contexte) tout en maintenant l'efficacité d'un générateur unique. Il surpasse également de manière significative GenAda, qui manque du goulot d'étranglement linéaire explicite et des contraintes d'additivité.
Mise à l'échelle (Scaling) : Dans les expériences avec 16 démonstrations, COMPAS a atteint une précision plus élevée que l'ICL et GenAda. Par exemple, sur MMLU avec LLaMA 8B, COMPAS (composition 4×4) a atteint 72,2 % de précision contre 64,2 % pour l'ICL.
Robustesse : COMPAS a démontré une robustesse supérieure face aux contextes bruités, contradictoires ou hors sujet par rapport à l'ICL, suggérant que la compression du contexte en paramètres atténue l'impact des signaux parasites.
Efficacité : En découplant le coût d'inférence de la longueur du contexte, COMPAS a réalisé des accélérations significatives (jusqu'à 4,1× à 16-shot) et a réduit l'utilisation de la mémoire de pointe par rapport à l'ICL, qui évolue linéairement avec la taille du contexte.
Reconstruction : Le cadre a maintenu une haute fidélité de reconstruction (F1 au niveau du jeton > 85 % pour les unités uniques), confirmant que les paramètres de l'adaptateur conservent le contenu sémantique du contexte original.

5. Signification et Revendications

L'article affirme que COMPAS établit la génération d'adaptateurs compositionnels comme une alternative pratique et efficace pour le déploiement des LLM à grande échelle. Sa signification réside dans :

Efficacité : Il réduit les coûts d'inférence et l'empreinte mémoire en remplaçant les longs jetons de prompt par des paramètres d'adaptateur compacts et réutilisables.
Stabilité : Il atténue l'instabilité et la dégradation des performances associées au traitement de contextes longs dans les transformeurs.
Évolutivité : Il offre une solution fondée sur des principes pour gérer les entrées qui dépassent la fenêtre de contexte du modèle en générant et composant des adaptateurs de manière indépendante.
Sécurité et Interprétabilité : L'encodage réversible de l'information dans les adaptateurs facilite la récupération des contextes d'entrée originaux, ce qui est crucial pour la sécurité et l'audit.

Les auteurs positionnent ce travail non pas comme un remplacement de toutes les stratégies d'adaptation, mais comme un mécanisme évolutif pour intégrer des preuves externes et de multiples démonstrations sans les pénalités de calcul du prompting traditionnel ou la rigidité du fine-tuning par tâche.