🤖 machine learning

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

LARA est une méthode d'adaptation légère qui injecte des corrections de faible rang directement dans le flux résiduel d'un modèle gelé, permettant une performance équivalente en termes de paramètres, un contrôle fluide par un facteur d'échelle lors de l'inférence, et l'hébergement simultané de multiples comportements distincts sur un seul appareil.

Auteurs originaux : Pascal Ekin, Hyosun Choi, Wei Jie

Publié 2026-08-03

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pascal Ekin, Hyosun Choi, Wei Jie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent qui a lu presque tout sur Internet. C'est un génie, mais il est aussi un peu têtu : une fois qu'il a appris ses leçons, vous ne pouvez pas facilement lui apprendre de nouveaux tours sans "casser" son cerveau ou avoir besoin d'une quantité massive de mémoire pour stocker une toute nouvelle version de lui-même. C'est le monde des Grands Modèles de Langage (LLM). Pour rendre ces robots utiles pour des tâches spécifiques — comme écrire du code Python ou donner des conseils médicaux — les scientifiques utilisent généralement une technique appelée ajustement fin (fine-tuning). Considérez cela comme si vous donniez un nouveau manuel scolaire au robot. La méthode dominante actuelle, appelée LoRA, revient à démonter le cerveau du robot, réécrire quelques pages de son manuel d'instructions interne, puis le recoller. Cela fonctionne bien, mais c'est lourd. Si vous voulez que le robot soit un codeur et un médecin et un poète, vous devez transporter trois versions différentes et lourdes de son cerveau, ce qui est impossible pour un petit appareil comme un téléphone.

Entrez en scène LARA (Lightweight Additive Residual Adaptation), une nouvelle idée de chercheurs de la Royal Holloway et de l'Université de West London. Au lieu de réécrire le manuel interne du robot, LARA traite le cerveau du robot comme une fondation fixe et immuable. Il ajoute une petite « note » détachable au flux de pensée du robot juste avant qu'il ne parle. Cette note est si petite et légère que vous pouvez avoir toute une bibliothèque de différentes « personnalités » (une pour le code, une pour les mathématiques, une pour être gentil) vivant sur le même robot en même temps. Le robot peut ensuite passer d'une personnalité à l'autre instantanément, mot après mot, sans avoir besoin de recharger l'intégralité de son cerveau. Ce papier suggère que cette méthode de « prise de notes » fonctionne aussi bien que la méthode lourde de « réécriture », mais avec un superpouvoir : vous pouvez augmenter ou diminuer le volume du nouveau comportement, et vous pouvez empaqueter de nombreux comportements dans un espace minuscule, rendant possible l'exécution d'une IA multi-talentueuse directement sur votre appareil.

Le Problème : Le Cerveau Lourd

Imaginez que vous avez la statue géante et figée d'un génie. Elle est parfaite, mais elle ne peut pas changer. Si vous voulez qu'elle commence à parler français, vous ne pouvez pas simplement lui chuchoter à l'oreille ; vous devez sculpter de nouveaux muscles dans la pierre. C'est ce que fait la plupart des adaptations d'IA : elles essaient de sculpter la statue. La méthode populaire, LoRA, revient à ajouter une fine couche d'argile sur les muscles de la statue. Cela fonctionne, mais si vous voulez que la statue parle français, espagnol et allemand, il vous faut trois statues différentes, ou trois couches d'argile que vous devez échanger et remplacer. C'est lent et cela prend beaucoup de place.

La Solution : Le Post-it

Les chercheurs derrière LARA ont posé une question différente : « Et si nous ne touchions pas du tout à la statue ? » Au lieu de sculpter ou d'ajouter de l'argile, ils ont décidé de coller un petit post-it magique sur la main de la statue chaque fois qu'elle tend la main pour saisir quelque chose.

Dans le monde de l'IA, la « main » est appelée le flux résiduel (residual stream). C'est le flux d'informations qui traverse les couches du modèle, comme une rivière transportant les pensées du robot. LARA ne modifie pas le lit de la rivière (les poids figés) ; il plonge simplement une petite éponge de bas rang dans la rivière, en presse une infime partie de « correction », et la rajoute à l'eau.

L'Éponge : C'est un module minuscule avec seulement environ 2,39 millions de paramètres entraînables.
La Rivière : Le modèle principal (un modèle de 1,5 milliard de paramètres) reste complètement figé et intact.

Parce que le modèle principal n'est jamais touché, le robot de « base » est toujours là, prêt à fonctionner. L'éponge ajoute simplement une petite saveur aux pensées au passage.

Les Tours de Magie

Le papier a découvert trois choses intéressantes sur cette approche :

1. C'est aussi efficace que la méthode lourde
Les chercheurs ont testé LARA sur une tâche d'écriture de code et une tâche de « préférence » (apprendre au robot à être plus utile et moins impoli). Ils l'ont comparé à la méthode lourde de l'argile (LoRA) en utilisant exactement le même nombre de paramètres entraînables. Le résultat ? LARA a égalé LoRA. Il a appris à écrire du code et à suivre des préférences tout aussi bien, même s'il n'a jamais touché au cerveau original. C'est comme si le post-it était aussi efficace que la réécriture du manuel.

2. Le Bouton de Volume
C'est ici que LARA devient vraiment ludique. Comme la « correction » est juste une note additive, vous pouvez tourner un cadran appelé $\gamma$ (gamma) au moment où le robot parle.

Si vous réglez $\gamma = 0$ , le robot ignore la note et agit exactement comme la base figée.
Si vous réglez $\gamma = 1$ , il utilise pleinement la note.
Si vous réglez $\gamma = 0,5$ , c'est moitié-moitié.

Le papier montre que vous pouvez glisser de manière fluide entre la « base ennuyeuse » et « l'expert en code » simplement en tournant ce bouton. Vous ne pouvez pas faire cela avec la méthode de l'argile lourde (LoRA) une fois qu'elle est collée ; c'est un changement permanent. Avec LARA, vous pouvez dire : « Hé robot, sois à 70 % codeur et à 30 % poète », juste en ajustant le volume.

3. La Bibliothèque de Personnalités
C'est le point majeur. Comme la base est figée et que les notes sont minuscules, vous pouvez avoir sept comportements différents vivant sur le même modèle de 1,5 milliard de paramètres en même temps.

Les chercheurs ont placé six comportements affinés (code, chat général, mathématiques, médical, un second ensemble de code, et résumé) et un comportement de « préférence » sur un seul modèle figé.
Le poids total pour les sept ? Seulement 33 Mo.
Si vous aviez utilisé l'ancienne méthode, vous auriez besoin de sept copies complètes du modèle, ce qui prendrait 21,6 Go.

Imaginez faire tenir sept personnalités différentes dans la taille d'un seul fichier MP3. Le modèle utilise un petit « routeur » (un agent de circulation) pour regarder chaque mot que le robot est sur le point de dire et décider quelle personnalité emprunter pour ce mot spécifique. Si la phrase concerne les mathématiques, il saisit la note de mathématiques. Si elle concerne le code, il saisit la note de code. Il peut même les mélanger si une phrase est ambiguë.

Le Bémol (et l'Avenir)

Le papier précise que ce n'est pas encore une solution miracle pour tout.

Le Test du « Code » : La preuve que LARA fonctionne aussi bien que LoRA a été principalement faite sur un jeu de données de code. Les auteurs suggèrent que cela fonctionne probablement pour d'autres sujets, mais ils ne l'ont pas encore pleinement testé sur tous les sujets possibles.
La Limite d'« Amplification » : Si vous tournez le bouton de volume ( $\gamma$ ) trop haut (comme le régler à 3), le robot commence à bégayer et à faire des erreurs, surtout si vous avez accumulé de nombreuses notes. Une seule note est stable, mais empiler six notes et pousser le volume fait déborder la rivière.
La Confusion du Routeur : Lorsque deux comportements sont très similaires (comme deux jeux de données de code différents), l'agent de circulation est parfois confus et divise le vote. Cependant, le papier a trouvé que même quand il est confus, le robot fait un bon travail car les deux notes cherchent toutes deux à aider pour le code.

Pourquoi cela importe

Le papier suggère que nous n'avons peut-être pas besoin de construire des cerveaux massifs et séparés pour chaque nouvelle compétence. Au lieu de cela, nous pouvons avoir un cerveau solide et figé, et un sac à dos rempli de petites notes interchangeables. C'est énorme pour faire fonctionner l'IA sur des appareils comme les téléphones ou les ordinateurs portables, où la mémoire est limitée. Cela suggère un futur où votre téléphone possède un modèle d'IA unique qui peut passer instantanément de votre tuteur de mathématiques à votre assistant de codage, puis à votre partenaire d'écriture créative, le tout sans avoir besoin de télécharger une nouvelle application ou d'attendre une mise à jour massive. Les chercheurs appellent cela l'« adaptation composable », mais vous pouvez simplement y voir l'idée de donner à votre robot une garde-robe de petits post-its magiques.

Résumé Technique : LARA (Lightweight Adapters in the Residual Stream)

Énoncé du Problème

L'adaptation efficace des modèles pré-entraînés de grande taille repose généralement sur la modification des poids du modèle, la méthode LoRA (Low-Rank Adaptation) étant l'approche dominante. LoRA ajoute une mise à jour de bas rang entraînable à des matrices de poids spécifiques, intégrant ainsi l'adaptation dans l'espace des poids. Bien qu'efficace, cette approche présente des limites :

Absence de contrôle au moment de l'inférence : Une fois entraînée, l'adaptation est fixe. Les méthodes dans l'espace des poids n'offrent pas de mécanisme pour interpoler de manière fluide entre le comportement du modèle de base et le comportement adapté lors de l'inférence sans réentraînement ou chargement de nouveaux poids.
Scalabilité pour des comportements multiples : Le déploiement conventionnel pour plusieurs comportements (par exemple, différents domaines ou tâches) nécessite souvent le chargement d'une copie complète du modèle distincte ou de jeux d'adaptateurs différents pour chaque tâche. Cela est gourmand en mémoire, particulièrement pour l'inférence sur appareil (on-device).
Composabilité : Les méthodes existantes peinent souvent à héberger simultanément de nombreux comportements distincts sur un même modèle de base gelé tout en les routant automatiquement par jeton (token).

Méthodologie : LARA

LARA (Lightweight Additive Residual Adaptation) propose d'opérer dans le flux résiduel (residual stream) d'un modèle transformer gelé plutôt que de modifier les poids.

Mécanisme : Au lieu de mettre à jour les matrices de poids, LARA insère des modules légers dans un sous-ensemble sélectionné de couches ( $\mathcal{L}$ $L$ ). À chaque couche $\ell$ $ℓ$ sélectionnée, le module lit l'état caché $h_\ell$ $h_{ℓ}$ , applique une transformation de bas rang, et réajoute la correction résultante au flux résiduel.
- La règle de mise à jour est : $h_\ell \leftarrow h_\ell + \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $W_\downarrow$ est une matrice $r \times d$ , $W_\uparrow$ est une matrice $d \times r$ , et $r \ll d$ .
- $W_\uparrow$ est initialisée à zéro, garantissant que le modèle se comporte exactement comme le modèle de base gelé au début de l'entraînement.
Base Gelée : Les poids de base ne sont jamais touchés. Si les modules sont retirés ou si leur sortie est mise à zéro, la passe avant est bit à bit identique au modèle de base original.
Mise à l'échelle à l'inférence : Puisque l'adaptation est additive, un coefficient de mise à l'échelle $\gamma$ $γ$ peut être appliqué lors de l'inférence :
- $h_\ell \leftarrow h_\ell + \gamma \alpha \frac{1}{r} W_\uparrow W_\downarrow \text{LN}(h_\ell)$
- $\gamma = 0$ récupère le modèle de base ; $\gamma = 1$ récupère le modèle entraîné. Les valeurs intermédiaires permettent un contrôle gradué entre le comportement de base et le comportement adapté.
Routage de comportements multiples : Plusieurs comportements (chacun étant un ensemble de modules LARA) peuvent résider sur le même modèle de base gelé. Un petit routeur linéaire lit l'état caché et assigne une distribution sur les comportements pour chaque jeton. Les corrections de tous les comportements actifs sont mélangées sous la forme d'une somme pondérée par jeton.

Principales Contributions

Le papier revendique explicitement trois contributions majeures :

Parité avec LoRA à nombre de paramètres égal : Contrairement aux travaux antérieurs qui comparent les adaptateurs résiduels à LoRA sans faire correspondre le nombre de paramètres, cette étude établit que LARA égale les performances de LoRA tant pour le fine-tuning de code que pour l'optimisation de préférence (DPO) lorsqu'ils sont entraînés avec des budgets de paramètres égaux.
Contrôle gradué au moment de l'inférence : La nature additive de LARA expose un coefficient de mise à l'échelle $\gamma$ qui permet une interpolation fluide entre le modèle de base et le modèle adapté lors de l'inférence, un mécanisme de contrôle indisponible avec l'adaptation dans l'espace des poids.
Comportements composables sur une base unique : En gardant la base gelée et les comportements sous forme de petits modules résiduels, LARA permet d'héberger une "banque" de comportements sur un seul modèle. Ces comportements peuvent être entraînés séparément et routés automatiquement par jeton, réduisant considérablement la surcharge mémoire par rapport au chargement de copies complètes du modèle.

Résultats Expérimentaux

Les expériences ont été menées sur un modèle Qwen2.5 1.5B Instruct (8-bit) gelé.

Fine-Tuning (Code) : LARA (2,39 M de paramètres) et LoRA (2,18 M de paramètres) ont été comparés sur un corpus de code.
- Distribution d'entraînement : LARA a atteint une perplexité de 1,70 contre 1,75 pour LoRA.
- Split d'instruction : LARA a obtenu 7,50 contre 6,74 pour LoRA.
- Conclusion : À paramètres égaux, LARA atteint la même qualité de fine-tuning que LoRA.
Optimisation de Préférence (DPO) : Appliquée sur des paires de préférences UltraFeedback.
- LARA a atteint une précision de récompense de 0,625 contre 0,613 pour LoRA.
- Les deux méthodes ont nettement surpassé la base gelée (0,55).
Mise à l'échelle à l'inférence : Faire varier $\gamma$ de 0 à 3 a montré que la perplexité évolue de manière monotone entre la base et la valeur entraînée pour $\gamma \in [0, 1]$ . Cependant, la stabilité dépend du placement : un pont à couche unique est resté stable à un $\gamma$ élevé, tandis qu'une configuration multi-couches s'est dégradée brutalement lorsque l'amplification a dépassé $\gamma=1$ .
Hébergement de comportements multiples : Sept comportements (6 issus du fine-tuning, 1 optimisé par DPO) ont été hébergés sur un seul modèle 1.5B.
- Mémoire : La base (3,09 Go résidents) + 7 comportements + routeur = 3,12 Go. C'est une fraction des ~21,6 Go requis pour sept copies séparées du modèle.
- Performance : Sous routage souple (soft routing), les comportements conservent 87 % à 99 % de leur performance dédiée. Le routeur a dirigé avec succès les jetons vers les comportements spécifiques au domaine (ex: mathématiques, médical) avec une confiance élevée (>0,94), bien qu'il ait eu des difficultés à séparer des domaines de code très similaires.
- Activation conjointe : Le comportement de préférence peut être activé aux côtés des comportements de domaine sur des jetons partagés (ex: instructions générales), démontrant la composabilité.

Signification et Revendications

Le papier positionne LARA non pas comme un mécanisme nouveau (les adaptateurs résiduels et le side-tuning étant déjà établis), mais comme une caractérisation rigoureuse de cette approche dans le contexte de l'adaptation efficace moderne.

Impact Pratique : Le principal bénéfice pratique est la capacité d'héberger une "banque de comportements" sur un seul modèle gelé avec un overhead mémoire minimal (quelques mégaoctets par comportement), ce qui est adapté à l'inférence sur appareil où la mémoire est une contrainte majeure.
Philosophie de Conception : L'approche traite l'adaptation comme un résidu placé à côté du calcul gelé plutôt que replié dedans. Cela permet de former les comportements séparément et de les ajouter à la banque sans ré-entraîner la base.
Limites : Les auteurs notent que la parité de fine-tuning est établie sur un corpus de code, et que la généralisation à d'autres domaines nécessite des tests supplémentaires. La mise à l'échelle à l'inférence et l'application conjointe sont mesurées via la perplexité et les poids d'activation, et non nécessairement via l'alignement comportemental en aval. La comparaison est strictement faite contre LoRA, et non contre d'autres méthodes dans l'espace des poids ou des activations.

En résumé, LARA démontre qu'une adaptation efficace peut être gérée dans le flux résiduel avec une qualité comparable aux méthodes dans l'espace des poids, tout en permettant de manière unique une mise à l'échelle à l'inférence et l'hébergement composable de multiples comportements sur un seul appareil.