🤖 AI

Long-Context Fine-Tuning with Limited VRAM

Cet article présente un cadre de réglage fin (fine-tuning) de contexte long économisant la mémoire, combinant l'attention globale hiérarchique, la rétropropagation par segment et un stockage KV à plusieurs niveaux, pour permettre l'entraînement sur des séquences allant jusqu'à 16 384 jetons et l'évaluation jusqu'à 131 072 jetons sur un seul GPU de 16 Go avec des performances comparables à l'attention dense.

Auteurs originaux : Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à lire une bibliothèque remplie de livres. Le robot possède un cerveau brillant, mais sa « mémoire de travail » — le petit bureau qu'il utilise pour réfléchir pendant la lecture — est incroyablement petite. Dans le monde de l'intelligence artificielle, ce bureau est appelé la VRAM (mémoire vive vidéo). Si le robot essaie de lire une longue histoire, il doit se souvenir de chaque mot déjà lu pour comprendre la phrase actuelle. Mais si l'histoire est trop longue, le bureau du robot s'encombre et il plante avant de pouvoir terminer la leçon. C'est le problème du « long contexte » : comment enseigner à ces modèles à se souvenir de milliers de mots sans manquer d'espace sur le bureau ?

Pour résoudre cela, les scientifiques ont développé quelques astuces. L'une d'elles est le QLoRA, qui revient à compresser le cerveau du robot dans un sac à dos plus petit et plus léger pour qu'il puisse tenir sur le bureau. Un autre est l'attention dense, qui est la façon dont le robot regarde en arrière vers chaque mot qu'il a lu jusqu'à présent pour trouver les bons indices. Bien que cela fonctionne très bien pour les histoires courtes, cela devient impossible pour les histoires longues car le robot doit porter toute l'histoire dans sa minuscule mémoire de travail. Ce document explore une nouvelle façon d'enseigner à ces robots à gérer des histoires massives sans avoir besoin d'un bureau géant, en utilisant un mélange astucieux de techniques de mémoire et un nouveau style de lecture de type « moteur de recherche ».

Le Problème : Le Petit Bureau du Robot

Imaginez que vous révisez pour un examen d'histoire. Vous avez un manuel de 10 000 pages. Votre cerveau ne peut contenir environ que 2 000 pages de notes à la fois. Si vous essayez de lire la page 8 000, vous devez vous souvenir de ce qui s'est passé à la page 100, mais vos notes sont pleines. Par le passé, les modèles d'IA étaient comme des étudiants qui essayaient de garder une copie de chaque page qu'ils avaient lue sur leur bureau. Si le livre devenait trop long, le bureau explosait.

Les auteurs de ce document voulaient entraîner un modèle appelé Qwen3-8B (un robot intelligent avec 8 milliards de « neurones ») sur une carte graphique spécifique appelée Quadro RTX 5000 qui ne possède que 16 Go de mémoire. Ils ont essayé de lui enseigner en utilisant une méthode standard appelée « attention dense ». Le résultat ? Le robot pouvait gérer une histoire de 2 048 tokens (un token est un morceau de mot, comme une syllabe ou un mot court). Mais dès qu'ils ont essayé de rendre l'histoire plus longue, soit 4 096 tokens, le bureau du robot s'est rempli et l'entraînement a planté. Il ne pouvait tout simplement pas faire tenir la mémoire du passé dans le petit espace disponible.

La Solution : La Bibliothèque « Hierarchical Global Attention » (HGA)

L'équipe a conçu une nouvelle stratégie appelée Hierarchical Global Attention (HGA). Au lieu d'essayer de garder chaque mot du passé sur le bureau, ils ont construit un système de classement intelligent à deux niveaux.

Voyez l'histoire comme une immense bibliothèque.

Les Résumés (Le Catalogue) : D'abord, le robot crée une petite fiche de résumé pour chaque bloc de 64 tokens de l'histoire. Ces fiches de résumé sont si petites qu'elles peuvent toutes tenir sur le bureau.
Les Groupes (Les Étagères) : À l'intérieur de ces blocs, il y a des groupes de 8 tokens plus petits. Le robot conserve également un cache de résumés pour ces groupes.
Les Vrais Livres (Les Mots Exacts) : Lorsque le robot a besoin de lire une partie spécifique de l'histoire, il ne charge pas toute la bibliothèque. Il consulte les fiches de résumé sur le bureau, choisit les blocs les plus pertinents, puis ne tire que les mots exacts (les données « Key » et « Value ») de ces blocs spécifiques depuis la salle de stockage (RAM ou disque dur) pour les amener sur le bureau.

C'est comme avoir un bibliothécaire qui sait exactement de quelles pages vous avez besoin. Au lieu de porter tout le livre, le bibliothécaire vous apporte juste les trois pages que vous recherchez. Le reste du livre reste sur l'étagère (dans la RAM ou sur le disque dur), occupant ainsi zéro espace sur votre bureau.

Comment cela fonctionne en pratique

Les chercheurs ont divisé la longue histoire en segments. Ils entraînent le robot sur un segment à la fois.

Le Segment Actif : La partie actuelle de l'histoire en cours d'apprentissage est sur le bureau.
L'Historique : Les parties passées sont stockées dans la « salle de stockage ».
La Magie : Lorsque le robot a besoin de regarder en arrière, il utilise les fiches de résumé pour trouver les bonnes pages, récupère uniquement ces pages spécifiques, et apprend à partir d'elles. Une fois qu'il a terminé ce segment, il renvoie les anciennes pages dans la salle de stockage pour faire de la place au segment suivant.

Cette méthode est appelée rétropropagation par segment (segment-wise backpropagation). C'est comme étudier un chapitre, passer un test, puis débarrasser son bureau pour étudier le chapitre suivant, tout en gardant une carte de l'emplacement des faits importants dans les chapitres précédents.

Les Résultats : Des Histoires Plus Grandes, Même Bureau

L'équipe a testé cela sur leur carte graphique de 16 Go. Voici ce qui s'est passé :

L'Ancienne Méthode (Attention Dense) : Ne pouvait gérer que 2 048 tokens. À 4 096 tokens, elle échouait complètement.
La Nouvelle Méthode (HGA) : A réussi à s'entraîner sur des histoires allant jusqu'à 16 384 tokens (et a même été testée jusqu'à 32 768 tokens) sur la même carte exacte.

L'utilisation de la mémoire de pointe pour la nouvelle méthode était de 15,28 Go, ce qui s'insère confortablement dans la limite des 16 Go. Le robot pouvait gérer une histoire 8 fois plus longue qu'auparavant sans avoir besoin d'un plus grand bureau.

Vitesse et Qualité : Est-ce un Compromis ?

Généralement, quand on rend quelque chose de plus intelligent ou de plus grand, cela devient plus lent. Les auteurs ont vérifié si cette nouvelle méthode était plus lente.

À 1 024 tokens, la nouvelle méthode était environ 20 % plus lente que l'ancienne. C'est parce que la « recherche » des bonnes pages prend un peu de temps supplémentaire lorsque l'histoire est courte.
Cependant, à 2 048 tokens, la nouvelle méthode était en fait légèrement plus rapide (217,75 tokens par seconde contre 207,02 tokens par seconde).
Les auteurs expliquent qu'à mesure que l'histoire s'allonge, l'ancienne méthode doit regarder de plus en plus de mots, ce qui la ralentit. La nouvelle méthode ne regarde qu'un nombre fixe et restreint de mots importants, sa vitesse reste donc stable. Ils prédisent que pour des histoires très longues, la nouvelle méthode sera beaucoup plus rapide.

Le robot a-t-il aussi bien appris ? Ils ont testé les connaissances du robot en utilisant un test de lecture standard (jeu de données PG19).

Le robot entraîné avec la nouvelle méthode a obtenu un score de 2,7405 (une mesure de sa capacité à prédire le mot suivant).
Le robot entraîné avec l'ancienne méthode a obtenu un score de 2,7383.
La différence est infime (0,0022), ce qui signifie que la nouvelle méthode a appris aussi bien que l'ancienne, même si elle regardait moins de mots.

Le Bémol : Ce que le Robot ne Peut Pas Encore Faire

Le document est très honnête sur ce que cette méthode ne peut pas encore faire.

Fuite Causale (Causal Leakage) : Si vous entraînez le robot pendant un temps très long (des centaines de millions de tokens), il pourrait commencer à tricher. Parce que le robot regroupe les mots pour créer des résumés, un mot précoce pourrait accidentellement « voir » des informations sur un mot ultérieur qu'il ne devrait pas connaître encore. C'est ce qu'on appelle la « fuite causale ». Les auteurs précisent que cela ne pose pas de problème pour des sessions d'entraînement courtes (comme les 100 étapes qu'ils ont réalisées), mais ils ne recommandent pas d'utiliser cela pour entraîner un robot à partir de zéro pour un projet massif de plusieurs années pour le moment.
Inférence (Lire l'Histoire) : Le robot peut apprendre avec cette nouvelle méthode, mais lorsqu'il s'agit de lire ou d'écrire une histoire, il utilise actuellement la méthode standard, plus lente, pour s'assurer qu'il fonctionne avec les logiciels existants. Les auteurs travaillent sur une version « de production » qui permettra au robot de lire en utilisant la nouvelle méthode rapide également, mais celle-ci n'est pas encore prête.

En Résumé

Ce document montre qu'il n'est pas nécessaire d'avoir un ordinateur géant et surpuissant pour entraîner une IA sur de longues histoires. En utilisant un système de classement intelligent (HGA) et un style d'apprentissage « par blocs », vous pouvez faire tenir une session d'entraînement de 16 384 tokens sur une carte graphique de 16 Go qui ne pouvait auparavant gérer que 2 048 tokens. Le robot apprend tout aussi bien, et à mesure que les histoires s'allongent, cette nouvelle méthode devient plus rapide que l'ancienne. C'est une astuce ingénieuse qui transforme une limite de mémoire en un puzzle gérable, ouvrant la voie à une IA plus intelligente capable de lire des livres entiers sans manquer d'espace sur son bureau.

Résumé Technique : Fine-Tuning à Long Contexte avec une VRAM Limitée

1. Énoncé du Problème

L'adaptation au long contexte dans les grands modèles de langage est fréquemment contrainte non pas par le nombre de paramètres d'adaptateurs entraînables, mais par les exigences de mémoire des mécanismes d'attention et des états de rétropropagation. Bien que les méthodes de Fine-Tuning Paramétriquement Efficace (PEFT) comme QLoRA réduisent la mémoire du modèle et de l'optimiseur en quantifiant les poids gelés et en entraînant des adaptateurs de faible rang, elles reposent toujours sur une attention dense. L'attention dense nécessite le traitement de l'historique complet des jetons, ce qui fait que l'empreinte mémoire croît linéairement avec la longueur de la séquence. Par conséquent, sur du matériel de classe grand public ou à VRAM limitée (par exemple, des GPU de 16 Go), l'entraînement dense échoue souvent au-delà de courtes longueurs de contexte (par exemple, 4 096 jetons), empêant le fine-tuning de modèles sur de longs documents.

2. Méthodologie

Le papier propose un cadre combinant l'Attention Globale Hiérarchique (HGA - Hierarchical Global Attention) avec une rétropropagation par segment et un stockage de Key-Value (KV) à plusieurs niveaux pour découpler l'ensemble de travail du GPU de l'historique complet d'entraînement.

2.1 Attention Globale Hiérarchique (HGA)

L'HGA remplace l'attention standard sans modifier les projections Q/K/V/O préentraînées. Elle opère via un mécanisme de routage à deux niveaux :

Sélection de Chunks (Blocs) : Le contexte est divisé en chunks de taille fixe (par exemple, 64 jetons). Des vecteurs de résumé compacts pour chaque chunk fermé restent résidents en VRAM. Le bloc de requête actuel évalue ces résumés pour sélectionner les chunks historiques les plus pertinents, aux côtés de puits (sinks) fixes et de fenêtres locales.
Sélection de Groupes : Les chunks sélectionnés sont ensuite divisés en groupes plus petits (par exemple, 8 jetons). Les résumés de groupe sont mis en cache dans un tampon VRAM plus large ; les résumés manquants sont récupérés depuis la RAM de l'hôte ou le NVMe. Le routeur sélectionne les meilleurs groupes au sein des chunks choisis.
Attention par Jeton Exact : Seuls les couples Key/Value (K/V) exacts des groupes sélectionnés sont chargés dans l'ensemble de travail pour le calcul de l'attention. Les vecteurs de résumé sont utilisés uniquement pour le routage, et non comme valeurs d'attention.

Crucialement, la sélection du routage s'exécute sans suivi de gradient, tandis que la collecte des K/V et l'attention par jeton exact restent différentiables. La méthode n'ajoute aucun poids de routeur appris, garantissant que les gradients mettent à jour les mêmes projections que lors d'un entraînement dense.

2.2 Rétropropagation par Segment et Stockage à Niveaux

Pour gérer la mémoire pendant la rétropropagation, la séquence de longueur $L$ est divisée en segments de longueur $S$ .

Truncated Backpropagation Through Time (TBPTT) : Chaque segment calcule la perte et exécute immédiatement la rétropropagation. À la limite du segment, le K/V historique de ce segment est détaché du graphe de calcul.
Hiérarchie de Mémoire à Niveaux :
- VRAM : Contient le modèle quantifié, les adaptateurs, l'optimiseur, le segment différentiable actif, les K/V exacts routés, tous les résumés de chunks, ainsi qu'un cache de résumés de groupes.
- RAM de l'Hôte/NVMe : Stocke les K/V historiques détachés et les résumés de groupes non résidents.
- Mise à l'échelle : L'empreinte VRAM croît en $O(S) + O(B_{route})$ (taille du segment + budget de routage), tandis que l'enregistrement historique externe croît en $O(L)$ . Cela permet l'entraînement sur des séquences dépassant largement la capacité de la VRAM, limité uniquement par la RAM du système et le stockage NVMe.

3. Contributions Clés

Contexte Entraînable Étendu : La méthode permet de fine-tuner sur un GPU de 16 Go avec une longueur de contexte de 16 384 jetons (et une évaluation jusqu'à 131 072 jetons), là où l'entraînement dense échoue à 4 096 jetons sur le même matériel.
Parité de Qualité : Au point de chevauchement (2 048 jetons), les adaptateurs entraînés avec HGA produisent des poids pratiquement indiscernables de ceux entraînés avec une attention dense lorsqu'ils sont évalués sous une lecture d'attention dense standard.
Efficacité du Débit : Bien que l'HGA incurre un surcoût à de très courtes longueurs de contexte, elle devient légèrement plus rapide que l'entraînement dense à 2 048 jetons. Les auteurs projettent que l'HGA deviendra nettement plus rapide à mesure que la longueur du contexte augmente, car son travail d'attention par jeton reste approximativement constant tandis que le travail dense croît linéairement.
Inférence Modulaire : L'adaptateur résultant peut être utilisé soit avec l'attention dense originale (pour la compatibilité avec les frameworks existants), soit avec l'HGA pour la récupération et la génération.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant Qwen3-8B (4-bit NF4 QLoRA) sur une Quadro RTX 5000 (16 Go) avec le jeu de données PG19.

4.1 Faisabilité de l'Entraînement

Entraînement Dense : Échoue (OOM - Out Of Memory) à 4 096 jetons.
Entraînement HGA : Entraîne avec succès jusqu'à 32 768 jetons avec une utilisation de pointe de la VRAM d'environ 15,28 Go.
Densité de Sélection : À mesure que le contexte croît, la fraction des jetons historiques faisant l'objet d'une attention diminue (de 59,4 % à 2K à 4,4 % à 32K), pourtant le modèle reste stable.

4.2 Efficacité

1 024 jetons : L'HGA est environ 20 % plus lente que le mode dense (225,54 vs 282,32 jetons/s) en raison du surcoût de routage qui n'est pas encore amorti.
2 048 jetons : L'HGA devient légèrement plus rapide (217,75 vs 207,02 jetons/s), marquant un croisement de débit.

4.3 Métriques de Qualité

Perplexité (PPL) : À 2 048 jetons, l'adaptateur entraîné avec HGA atteint une PPL de 15,495 sous lecture dense, contre 15,461 pour l'adaptateur entraîné en dense (une différence d'environ 0,04 PPL). Les deux surpassent significativement le modèle de base (19,185 PPL).
Récupération (Retrieval) : Dans les tâches de type RULER (passkey, multikey, multivalue), les adaptateurs entraînés avec HGA atteignent un rappel de 100 % sur les tâches passkey et multikey à 4K/8K, égalant les bases entraînées en dense.
Coût de Routage : Augmenter le nombre de chunks routés de 8 à 32 produit des rendements décroissants en termes de perplexité, suggérant que le budget de routage par défaut est proche de la saturation.

5. Limites et Revendications

Le papier note explicitement les limitations suivantes :

Fuite Causale (Causal Leakage) : Dans l'implémentation actuelle, le partage des décisions de routage entre les jetons au sein d'un chunk crée un canal latéral causal faible. Cela devient mesurable après 100 à 200 millions de jetons d'entraînement, où le modèle exploite des informations indirectes sur les jetons futurs. Par conséquent, la méthode est validée pour le fine-tuning dans les horizons testés, mais n'est pas encore adaptée au pré-entraînement à partir de zéro. Une variante strictement causale est proposée comme travail futur.
Portée de l'Évaluation : Les comparaisons de qualité à 8K–16K ne peuvent être faites par rapport à une base dense car l'entraînement dense échoue sur le matériel cible.
Prêt pour la Production : Le chemin d'inférence routé est actuellement une implémentation de recherche. Un moteur de service de niveau production (intégré par exemple à vLLM ou SGLang) est en cours de développement.

6. Signification

Le papier démontre que l'HGA, combinée à la rétropropagation par segment et au stockage à plusieurs niveaux, sépare efficacement l'ensemble de travail du GPU de l'historique complet d'entraînement. Cela permet le fine-tuning à long contexte sur du matériel doté d'une VRAM limitée sans sacrifier la qualité des poids appris (mesurée par une lecture dense). L'approche offre une voie pratique pour passer à l'échelle de la longueur du contexte au-delà des limites de l'attention dense, avec un potentiel d'amélioration du débit sur des séquences plus longues.