🤖 machine learning

Diffract: Spectral View of LLM Domain Adaptation

Cet article étudie le pré-entraînement continu pour l'adaptation de domaine dans les grands modèles de langage, révélant que les changements spectraux sont principalement pilotés par des décalages de vecteurs singuliers plutôt que par des altérations de valeurs singulières, et exploite cette intuition pour développer Diffract — un outil qui permet une adaptation efficace en réinitialisant sélectivement les têtes d'attention de faible importance tout en préservant la connectivité de domaine.

Auteurs originaux : Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko

Publié 2026-08-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque bouillonnante où de géants robots apprennent à lire et à écrire. Ces robots, appelés Grands Modèles de Langage (LLM), commencent par lire presque tout dans la bibliothèque — actualités, histoires, sciences et journaux de discussion — pour apprendre comment fonctionne le langage humain. C'est comme un enfant qui grandit et apprend à parler en écoutant tout le monde autour de lui. Mais que se passe-t-il quand vous voulez que ce même robot devienne un génie des mathématiques, un sorcier du code ou un maître dans l'art de donner des instructions ? Vous ne pouvez pas simplement construire un nouveau robot à partir de zéro ; cela prendrait trop de temps et coûterait trop cher. Au lieu de cela, les scientifiques utilisent une technique appelée « Pré-entraînement Continu » (CPT). Considérez cela comme le fait de prendre le robot polyvalent et de lui faire suivre un camp d'été spécialisé : quelques semaines de lecture intensive uniquement sur des livres de mathématiques, ou uniquement sur des manuels de code. La grande question que les chercheurs se posent est la suivante : Comment le cerveau du robot change-t-il réellement pendant ce camp ? Réécrit-il toute sa mémoire, ou ne fait-il qu'ajuster quelques notes spécifiques ? Comprendre cela est crucial car cela nous aide à construire une IA plus intelligente et plus efficace, capable d'apprendre de nouvelles compétences sans oublier ses anciennes.

Dans une nouvelle étude intitulée « Diffract: Spectral View of LLM Domain Adaptation », une équipe de chercheurs a décidé de jeter un coup d'œil à l'intérieur du cerveau du robot en utilisant un type spécial de rayons X appelé Décomposition en Valeurs Singulières (SVD). Imaginez que le cerveau du robot est composé de millions de minuscules engrenages et de leviers (des matrices mathématiques). Lorsque le robot apprend quelque chose de nouveau, ces engrenages se déplacent. Les chercheurs voulaient voir comment ils se déplacent. Ils ont découvert quelque chose de surprenant : la « taille » des engrenages (les valeurs singulières) ne change presque pas. C'est comme si le robot conservait le même ensemble d'outils dans sa boîte à outils. Au lieu de cela, la magie opère parce que la direction vers laquelle les outils pointent (les vecteurs singuliers) pivote et se réoriente pour faire face au nouveau sujet.

L'équipe a découvert que le cerveau du robot n'est pas une masse uniforme ; il est composé de nombreux petits spécialistes appelés « têtes d'attention ». Certains de ces spécialistes sont comme des caméléons qui changent de couleur selon que le robot apprend les mathématiques ou le codage, tandis que d'autres restent les mêmes, peu importe la situation. C'est ce qu'on appelle l'« hétérogénéité des têtes ». À cause de cela, les chercheurs ont découvert qu'ils pouvaient « rembobiner » jusqu'à 60 % de ces spécialistes vers leur état d'origine sans nuire aux performances du robot. En fait, en choisissant soigneusement quels spécialistes rembobiner, ils ont rendu le robot meilleur en mathématiques de près de 4 %. C'est comme réaliser que 60 % de vos notes de cours n'étaient que des distractions, et que les supprimer vous a en réalité aidé à réussir votre examen.

De plus, l'étude a révélé un phénomène qu'ils appellent la « connectivité de domaine ». Si vous prenez un robot entraîné aux mathématiques et un autre entraîné au codage, et que vous mélangez doucement leurs cerveaux, le résultat est un robot qui est bon dans les deux, sans perdre ses compétences dans l'un ou l'autre. Ce mélange fonctionne mieux lorsque le robot a reçu une éducation longue et approfondie (un « budget de jetons » important) avant l'entraînement spécialisé. Les chercheurs ont également publié un kit d'outils gratuit appelé « Diffract » pour aider les autres à observer ces engrenages cérébraux, suggérant que la façon dont ces modèles apprennent est davantage une réorientation des structures existantes qu'une construction de nouvelles structures à partir de zéro. Bien que ces conclusions soient spécifiques aux modèles testés, elles suggèrent une nouvelle façon de penser la manière dont l'IA apprend : il s'agit moins d'écraser le passé que de trouver le bon angle pour envisager l'avenir.

Résumé technique : Diffract : Vue spectrale de l'adaptation de domaine des LLM

Énoncé du problème

Le pré-entraînement continu (CPT - Continual Pre-training) est un mécanisme standard pour adapter les modèles de langage à grande échelle (LLM) à usage général vers des domaines spécialisés (ex. : mathématiques, code, instruction). Bien que le CPT produise de meilleures performances que l'entraînement de modèles spécialisés à partir de zéro sous des budgets de calcul similaires, les mécanismes sous-jacents du CPT restent nettement moins compris que ceux du réglage fin supervisé (SFT - Supervised Fine-Tuning). Des phénomènes tels que la connectivité de mode linéaire et l'arithmétique de tâche sont bien documentés dans le SFT, mais il n'est pas clair si des dynamiques spectrales ou structurelles similaires régissent le CPT. Plus précisément, il existe un manque de compréhension concernant la manière dont les matrices de poids évoluent pendant le CPT, si l'adaptation de domaine repose sur des changements de valeurs singulières ou de vecteurs singuliers, et s'il existe une redondance dans les mises à jour des paramètres qui puisse être exploitée pour plus d'efficacité.

Méthodologie

Les auteurs utilisent la décomposition en valeurs singulières (SVD) pour analyser les matrices de poids des LLM tout au long des trajectoires de pré-entraînement et de pré-entraînement continu. L'étude utilise l'architecture OLMo 2 à travers des échelles de modèles de 1B, 7B, 13B et 32B de paramètres.

Composantes analytiques clés :

Mesures spectrales : Analyse des normes de Frobenius, des normes spectrales, des rangs stables et des rangs effectifs des matrices de poids.
Accord des vecteurs singuliers : Mesure de la similitude cosinus entre les vecteurs singuliers des points de contrôle pré-entraînés ( $W_{pre-train}$ ) et des points de contrôle adaptés au domaine ( $W_{domain}$ ) pour quantifier les changements directionnels.
Ajustement de distribution : Ajustement des densités spectrales empiriques (ESD) aux distributions de Marchenko-Pastur (MP) pour les spectres de masse (bulk) et aux modèles de loi de puissance (PL) pour les régions à queue lourde afin d'évaluer l'alignement avec la théorie de l'auto-régularisation à queue lourde (HTSR - Heavy-Tailed Self-Regularization).
Expériences d'intervention :
- Transplantation de valeurs singulières : Échange de valeurs singulières ( $\Sigma$ ) entre les points de contrôle tout en conservant les vecteurs singuliers pour tester l'importance des magnitudes spectrales par rapport aux directions.
- Rembobinage par tête (Head-wise Rewinding) : Revenir systématiquement les têtes d'attention à leur état pré-entraîné en fonction de divers critères d'importance pour mesurer l'impact sur les performances des tâches en aval.
- Troncation SVD : Tronquer les plus petites valeurs singulières du delta de CPT ( $\Delta W = W_{domain} - W_{pre-train}$ ) pour évaluer la redondance des paramètres.
- Interpolation linéaire : Interpoler les poids entre des points de contrôle adaptés à différents domaines pour tester la « connectivité de domaine ».

Les auteurs publient Diffract, un kit d'outils open-source conçu pour faciliter ces analyses spectrales.

Contributions et résultats clés

1. Dynamique spectrale : Spectres invariants, vecteurs évolutifs

L'étude constate que le CPT laisse les spectres de valeurs singulières largement invariants. Le processus d'adaptation est principalement piloté par des changements dans les vecteurs singuliers, particulièrement ceux localisés près des pics des spectres SVD.

Évolution du pré-entraînement : Durant la phase de pré-entraînement, les matrices de têtes d'attention développent des structures spectrales complexes caractérisées par des valeurs aberrantes (outliers) et de multiples pics étroits. Cette complexité augmente avec le budget de jetons de pré-entraînement et s'écarte des modèles HTSR standards, qui prédisent généralement de simples queues de loi de puissance.
Stabilité du CPT : En revanche, les spectres de valeurs singulières restent presque stables durant le CPT. Les auteurs émettent l'hypothèse que la structure spectrale complexe acquise lors du pré-entraînement est un prérequis pour une adaptation de domaine efficace.

2. Hétérogénéité des têtes et rembobinage

Un phénomène inédit nommé hétérogénéité des têtes est identifié. À mesure que le budget de jetons de pré-entraînement augmente, les têtes d'attention présentent des comportements variés durant le CPT :

Certaines têtes subissent des changements significatifs quel que soit le domaine.
D'autres changent de manière spécifique au domaine.
Stratégie de rembobinage : En ordonnant les têtes selon un nouveau critère (comparaison de la norme de Frobenius du delta de CPT par rapport à un domaine de texte de référence), les auteurs démontent qu'jusqu'à 60 % des têtes d'attention peuvent être rembobinées à leur état pré-entraîné sans perte de qualité mesurable. De plus, le rembobinage sélectif des têtes de faible importance peut améliorer la précision sur les benchmarks de 4 % (spécifiquement sur les tâches mathématiques pour le modèle 7B) par rapport à la ligne de base entièrement entraînée.

3. Redondance des paramètres dans les deltas de CPT

Le delta de CPT présente une redondance significative, qui croît avec la taille du modèle :

Modèles 1B : Présentent des deltas de rang élevé avec une faible tolérance à la troncature.
Modèles 7B et 13B : Peuvent tolérer une troncature agressive. Jusqu'à 50 % des valeurs singulières peuvent être supprimées du delta de CPT du modèle 7B, et jusqu'à 70 % de celui du 13B, sans dégradation significative de la précision sur GSM8K. Cela suggère que les modèles plus grands apprennent des représentations plus redondantes durant le CPT.

4. Connectivité de domaine

Les auteurs identifient la connectivité de domaine, définie comme la capacité à interpoler linéairement entre des points de contrôle adaptés à différents domaines (ex. : mathématiques et code) sans oubli catastrophique.

Tendance de convexité : La qualité du modèle interpolé (« model soup ») s'améliore à mesure que le budget de jetons de pré-entraînement et la taille du modèle augmentent. Pour les budgets plus faibles, l'interpolation est concave (sous-performante par rapport aux points de terminaison) ; pour des budgets plus importants (ex. : 4T jetons), elle devient convexe (surperformante par rapport à la corde linéaire).
Limite : Malgré l'existence de cette connectivité, l'interpolation linéaire est généralement moins performante que les modèles entraînés directement sur des mélanges de données, suggérant que la simple fusion de vecteurs de tâche présente des limites.

Signification et affirmations

L'article affirme fournir une compréhension fondamentale des mécanismes de CPT à travers un prisme spectral. La signification réside dans :

Remise en question de la théorie HTSR : Démontrer que si les couches MLP s'alignent sur l'HTSR, les têtes d'attention développent des structures spectrales complexes que les théories de queue lourde standard ne peuvent pleinement décrire.
Efficacité : Fournir une méthode fondée sur des principes pour identifier et supprimer les paramètres redondants (jusqu'à 60 % des têtes) ou améliorer les performances via un rembobinage sélectif, offrant une voie vers une adaptation de domaine plus efficace.
Outillage : La publication de Diffract permet une analyse spectrale reproductible de modèles de plusieurs milliards de paramètres, comblant un vide dans les outils d'analyse de la dynamique des poids des LLM.
Scalabilité : Les découvertes sur l'hétérogénéité des têtes et la connectivité de domaine sont montrées comme cohérentes à travers différentes échelles de modèles (1B à 32B) et divers domaines (maths, instruction, code, texte).

Les auteurs maintiennent une position modeste, notant que leurs conclusions sont robustes au sein de la famille OLMo mais pourraient ne pas être universelles pour toutes les architectures de LLM modernes. Ils reconnaissent les limites en matière de couverture des benchmarks et l'utilisation spécifique de l'optimiseur AdamW, suggérant que les travaux futurs devraient explorer d'autres familles de modèles et des ablations d'optimiseurs.