🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

Ce papier présente le Partage de Paramètres à Grain Fin (FiPS), un cadre unifié qui compresse les MLP des transformateurs en optimisant conjointement le partage de paramètres inter-blocs, la factorisation de rang faible et la parcimonie, permettant une réduction significative de la taille du modèle avec une perte de précision minimale sur les transformeurs de vision et les grands modèles de langage.

Auteurs originaux : Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque immense de livres (un grand modèle d'IA) qui est incroyablement intelligente, mais qui occupe tellement d'espace qu'elle ne tient pas sur une étagère ordinaire (un téléphone ou un petit ordinateur). Vous souhaitez réduire la taille de cette bibliothèque sans perdre les histoires qu'elle contient.

Pendant longtemps, les scientifiques ont tenté de compresser ces bibliothèques en supprimant simplement des pages (élagage) ou en écrivant les livres dans une police plus petite (quantification). Mais cet article introduit une nouvelle stratégie ingénieuse appelée FiPS (Partage de Paramètres à Granularité Fine).

Voici comment fonctionne FiPS, expliqué à travers des analogies simples :

1. Le Problème : Trop de Chambres Identiques

Imaginez un modèle Transformer (comme ceux qui alimentent l'IA moderne) comme un immense hôtel comportant de nombreux étages identiques. Sur chaque étage, il y a une « cuisine » (appelée couche MLP) où la préparation des plats a lieu.

L'Ancienne Méthode : Habituellement, chaque étage possède son propre ensemble unique de 100 chefs, chacun avec ses propres recettes uniques. Même si les étages se ressemblent, les chefs ne se parlent pas. Cela gaspille énormément d'espace.
L'Idée de FiPS : FiPS dit : « Pourquoi chaque étage a-t-il besoin de 100 chefs uniques ? Engageons un Chef Maître Partagé (une base partagée) qui connaît les recettes fondamentales, puis assignons quelques Assistants Locaux (matrices de projection parcimonieuses) sur chaque étage pour ajuster légèrement ces recettes spécifiquement pour cet étage. »

2. L'Ingrédient Secret : Le « Chef Maître Partagé » et les « Assistants Parcimonieux »

FiPS fait trois choses simultanément pour réduire la taille du modèle :

Le Chef Maître Partagé (Factorisation de Rang Faible) : Au lieu de 100 chefs uniques par étage, FiPS crée un « Chef Maître » qui connaît les techniques fondamentales. Ce chef est partagé entre un groupe d'étages.
Les Assistants Parcimonieux (Parcimonie) : Les Assistants Locaux sur chaque étage n'ont pas besoin de connaître toutes les recettes que le Chef Maître connaît. Ils n'ont besoin que de quelques-unes spécifiques pour préparer le plat de cet étage. FiPS force ces assistants à être « parcimonieux », ce qui signifie qu'ils ne conservent que les connexions essentielles et ignorent le reste. C'est comme donner à un assistant un menu avec seulement 3 articles au lieu de 100.
Le Travail d'Équipe (Partage Inter-blocs) : FiPS regroupe ces étages ensemble. Il examine le Chef Maître et les Assistants pour tout un groupe d'étages et détermine la meilleure façon de partager la charge de travail afin que l'hôtel entier fonctionne efficacement.

3. Comment Ils L'Ont Construit (Le Processus de Construction)

Les chercheurs n'ont pas simplement deviné ; ils ont utilisé un outil mathématique appelé SVD (Décomposition en Valeurs Singulières) pour trouver le « Chef Maître » automatiquement.

Imaginez prendre toutes les recettes d'un groupe d'étages, les mélanger ensemble et trouver les ingrédients les plus communs et essentiels.
Ils ont ensuite attribué ces ingrédients au Chef Maître.
Enfin, ils ont entraîné les Assistants Locaux à n'utiliser que les ingrédients spécifiques dont ils avaient besoin, en jetant le reste (élagage).

4. Les Résultats : Plus Petit, Plus Rapide, et Toujours Intelligent

L'article a testé cela sur deux types d'IA :

Vision Transformers (ViTs) : Ce sont des IA qui regardent des images.
- Résultat : Ils ont réduit la taille du modèle de jusqu'à 33 % (et jusqu'à 57 % avec un peu de réglage supplémentaire) sans que l'IA oublie comment reconnaître des objets. C'est comme réduire une valise d'un tiers tout en y faisant toujours tenir tous vos vêtements.
Grands Modèles de Langage (LLM) : Ce sont des IA qui écrivent et parlent.
- Résultat : Ils ont réduit la taille de ces modèles de 20 % et les ont rendus plus intelligents que d'autres méthodes de réduction.
- Le « Tour de Magie » : Lorsqu'ils ont combiné FiPS avec une technique appelée « Quantification » (écrire des nombres dans un code très compact), ils ont atteint une compression de 8x (rendant le modèle 8 fois plus petit) tout en conservant les compétences linguistiques de l'IA bien meilleures que si elles avaient utilisé uniquement la compression.

5. Pourquoi Cela Compte

L'article affirme que FiPS est une méthode pratique, « plug-and-play », pour rendre les grands modèles d'IA assez petits pour fonctionner sur des appareils comme des téléphones ou des ordinateurs portables sans perdre leur intelligence. Cela prouve qu'en partageant le « pouvoir cérébral » (paramètres) entre différentes parties de l'IA et en étant très sélectifs sur les informations conservées (parcimonie), nous pouvons construire une IA efficace qui n'a pas besoin d'un superordinateur pour fonctionner.

En bref : FiPS, c'est comme réaliser que, au lieu que chaque pièce d'une maison ait besoin de son propre ensemble complet d'outils, vous pouvez avoir une seule boîte à outils partagée dans le couloir et seulement quelques outils spécifiques dans chaque pièce. La maison fonctionne tout aussi bien, mais elle prend beaucoup moins de place.

Résumé technique : Partage de paramètres à granularité fine via décomposition de tenseurs clairsemés (FiPS)

Énoncé du problème

Les grands réseaux de neurones, en particulier les Transformers, atteignent des performances de pointe mais se heurtent à des obstacles majeurs pour leur déploiement sur des appareils aux ressources limitées en raison de leur taille considérable. Bien que diverses techniques de compression existent (par exemple, la quantification, la distillation, la décomposition de tenseurs), le partage de paramètres inter-couches reste relativement peu exploré pour les modèles Transformer. Les méthodes existantes partagent souvent des blocs entiers (par exemple, ALBERT), ce qui limite la capacité de représentation, ou s'appuient sur des coefficients denses pour le partage, ce qui restreint l'efficacité de la compression. Il existe un besoin d'une méthode capable de réduire considérablement le nombre de paramètres tout en maintenant une grande flexibilité de représentation et une perte de précision minimale.

Méthodologie : Partage de paramètres à granularité fine (FiPS)

FiPS est un cadre unifié conçu pour compresser les Perceptrons Multicouches (MLP) des Transformers en combinant le partage de paramètres inter-blocs, la factorisation de rang faible et la sparsité dans un seul processus d'optimisation.

Mécanisme central

La méthode repose sur l'observation que les MLP des Transformers sont constitués de blocs répétés et homogènes avec des couches entièrement connectées (FC) de forme identique. Au lieu d'apprendre des poids indépendants pour chaque couche, FiPS :

Concatène les matrices de poids ( $W_1, \dots, W_N$ ) d'un groupe de $N$ blocs de transformers le long de leur dimension de sortie (le "long axe").
Factorise ce tenseur concaténé en une base partagée $U \in \mathbb{R}^{d \times r}$ et des matrices de projection clairsemées spécifiques à la couche $V_i \in \mathbb{R}^{r \times p}$ .
Reconstruit les poids originaux sous la forme $W'_i = U V_i$ .

Composants techniques clés

Initialisation : La base partagée $U$ et les matrices de projection $V_i$ sont initialisées via la Décomposition en Valeurs Singulières Tronquée (SVD) des poids concaténés. Si le rang cible $r$ dépasse la dimension du modèle $d$ (en raison de budgets de paramètres élevés), une "initialisation hybride" est utilisée : les nouvelles dimensions dans $U$ sont définies à zéro, et les dimensions correspondantes dans $V$ sont dérivées des vecteurs singuliers principaux pondérés par un facteur d'atténuation $\tau$ pour permettre un apprentissage progressif.
Induction de sparsité : Une idée clé de l'article est que l'imposition de la sparsité sur les matrices de projection $V$ est essentielle. Contrairement aux méthodes utilisant des coefficients denses, FiPS élimine les valeurs de faible magnitude dans $V$ . Le niveau de sparsité optimal s'est révélé être d'environ 75 %, en particulier lorsqu'il est appliqué à la matrice de facteur plus grande.
Stratégie d'optimisation :
1. Initialisation partagée : Décomposition SVD des poids concaténés.
2. Minimisation de l'erreur locale : En utilisant un petit jeu de données d'étalonnage, $U$ et $V_i$ sont optimisés pour minimiser l'erreur de reconstruction $\ell_2$ entre les activations originales et compressées. La sparsité est imposée via l'Élagage Progressif par Magnitude (GMP).
3. Minimisation de l'erreur globale (optionnelle) : Une étape de fine-tuning de bout en bout utilisant l'entraînement clairsemé dynamique (RigL) pour récupérer les performances à des ratios de compression plus élevés.
Stratégie de regroupement : L'article identifie que les couches adjacentes partagent le plus de redondance. Les performances optimales sont obtenues en regroupant des blocs consécutifs (par exemple, des groupes de 4 pour DeiT-B) et en utilisant une stratégie de regroupement "en pointe" pour les LLM (groupes plus petits aux extrémités du réseau, plus grands au milieu).

Contributions clés

Analyse systématique du partage inter-blocs : Les auteurs ont exploré systématiquement la granularité du partage, les schémas de concaténation et les motifs de sparsité, identifiant que la concaténation le long du long axe et la sparsité sur les facteurs de projection produisent l'erreur de reconstruction la plus faible.
L'algorithme FiPS : Un nouvel algorithme qui initialise via SVD et optimise conjointement une base partagée et des projections clairsemées spécifiques à la couche. Il combine de manière unique la factorisation de rang faible avec la sparsité sur les facteurs de projection plutôt que sur la base.
Résultats de compression de pointe :
- Transformers de vision (ViT) : Compression de DeiT-B et Swin-L jusqu'à 33 % avec moins de 1 % de perte de précision top-1 sur ImageNet-1k. Avec le fine-tuning, la compression atteint 57 %.
- Grands modèles de langage (LLM) : Compression de Llama-7B et Llama-3.1-8B jusqu'à 20 %, surpassant les bases SVD existantes (ASVD, SVD-LLM, SVD-LLM V2) en perplexité et sur les benchmarks de tâches en aval.
- Synergie avec la quantification : Combiné à l'entraînement conscient de la quantification (QAT), le FiPS à 3 bits sur Gemma-2-2B atteint la même compression 8× que le QAT à 2 bits seul, mais avec une perplexité significativement plus faible (35,43 contre 41,86).
Efficacité matérielle : La méthode prend en charge la sparsité structurée (par exemple, motifs 2:4), permettant des accélérations mesurables de l'inférence (1,31× sur NVIDIA A4000) et des réductions de mémoire (0,79× de VRAM pic) sans dégradation significative de la précision.

Résultats

Performance ViT : Sur ImageNet-1k, FiPS surpasse systématiquement des bases comme l'Imitation de Caractéristiques Atomiques Adaptatives (AAFM) et l'Imitation de Caractéristiques Globales (GFM) sur divers budgets de paramètres (10 % à 75 %). Par exemple, avec un budget de paramètres de 40 %, FiPS atteint une précision de 81,69 % sur DeiT-B, surpassant GFM (81,28 %) malgré le coût computationnel plus élevé de GFM.
Performance LLM : Sur les ensembles de données WikiText-2 et C4, FiPS atteint la perplexité la plus faible parmi les méthodes basées sur la factorisation à 20 % de compression. Il démontre également des capacités de transfert d'apprentissage supérieures sur CIFAR-100, Flowers102 et d'autres benchmarks de vision par rapport à GFM.
Études d'ablation : L'article confirme que :
- La sparsité sur la matrice de projection $V$ est critique ; les bases denses s'effondrent avec des budgets de paramètres faibles.
- L'initialisation SVD surpasse l'initialisation aléatoire.
- L'élagage global (allocation adaptative des paramètres à travers les couches) donne de meilleurs résultats que l'élagage local.
- Un niveau de sparsité de 75 % est optimal pour les matrices de projection.

Importance et revendications

L'article établit le partage de paramètres à granularité fine comme une approche pratique et efficace pour la compression des MLP de Transformers. Les auteurs affirment que FiPS est orthogonal à d'autres techniques de compression comme l'entraînement conscient de la quantification (QAT) et LoRA, ce qui signifie qu'il peut être combiné avec elles pour des gains supplémentaires.

L'importance réside dans la démonstration que le partage de paramètres entre les couches ne nécessite pas de sacrifier la capacité de représentation s'il est réalisé avec une base partagée et des projections clairsemées et apprenables. Cette approche offre une alternative compétitive aux stratégies existantes, permettant une compression substantielle (jusqu'à 57 % sur les ViT et 20 % sur les LLM) avec une perte de performance minimale, facilitant ainsi le déploiement de grands modèles sur des appareils aux ressources limitées. La méthode est particulièrement notable pour ne pas reposer sur la distillation ou des signaux de supervision auxiliaires, s'appuyant plutôt sur la minimisation de l'erreur de reconstruction par bloc.