Résumé technique : SkillWeaving : Amélioration efficace des LLM via des packs de compétences modulaires

Énoncé du problème

Les grands modèles de langage (LLM) font face à un goulot d'étranglement critique dans l'équilibre entre la spécialisation multi-domaine et les contraintes strictes de mémoire et d'inférence. Alors que les modèles monolithiques peinent à maintenir des performances élevées sur des domaines hétérogènes sans oublier catastrophiquement ou subir d'interférences de tâches, les solutions existantes présentent des compromis :

• Le réglage fin à paramètres complets offre une grande capacité mais engendre des coûts de stockage et d'inférence prohibitifs.
• Les méthodes de réglage fin efficace en paramètres (PEFT) (par exemple, LoRA) sont légères mais sous-performent souvent dans le maintien des capacités spécifiques à un domaine.
• Les techniques de compression delta réduisent la taille de stockage mais nécessitent fréquemment une déquantification à l'exécution, échouant à offrir des améliorations significatives de la latence d'inférence.
• Les approches de fusion de modèles souffrent souvent d'interférences de tâches lors de la combinaison de capacités dans un seul espace de paramètres.

Par conséquent, les praticiens sont contraints de maintenir plusieurs modèles spécialisés ou de déployer d'énormes modèles monolithiques, tous deux peu pratiques pour des déploiements réels soumis à des contraintes de ressources.

Méthodologie : Cadre SkillWeave

Les auteurs proposent SkillWeave, un cadre modulaire conçu pour permettre aux LLM de se spécialiser sous des budgets fixes de mémoire et d'inférence. Le cadre décompose un modèle à usage général en packs de compétences — des modules delta légers et spécifiques à un domaine — et intègre SkillZip, une stratégie de compression pour un déploiement efficace. Le pipeline se compose de trois étapes :

1. Construction de packs de compétences (Auto-spécialisation)

Au lieu de s'appuyer sur des annotations humaines externes, SkillWeave utilise des données auto-générées pour l'amélioration spécifique à un domaine :

• Décomposition de tâches et auto-génération : Un modèle de base est sollicité avec des instructions spécifiques à un domaine pour générer des réponses candidates.
• Classification basée sur des règles : Un filtre léger sépare les données générées en sous-ensembles « utiles » ($D^+$) et « nuisibles » ($D^-$) sur la base de règles spécifiques à la tâche (par exemple, expressions régulières pour les réponses mathématiques, exécution dans un bac à sable pour le code, filtres heuristiques pour le raisonnement).
• Optimisation des préférences : Le modèle de base est réglé finement en utilisant l'Optimisation Directe des Préférences (DPO) sur l'ensemble de données étiqueté par préférence. Cela produit un delta à paramètres complets ($\Delta_k$) pour chaque domaine, capturant des capacités affinées tout en isolant les connaissances spécifiques au domaine.

2. Compression de packs de compétences (SkillZip)

Pour répondre aux coûts de stockage et d'inférence liés au maintien de deltas à paramètres complets, les auteurs introduisent SkillZip, une stratégie de compression entièrement quantifiée :

• Fusion de modèles pour les connaissances partagées : Avant la compression, les connaissances partagées entre tâches sont extraites via la fusion de modèles ($\Delta_{shared}$) et réintégrées dans le socle. Les deltas restants sont soustraits de ce composant partagé, donnant naissance à des packs de compétences plus clairsemés et plus spécifiques à la tâche.
• Quantification complète : Contrairement aux méthodes antérieures qui ne quantifient que les poids, SkillZip quantifie à la fois les poids delta et les entrées d'activation. Cela permet un calcul direct dans des formats entiers à faible nombre de bits (INT8/INT4) sans déquantification à l'exécution.
• Double lissage : Pour atténuer les erreurs de quantification causées par les valeurs aberrantes (canaux d'activation avec des magnitudes $100\times$ supérieures aux autres), la méthode emploie :
  1. Lissage par canal : Rééquilibre les magnitudes d'activation et de poids pour déplacer la charge de quantification.
  2. Lissage par rang : Applique une rotation orthogonale aux matrices de poids de faible rang ($A, B$) pour disperser l'énergie uniformément, empêchant les vecteurs singuliers de dominer la plage de quantification.

3. Intégration de packs de compétences (Déploiement modulaire)

Au moment de l'inférence, le système maintient un socle partagé qui reste actif pour toutes les tâches. En fonction du type de tâche inféré (via un routeur léger ou une invocation explicite d'outil), un seul pack de compétences spécialisé est sélectionné dynamiquement et appliqué. La sortie est calculée comme suit :
$$Output_i = X_i W + \hat{X}_i \hat{A}_i \hat{B}_i$$
où $W$ représente les poids du socle partagé, et $\hat{A}_i, \hat{B}_i$ sont les matrices de faible rang quantifiées pour le pack de compétences actif.

Contributions clés

1. Cadre SkillWeave : Un cadre d'amélioration modulaire qui décompose les capacités du modèle en packs de compétences compacts et auto-spécialisés. Il réorganise les connaissances internes pour réaliser une auto-amélioration évolutive et interprétable sous des budgets de mémoire fixes.
2. Compression SkillZip : Une stratégie de compression delta entièrement quantifiée qui quantifie conjointement les poids et les activations. Contrairement aux approches antérieures axées sur la réduction du stockage, SkillZip élimine la déquantification à l'exécution, offrant une inférence à faible latence avec une optimisation adaptée au matériel.
3. Validation empirique : Évaluation complète sur des benchmarks multi-tâches et d'agents démontrant qu'un modèle SkillWeave de 9 milliards de paramètres (8 milliards de socle + 0,5 milliard de packs de compétences) surpasse les modèles spécifiques à une tâche et un LLM monolithique de 32 milliards de paramètres, tout en réalisant jusqu'à 4 fois d'accélération d'inférence.

Résultats expérimentaux

Les auteurs ont évalué SkillWeave sur des capacités générales (Mathématiques, Codage, Dialogue, Raisonnement) et des scénarios de LLM en tant qu'agent (AgentBench).

• Performance : Le modèle SkillWeave de 9 milliards de paramètres a obtenu des résultats à la pointe de l'état de l'art parmi les bases de référence de taille comparable, surpassant les modèles open-source plus grands (par exemple, Gemma2-27B) dans des domaines spécifiques (par exemple, +8,1 sur MATH). Il a surpassé la distillation multi-enseignants, la fusion de modèles et les bases de référence MoE basées sur le routage.
• Atténuation des interférences : En isolant l'entraînement spécifique à un domaine, SkillWeave a évité l'oubli catastrophique et les interférences de tâches observés dans les bases de référence d'affinement fin séquentiel et multi-domaines.
• Efficacité :
  • Mémoire : Dans les scénarios d'agent, SkillWeave ne nécessitait qu'un socle de 7 milliards de paramètres plus cinq packs de compétences de 0,5 milliard (9,5 milliards de paramètres résidents au total), contre 35 milliards pour cinq modèles distincts de 7 milliards ou 32 milliards pour un modèle monolithique.
  • Latence : SkillWeave a réalisé une accélération de 4,2 fois par rapport à un modèle monolithique de 32 milliards de paramètres et une accélération de 5,5 fois par rapport à un système déployant cinq modèles distincts de 7 milliards de paramètres, grâce au traitement par lots efficace et aux optimisations au niveau du noyau.
  • Fidélité de compression : SkillZip a maintenu des performances comparables aux deltas en précision complète, surpassant les bases de référence de compression delta telles que BitDelta, ASVD et DeltaCome tant en précision qu'en vitesse d'inférence.

Importance et affirmations

L'article affirme que SkillWeave offre une direction prometteuse pour l'amélioration évolutive et efficace des LLM. En décomposant les capacités monolithiques en packs de compétences modulaires et en utilisant la quantification complète pour le déploiement, le cadre parvient à équilibrer les gains de performance avec l'efficacité des paramètres.

Les auteurs soulignent que leur approche permet une auto-amélioration sans dépendre d'enseignants externes ou d'annotations humaines, tandis que le composant SkillZip comble le fossé entre la spécialisation haute fidélité et l'inférence à faible latence. Les résultats suggèrent que la composition modulaire de compétences peut surpasser la simple mise à l'échelle des modèles, rendant les capacités spécialisées des LLM accessibles dans des contraintes de ressources strictes.

Les auteurs reconnaissent les limites concernant la dépendance à la vérification basée sur des règles pour les tâches structurées (par exemple, code, mathématiques) et les défis liés à l'application de ce paradigme de vérification aux tâches ouvertes (par exemple, écriture créative) où des critères de correction clairs sont absents. Ils postulent que les travaux futurs devraient se concentrer sur la découverte et la vérification automatiques de compétences dans ces contextes ouverts.