Résumé Technique : QWHA - Adaptation Walsh-Hadamard Sensible à la Quantification pour le Fine-Tuning Efficace en Paramètres sur les Grands Modèles de Langage

1. Énoncé du Problème

Le déploiement des Grands Modèles de Langage (LLM) fait face à un double défi : réduire les coûts d'inférence par la quantification et diminuer la surcharge d'entraînement via le Fine-Tuning Efficace en Paramètres (PEFT). Bien que le PEFT Sensible à la Quantification (QA-PEFT) vise à combiner ces avantages, les approches existantes rencontrent des limitations significatives.

Les méthodes actuelles de QA-PEFT reposent principalement sur l'Adaptation à Rang Faible (LoRA). Bien qu'efficace, LoRA souffre d'une capacité de représentation limitée en raison de ses contraintes de rang strictes. Des alternatives récentes utilisant des Transformées liées à Fourier (FT) offrent une puissance de représentation supérieure en entraînant des coefficients clairsemés dans le domaine de la transformée. Cependant, l'application directe d'adaptateurs basés sur FT aux modèles quantifiés produit souvent des performances inférieures à celles du QA-PEFT basé sur LoRA. Cela s'explique par :

1. Échec de l'Initialisation : Les adaptateurs basés sur FT existants manquent de stratégies d'initialisation efficaces pour compenser les erreurs de quantification avant le fine-tuning. Identifier l'ensemble clairsemé optimal de paramètres pour approximer une matrice est un problème NP-difficile, et la sélection aléatoire ou basée sur la magnitude échoue souvent à capturer les erreurs critiques induites par les valeurs aberrantes (outliers).
2. Surcharge Computatoire : Les adaptateurs basés sur FT conventionnels (utilisant par exemple la DFT, la DCT ou la DHT) nécessitent des doubles transformées (dimensions d'entrée et de sortie) et des opérations de noyau complexes, entraînant des coûts computationnels significatifs qui annulent les gains d'efficacité de la quantification.
3. Sensibilité aux Valeurs Aberrantes : Les erreurs de quantification des LLM sont fortement influencées par les valeurs aberrantes (poids ayant des magnitudes exceptionnellement élevées). Les bases sinusoïdales standard utilisées dans la DCT/DHT sont lisses et peinent à représenter efficacement les transitions abruptes de ces valeurs aberrantes.

2. Méthodologie : QWHA

Les auteurs proposent QWHA (Adaptation Walsh-Hadamard Sensible à la Quantification), un cadre qui intègre un adaptateur basé sur la Transformée de Walsh-Hadamard (WHT) avec un schéma d'initialisation novateur sensible à la quantification.

2.1 Conception de l'Adaptateur : Adaptation Walsh-Hadamard (WHA)

Contrairement aux adaptateurs basés sur FT conventionnels qui appliquent des transformées aux deux dimensions d'entrée et de sortie ($\Delta W = H'^{-1} F H^{-1}$), QWHA emploie une formulation à transformée unique :
$$\Delta W = F H^{-1}$$
Où :

• $H$ est une matrice de Transformée de Walsh-Hadamard (WHT) prédéfinie.
• $F$ est une matrice de coefficients clairsemés entraînable, construite à partir d'un vecteur de valeurs $c$ et d'une liste d'indices $E$.
• $H^{-1}$ est la WHT inverse.

Avantages Clés de la WHT :

• Concentration d'Énergie : Le noyau WHT ne contient que des entrées $\pm 1$, formant des fonctions de base en onde carrée avec des transitions nettes. Cette propriété structurelle s'aligne mieux avec la distribution à queue lourde des erreurs de quantification (valeurs aberrantes) comparée aux bases sinusoïdales lisses de la DCT ou de la DHT. L'analyse empirique montre que la WHT concentre la majorité de l'énergie d'erreur dans moins de coefficients, permettant une reconstruction précise avec un nombre limité de paramètres.
• Efficacité Computatoire : Le noyau WHT permet un calcul récursif rapide utilisant uniquement des additions et des soustractions, éliminant les multiplications matricielles. Cela réduit considérablement la surcharge computationnelle par rapport à la DCT/DHT, qui nécessitent souvent des opérations complexes ou la gestion de composantes imaginaires.

2.2 Initialisation Sensible à la Quantification

Pour combler le fossé d'initialisation dans les adaptateurs basés sur FT, QWHA introduit une stratégie d'initialisation en deux étapes : AdaAlloc (Allocation Adaptative) et Raffinement.

1. AdaAlloc (Sélection des Paramètres) :

   • Au lieu d'une sélection aléatoire ou d'une sélection simple basée sur la magnitude (qui peut conduire à des matrices de rang faible en regroupant des paramètres dans quelques canaux), AdaAlloc alloue le budget de paramètres $p$ à travers les canaux de sortie proportionnellement à leurs magnitudes d'erreur d'activation.
   • Cela garantit que les canaux présentant des erreurs de quantification plus importantes reçoivent plus de paramètres, tout en maintenant une borne inférieure sur le nombre de paramètres par canal pour garantir une structure d'adaptateur de rang plein.
   • Au sein de chaque canal, les coefficients de plus grande magnitude sont sélectionnés pour cibler efficacement l'erreur.

2. Raffinement (Attribution des Valeurs) :

   • Après la sélection des emplacements des paramètres, les valeurs ne sont pas simplement prises d'une solution dense. À la place, un problème de moindres carrés est résolu pour affiner les valeurs ($c$) basées sur les vecteurs de base sélectionnés.
   • Cette étape prend en compte les interactions entre les vecteurs de base sélectionnés, minimisant l'erreur de sortie de la couche ($\|\Delta W_Q X - F H^{-1} X\|_F^2$) plus efficacement qu'une attribution directe des valeurs.

3. Contributions Clés

• Adaptateur WHA : Introduction d'un adaptateur basé sur WHT à transformée unique, offrant une capacité de représentation supérieure à LoRA et une gestion des valeurs aberrantes supérieure par rapport aux adaptateurs basés sur DCT/DHT.
• AdaAlloc et Raffinement : Un schéma d'initialisation traitable qui résout le problème d'approximation clairsemée NP-difficile en allouant adaptativement des paramètres aux canaux sujets aux erreurs et en affinant les valeurs pour minimiser l'erreur d'initialisation.
• Efficacité Computatoire : Démonstration que le noyau WHT et la conception à transformée unique réduisent substantiellement la latence d'entraînement et d'initialisation par rapport aux adaptateurs basés sur FT existants, atteignant des vitesses comparables à LoRA.

4. Résultats Expérimentaux

Les auteurs ont évalué QWHA sur les modèles LLaMA-3.1-8B, LLaMA-3.2-3B et Mistral-7B-v0.3 à travers les benchmarks CSQA (QA de bon sens) et GSM8k (raisonnement mathématique) sous des quantifications de 2 bits, 3 bits et 4 bits.

• Précision : QWHA surpasse constamment les références de l'état de l'art, y compris le QA-PEFT basé sur LoRA (CLoQ) et les adaptateurs clairsemés/basés sur FT (SHiRA, LoCA, SSH). L'écart de performance est le plus prononcé dans les configurations à faible nombre de bits (2 bits et 3 bits), où QWHA atteint une précision de 2 à 3 % supérieure aux références.
• Efficacité de l'Initialisation : Les études d'ablation confirment que le noyau WHT et l'initialisation AdaAlloc sont tous deux critiques. Sans initialisation sensible à la quantification, les adaptateurs basés sur FT performent moins bien que LoRA. Avec l'initialisation de QWHA, ils surpassent significativement LoRA.
• Efficacité :
  • Vitesse d'Entraînement : QWHA réalise des accélérations d'entraînement significatives par rapport aux adaptateurs basés sur FT existants (par exemple SSH, LoCA) grâce au noyau WHT rapide et à la conception à transformée unique. Dans certaines configurations, il est comparable à LoRA.
  • Inférence : QWHA engendre une surcharge d'inférence minimale (baisse de débit de 1,9 % par rapport à LoRA) grâce à l'implémentation WHT efficace, tandis que les autres adaptateurs basés sur FT souffrent d'une surcharge substantielle (baisse d'environ 50 %).
  • Mémoire : QWHA réduit la consommation totale de mémoire d'environ 13 % par rapport à CLoQ lors de l'inférence, principalement en raison de la nature clairsemée de l'adaptateur et des opérations de diffusion (scatter) efficaces.

5. Importance et Revendications

L'article revendique que QWHA représente une avancée significative dans le domaine de l'adaptation efficace des LLM en comblant avec succès le fossé entre une haute capacité de représentation et une robustesse à la quantification.

• Surmonter les Limites de Représentation : Le travail démontre que les adaptateurs basés sur FT, lorsqu'ils sont correctement initialisés et conçus avec WHT, peuvent dépasser les limites de représentation des adaptateurs à rang faible sans sacrifier l'efficacité.
• Traitement des Erreurs de Quantification : L'étude met en évidence que la considération explicite des effets de la quantification (spécifiquement les valeurs aberrantes) lors de la phase d'initialisation est cruciale pour le QA-PEFT. Le schéma d'initialisation proposé atténue efficacement la dégradation de la précision généralement associée à la quantification agressive.
• Faisabilité Pratique : En réduisant la surcharge computationnelle des adaptateurs basés sur FT à des niveaux comparables à LoRA, QWHA rend le fine-tuning sensible à la quantification à haute capacité une option pratique pour des scénarios de déploiement contraints en ressources.

Les auteurs concluent que QWHA fournit un cadre robuste, efficace et précis pour le fine-tuning de LLM quantifiés, offrant une alternative viable au paradigme LoRA dominant.