Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Résumé Technique : Pas de Paramètres plus Fins pour le PEFT de Bas Rang

Énoncé du Problème
Les adaptateurs de bas rang, tels que LoRA, sont la norme pour le réglage fin efficace en paramètres (PEFT). Cependant, le paramètre de rang $r$ dans LoRA fixe la résolution du budget de paramètres. Pour les grandes matrices de projection (par exemple, $2048 \times 2048$ dans OPT-1.3B), une seule incrémentation du rang ajoute 4 096 scalaires entraînables par projection. Cela crée de grands écarts discrets dans la région à faible budget, résultant en une courbe précision-budget échantillonnée de manière parcellaire. L'article examine si une famille d'adaptateurs avec des incréments de capacité plus fins peut révéler différents points de fonctionnement ou améliorer le compromis précision-budget observé par rapport à LoRA.

Méthodologie
Les auteurs proposent une comparaison contrôlée entre LoRA et des adaptateurs de tenseurs CP (Canonical Polyadic) à composants fixes.

1. Formulation de l'Adaptateur :

   • LoRA : Utilise la mise à jour standard $\Delta W = BA$, où le rang $r$ détermine le nombre de paramètres. Pour une matrice $2048 \times 2048$, un pas de rang équivaut à 4 096 paramètres.
   • Adaptateurs CP : La mise à jour de la matrice est remodelée en un tenseur à quatre voies ($32 \times 64 \times 32 \times 64$). La mise à jour est paramétrée comme une somme de $c$ composantes de rang un avec des facteurs normalisés :
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     où les facteurs ont une norme unitaire. Une composante CP stocke 193 scalaires entraînables (facteurs 32+64+32+64 + 1 scalaire), soit environ 21 fois moins qu'un seul pas de rang LoRA.

2. Protocole Expérimental :

   • Modèle et Tâches : Modèle OPT-1.3B adapté sur trois tâches de classification : SST-2, RTE et BoolQ.
   • Cibles : Modules d'attention $q$-proj et $v$-proj (48 projections au total).
   • Métrique de Comparaison : Au lieu de comparer uniquement à des nombres de paramètres identiques, les auteurs définissent une courbe « meilleur-sous-budget » $U_A(B)$. Pour un plafond de budget donné $B$, cela rapporte la précision la plus élevée atteinte par toute configuration avec un nombre de paramètres $\le B$. Cette approche rend explicite la discrétisation des budgets réalisables.
   • Contrôles : Les protocoles d'entraînement, les plafonds de données, les programmes de graines (grille de base : graines 0–2 ; confirmation : graines 0–9) et la sélection des points de contrôle sont maintenus constants. Les taux d'apprentissage ont été fixés avant le balayage principal ($10^{-4}$ pour LoRA, $2 \times 10^{-4}$ pour CP).

Résultats Clés
L'étude révèle que le bénéfice de pas de paramètres plus fins dépend fortement de la tâche :

• SST-2 (Plateau Précoce) : Les petits adaptateurs CP (ex: $c=2$) atteignent un plateau de précision (~0,93) avec une fraction du budget LoRA $r=1$. Cependant, l'ajout de plus de composantes CP n'améliore pas de manière monotone les performances, et aucune configuration CP ne dépasse le meilleur résultat LoRA sous les mêmes plafonds de budget. La région à faible budget semble saturée précocement.
• BoolQ (Croissance Graduelle et Saturation) : La courbe CP montre une amélioration claire et graduelle de $c=1$ à $c=43$, révélant une croissance de capacité intermédiaire utile que la grille grossière de LoRA manque. Cependant, la courbe finit par saturer légèrement en dessous du meilleur résultat LoRA ($0,739$ contre $0,743$).
• RTE (Écart Persistant) : LoRA surpasse systématiquement CP à tous les niveaux de budget. Même avec des pas plus fins et des composantes supplémentaires, CP ne parvient pas à combler l'écart de précision, suggérant que pour cette tâche, l'expressivité des directions de rang un denses non contraintes de LoRA est plus critique que la granularité du budget.

Principales Contributions

1. Discrétisation Explicite du Budget : L'article introduit un cadre de comparaison « meilleur-sous-budget » qui visualise explicitement comment différentes familles d'adaptateurs discrétisent l'espace des paramètres, allant au-delà des simples comparaisons de paramètres appariés.
2. Étude Contrôlée d'Adaptateurs Tensoriels : Les auteurs instancient ce cadre en utilisant des adaptateurs CP à composants fixes, fournissant un cas de test contrôlé où la taille du pas du paramètre de capacité est significativement plus petite que celle de LoRA.
3. Diagnostics Dépendants de la Tâche : L'étude démontre que des pas de paramètres plus fins agissent comme un outil de diagnostic. Ils révèlent la forme de la courbe réponse-budget (ex: saturation précoce vs croissance graduelle) mais ne garantissent pas intrinsèquement un meilleur compromis précision-budget.

Signification et Revendications
Les auteurs déclarent explicitement qu'ils ne prétendent pas que l'adaptateur CP à composants fixes est une nouvelle méthode PEFT de pointe. La signification réside plutôt dans l'isolement de l'effet de la granularité du budget.

L'article conclut que, bien que des pas de paramètres plus fins soient utiles pour diagnostiquer la sensibilité du budget PEFT et révéler des points de fonctionnement entre les rangs LoRA, ils ne surmontent pas automatiquement les écarts d'expressivité. Dans certains cas (RTE), la flexibilité de la structure de mise à jour de LoRA est plus importante que la résolution de la grille de budget ; dans d'autres (BoolQ), des pas plus fins révèlent des gains de performance intermédiaires ; et dans d'autres (SST-2), la tâche sature si tôt que la résolution de la grille est moins critique. Le travail sert d'étude contrôlée sur la manière dont la discrétisation du paramètre de capacité influence le paysage de performance observé.