Résumé Technique : CORA : Rotation Orthogonale Cohérente par Tranche pour l'Adaptation à Bas Rang basée sur la SVD

1. Énoncé du Problème

Le réglage fin efficace en paramètres (PEFT) est essentiel pour adapter les grands modèles de langage (LLM) à des tâches en aval sans le coût prohibitif d'un réglage fin complet. Bien que l'adaptation de bas rang (LoRA) soit la méthode dominante, elle apprend une mise à jour additive $\Delta W = BA$ qui regroupe les degrés de liberté géométriques (rotation de la base et décalages spectraux) dans une seule matrice de bas rang. Les méthodes récentes basées sur la SVD (par exemple, PiSSA, MiLoRA) utilisent la décomposition en valeurs singulières (SVD) des poids pré-entraînés ($W_0 = U_0 \Sigma_0 V_0^\top$) pour l'initialisation ou la sélection de sous-espaces, mais ne préservent pas explicitement la géométrie couplée entre les bases singulières gauche ($U_0$) et droite ($V_0$).

Des travaux théoriques récents [8] suggèrent qu'un réglage fin stable suit une forme de « rotation SVD cohérente », où une matrice orthogonale unique $Q$ agit simultanément sur les bases singulières gauche et droite, accompagnée d'un décalage diagonal dans les valeurs singulières ($\Delta \Sigma$). Les méthodes existantes ne réalisent que partiellement cela : les méthodes de type LoRA additives entremêlent la rotation et le spectre, tandis que les méthodes de rotation orthogonale imposent la rotation mais manquent souvent de flexibilité spectrale. De plus, le théorème de rotation cohérente globale ne précise pas comment implémenter cela efficacement au sein des contraintes structurées et de bas rang des adaptateurs pratiques.

2. Méthodologie : CORA

Les auteurs proposent CORA (Coherent Orthogonal Rotation Adaptation), une méthode qui étend le théorème de rotation cohérente globale à une granularité par tranche (per-slice).

2.1 Fondement Théorique

Le papier prouve un analogue par tranche du théorème de rotation cohérente (Théorème 2). En partitionnant une matrice de poids $W_0$ en tranches de lignes $W_i \in \mathbb{R}^{r \times k}$, les auteurs montrent que sous des hypothèses de régularité modérées, la forme optimisée ajustée de chaque tranche est :
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
où $Q_i$ est une matrice orthogonale unique agissant à la fois sur la base gauche $U_i$ et la base droite $V_i$ de la tranche. Cela établit que les rotations de base gauche et droite doivent être identiques ($Q_{U,i} = Q_{V,i} = Q_i$) pour minimiser la perturbation de Frobenius.

2.2 Reparamétrage et Implémentation

Pour réaliser cette forme efficacement sans contraintes de variété coûteuses, CORA utilise un reparamétrage spécifique :

1. Matrice Source : La méthode opère sur la troncature de rang-$r$ de la SVD du poids pré-entraîné, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, en gelant le résidu $W_0 - W_{lr}$.
2. Partitionnement par Tranches : $W_{lr}$ est partitionné en $s = m/r$ tranches de lignes.
3. Apprentissage de la Rotation : Au lieu d'apprendre $Q_i$ directement sur la variété orthogonale, CORA apprend une matrice orthogonale non contrainte $R_i$ par tranche et définit la rotation comme $Q_i = U_i^\top R_i U_i$. Cette transformation de similitude garantit que la condition de rotation cohérente ($Q_{U,i} = Q_{V,i}$) est satisfaite de manière identique sans contraintes ou pénalités explicites pendant l'entraînement.
4. Mise à l'échelle Spectrale : Un vecteur d'échelle diagonale optionnel par couche $\delta$ est appliqué aux valeurs singulières ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Application de Cayley : Pour garantir que $R_i$ reste orthogonale, elle est paramétrée via une application de Cayley à une matrice antisymétrique apprenable, évitant ainsi les contraintes de rayon de convergence.

2.3 Efficacité des Paramètres

CORA utilise $\frac{1}{2}m(r-1)$ paramètres entraînables par couche linéaire (plus les $r$ scalaires optionnels pour $\delta$). C'est environ 4$\times$ de moins de paramètres que LoRA au même rang $r$ (qui utilise $r(m+k)$), et environ 8$\times$ de moins que LoRA lors de la comparaison de configurations aux performances équivalentes.

3. Principales Contributions

1. Extension Théorique : A prouvé que le théorème de rotation cohérente s'applique aux tranches de lignes individuelles d'une matrice de poids, étendant la théorie globale à la granularité des adaptateurs pratiques.
2. Nouveau Reparamétrage : A introduit un reparamétrage ($Q_i = U_i^\top R_i U_i$) qui impose la condition de rotation cohérente ($Q_{U,i} = Q_{V,i}$) comme une identité algébrique, éliminant le besoin de contraintes d'orthogonalité pendant l'optimisation.
3. Conception d'Adaptateur Efficace : A implémenté CORA comme un adaptateur compact utilisant des rotations orthogonales par tranche et une mise à l'échelle diagonale par couche, atteignant des performances élevées avec nettement moins de paramètres que les méthodes existantes de SVD et de PEFT général.

4. Résultats Expérimentaux

CORA a été évalué sur LLaMA-2-7B, LLaMA-3-8B et Mistral-7B à travers trois familles de tâches : raisonnement de bon sens, génération de code et raisonnement mathématique.

• Raisonnement de Bon Sens : Sur LLaMA-2-7B, CORA avec $r=16$ (6,6M paramètres) a atteint une précision moyenne de 82,16 %. Cela a surpassé PiSSA et MiLoRA (tous deux à $r=32$, ~56M paramètres) de 8,4 et 3,0 points respectivement, et a dépassé DoRA ($r=32$) de 2,5 points.
• Génération de Code : Sur LLaMA-3-8B, CORA ($r=16$, 10,3M paramètres) a obtenu 48,2 HumanEval Pass@1, dépassant de loin DiaBlo ($N=64$, 121M paramètres) et LoRI ($r=32$, 45M paramètres). Sur Mistral-7B, CORA a maintenu de solides performances (40,2 Pass@1) avec seulement 10,3M de paramètres.
• Raisonnement Mathématique : CORA s'est montré compétitif sur GSM8K mais a accusé un retard sur MATH par rapport à MiLoRA. Les auteurs attribuent cela à la localité spectrale des connaissances mathématiques ; l'accent mis par MiLoRA sur les composantes mineures (directions résiduelles) semble mieux adapté aux tâches où les composantes principales encodent moins de structures pertinentes pour la tâche.
• Études Ablatives :
  • Échelle Partagée ($\delta$) : L'activation de la mise à l'échelle spectrale partagée a été critique, améliorant les performances de 0,8 à 2,4 points et empêchant l'effondrement à bas rang ($r=8$).
  • Rotation Bilatérale : La suppression de la rotation du côté $V$ (uniquement côté $U$) a provoqué des chutes de performance significatives (jusqu'à 9,8 points), confirmant la nécessité de la forme de rotation cohérente.
  • Matrice Source : L'utilisation de $W_0$ complet au lieu de $W_{lr}$ a amélioré les performances sur MATH, validant l'hypothèse que les directions singulières de la queue contiennent des signaux spécifiques aux mathématiques.

5. Signification et Revendications

L'article affirme que CORA réussit à unifier les méthodes de démarrage SVD additives et les familles de rotation orthogonale sous une forme unique, théoriquement fondée. En imposant explicitement la condition de rotation cohérente dérivée de la théorie de la perturbation minimale, CORA atteint un compromis paramètre-précision supérieur.

Les auteurs déclarent que CORA atteint des résultats de pointe dans le raisonnement de bon sens et la génération de code avec environ 8$\times$ moins de paramètres que les méthodes concurrentes comme LoRA, DoRA, PiSSA et MiLoRA. Ce travail démontre que les contraintes géométriques explicites (rotation cohérente) peuvent être implémentées efficacement via un reparamétrage algébrique, offrant une nouvelle direction pour l'adaptation efficace en paramètres qui respecte la géométrie sous-jacente des poids pré-entraînés.

Limites notées par les auteurs :

• Nécessite le calcul de la SVD hors ligne et la mise en cache des facteurs par tranche avant l'entraînement.
• Introduit des multiplications matricielles supplémentaires lors de la passe avant par rapport au LoRA standard.
• Évalué jusqu'à des modèles de 8B paramètres ; la scalabilité à des modèles de 30B+ n'est pas vérifiée.
• La performance sur les tâches mathématiques est sensible au choix du spectre source (composantes principales vs résiduelles).