🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

Cet article propose une initialisation orthonormée préservant la géométrie pour l'adaptation de bas rang (LoRA) dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR), démontrant théoriquement que cette approche minimise l'écart par rapport au réglage fin complet, stabilise l'entraînement et surpasse les variantes existantes telles que PiSSA et MiLoRA sur les benchmarks de raisonnement mathématique.

Auteurs originaux : Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et incroyablement intelligente (un Grand Modèle de Langage) qui a déjà lu presque tout ce qui existe au monde. Vous voulez lui enseigner une nouvelle compétence spécifique, comme la résolution de problèmes mathématiques complexes.

Il existe deux façons de le faire :

Le Fine-Tuning Complet (Full Fine-Tuning) : Vous réécrivez l'intégralité du catalogue de la bibliothèque et vous réorganisez chaque livre. C'est puissant, mais cela nécessite une quantité massive d'énergie et de stockage (comme si vous aviez besoin d'un tout nouvel entrepôt).
LoRA (Low-Rank Adaptation) : Au lieu de tout réécrire, vous ajoutez simplement une petite fiche cartonnée, comme un post-it, sur le devant de la bibliothèque. Cette fiche contient les nouvelles instructions. C'est peu coûteux, rapide, et cela ne nécessite pas un nouvel entrepôt.

Le Problème : L'entraînement « RLVR »

Récemment, une nouvelle façon d'enseigner ces modèles appelée RLVR (Reinforcement Learning with Verifiable Rewards) est devenue populaire. Considérez cela non pas comme un cours en classe, mais comme une séance de musculation intensive.

En classe (Supervised Fine-Tuning), le professeur se contente de corriger vos devoirs.
À la salle de sport (RLVR), le modèle essaie de nombreuses réponses différentes, reçoit un score (récompense) basé sur le fait qu'il a raison ou tort, et apprend de l'expérience.

Le problème est que les « petites fiches cartonnées » (LoRA) qui fonctionnaient parfaitement en classe ont commencé à échouer dans la salle de sport. Certaines versions avancées de ces cartes (appelées PiSSA et MiLoRA) ont en réalité provoqué l'effondrement du modèle, comme un haltérophile essayant de soulever une barre qui est trop lourde dès le départ. L'entraînement est devenu instable et le modèle a cessé d'apprendre.

L'Enquête : Pourquoi les cartes ont-elles cassé ?

Les chercheurs ont cherché à comprendre pourquoi ces cartes avancées ont échoué. Ils ont identifié deux coupables principaux :

Le Départ « Pesant » : Les cartes avancées ont essayé de saisir les parties les plus « importantes » du savoir existant de la bibliothèque (les livres les plus lourds et les plus populaires) et de les amplifier immédiatement. Dans le contexte de la salle de sport, c'était comme essayer de sprinter avant même de s'être étiré. Cela a provoqué un mouvement trop rapide et trop brusque du modèle, brisant les règles de l'entraînement.
La Mauvaise Direction : La salle de sport (RLVR) a besoin que le modèle explore de nouvelles directions, et non qu'il se contente de renforcer ce qu'il sait déjà. Les anciennes cartes étaient trop concentrées sur les chemins « principaux », ce qui faisait que le modèle restait bloqué ou partait en tête-à-ligue.

La Solution : La Fiche Cartonnée « Préservant la Géométrie »

Les chercheurs ont réalisé que pour survivre à la salle de sport, la fiche doit être orthonormée.

L'Analogie :
Imaginez que le savoir de la bibliothèque soit un espace en 3D.

Le LoRA Standard est comme dessiner une ligne aléatoire sur une feuille de papier. Cela fonctionne, mais c'est un peu désordonné.
PiSSA/MiLoRA sont comme dessiner une ligne qui tente de coller aux livres les plus lourds de l'étagère. Dans la salle de sport, cette ligne est trop « rigide » et finit par casser.
La Nouvelle Méthode (LoRA-RLPO/RLMO) : Les chercheurs ont conçu une nouvelle fiche qui est parfaitement rigide et structurée (orthonormée). Elle ne cherche pas à amplifier les livres lourds ; elle s'aligne parfaitement avec la géométrie existante de la bibliothèque sans ajouter de poids supplémentaire.

Voyez cela comme un partenaire de danse.

Les anciennes cartes avancées essayaient de mener la danse avec trop de force, faisant trébucher le partenaire (le modèle).
La nouvelle méthode est un partenaire qui bouge en parfaite synchronisation avec la musique (la structure existante de la bibliothèque) mais qui ne pousse pas trop fort. Elle préserve la forme de la piste de danse pour que le modèle puisse se déplacer librement sans tomber.

Ce qu'ils ont fait

Ils ont créé deux nouveaux types de fiches :

LoLo-RLPO : S'aligne sur les chemins « principaux » tout en gardant une structure légère et équilibrée.
LoRA-RLMO : S'aligne sur les chemins « mineurs » (les itinéraires moins évidents) tout en gardant également une structure légère et équilibrée.

Les Résultats

Lorsqu'ils ont testé ces nouvelles fiches dans la « salle de sport » (benchmarks de raisonnement mathématique) :

Stabilité : L'entraînement n'a pas planté. Le modèle est resté calme et stable.
Performance : Le modèle a appris plus vite et a obtenu de meilleurs scores que la méthode standard.
Le « Pourquoi » : Ils ont prouvé mathématiquement qu'en gardant la fiche « orthonormée » (parfaitement structurée) et en n'amplifiant pas le poids du savoir existant, le modèle reste proche de la performance idéale d'une « réécriture complète » sans nécessiter le coût énergétique massif.

Résumé

L'article dit : « Si vous voulez entraîner une IA intelligente en utilisant la nouvelle méthode de la "salle de sport" (RLVR), n'utilisez pas les fiches cartonnées sophistiquées et lourdes qui fonctionnaient en classe. Utilisez plutôt nos nouvelles fiches, parfaitement structurées et légères. Elles maintiennent la stabilité du modèle, empêchent sa rupture et l'aident à bien mieux apprendre les problèmes mathématiques. »

Ils ont également noté que cela fonctionne pour différentes tailles de modèles et même pour des tâches de codage, mais la découverte fondamentale concerne la manière de démarrer l'entraînement pour éviter qu'il n'explose.

Résumé Technique : Initialisation Orthonormale Préservant la Géométrie pour l'Adaptation de Faible Rang en RLVR

Énoncé du Problème

Bien que l'adaptation de faible rang (LoRA) et ses variantes soient devenues des standards pour le réglage fin efficace en paramètres sous le paradigme du réglage fin supervisé (SFT), leur comportement dans le cadre de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) reste mal compris. Des observations récentes indiquent que les stratégies d'initialisation basées sur la SVD, spécifiquement PiSSA (Principal Singular values and Singular vectors Adaptation) et MiLoRA (Minor LoRA), qui excellent en SFT, sont souvent moins performantes que le LoRA standard et présentent une instabilité d'entraînement dans les contextes RLVR. Ces méthodes initialisent les adaptateurs en utilisant les composantes singulières supérieures (PiSSA) ou inférieures (MiLoRA) des poids préentraînés, en incorporant souvent une mise à l'échelle des valeurs singulières. L'article postule que les dynamiques d'optimisation distinctes du RLVR — caractérisées par des contraintes implicites de divergence KL qui limitent la dérive de la politique — rendent les principes d'initialisation optimisés pour le SFT inefficaces, voire préjudiciables. Le défi central consiste à identifier une stratégie d'initialisation qui stabilise l'entraînement RLVR tout en maintenant l'efficacité de l'adaptation de faible rang.

Méthodologie

Les auteurs proposent une analyse théorique des dynamiques d'optimisation de LoRA en RLVR afin de dériver une stratégie d'initialisation fondée sur des principes.

Analyse Théorique

L'article établit que l'écart d'approximation entre LoRA et le réglage fin complet est minimisé lorsque la matrice de faible rang $A$ est initialisée avec des lignes orthonormales et que $B$ est initialisée à zéro.

Dynamiques d'Optimisation : Sous l'hypothèse d'une perte $L$ -lisse et de gradients bornés, l'article prouve (Théorème 5.2) que l'erreur entre la trajectoire LoRA et la trajectoire du réglage fin complet est contrôlée par le terme $\|I_n - A_0^\top A_0\|_2$ . Ce terme atteint sa valeur minimale de 1 si et seulement si $A_0$ possède des lignes orthonormales ( $A_0 A_0^\top = I_r$ ).
Bornes de Stabilité : De plus, la Proposition 5.3 démontre qu'une initialisation orthonormale avec $B_0=0$ garantit que l'amplitude de la mise à jour des poids lors de la première étape ne dépasse pas celle du réglage fin complet. Cette mise à jour bornée est cruciale pour satisfaire les contraintes implicites de divergence KL dans le RLVR, empêchant les changements de politique agressifs qui mènent à l'effondrement de l'entraînement.

Stratégies d'Initialisation Proposées

Guidés par ces intuitions théoriques, les auteurs proposent deux méthodes d'initialisation « Orthonormale Préservant la Géométrie » qui conservent l'information spectrale des poids préentraînés sans la mise à l'échelle des valeurs singulières présente dans PiSSA et MiLoRA :

LoRA-RLPO (Principal) : Initialise $A_0$ en utilisant les vecteurs singuliers à droite supérieurs ( $V_r^\top$ ) de la matrice de poids préentraînée $W_0$ , avec $B_0 = 0$ . Cela aligne l'adaptateur avec les directions principales du modèle préentraîné tout en maintenant l'orthonormalité.
LoRA-RLMO (Minor) : Initialise $A_0$ en utilisant les vecteurs singuliers à droite inférieurs ( $V_{-r}^\top$ ) de $W_0$ , avec $B_0 = 0$ . Cela cible le sous-espace mineur mais, contrairement à MiLoRA, évite la mise à l'échelle par les valeurs singulières et le $B_0$ non nul.

Les deux méthodes diffèrent de PiSSA et MiLoRA en fixant $B_0=0$ et en utilisant un $A_0$ orthonormé sans mise à l'échelle par les valeurs singulières ( $\Sigma^{1/2}$ ).

Résultats Clés

Des expériences ont été menées sur des benchmarks de raisonnement mathématique (GSM8K, MATH500, AIME 2022/2023/2024) en utilisant l'algorithme DAPO sur les modèles DeepSeek-R1-Distill-Qwen-1.5B et Qwen2.5-7B.

Performance : LoRA-RLPO a obtenu la précision moyenne la plus élevée (65,03 %) sur les benchmarks, surpassant le LoRA standard (62,40 %), le LoRA-RLMO (63,76 %) et dépassant de manière significative PiSSA (4,57 %) et MiLoRA (51,71 %).
Stabilité de l'Entraînement : Le suivi de la divergence KL et des normes de gradient a révélé que PiSSA et MiLoRA souffrent d'une croissance rapide de la KL et d'une explosion des gradients, conduisant à un effondrement de la récompense. En revanche, LoRA-RLPO et LoRA-RLMO ont maintenu des trajectoires de divergence KL faibles, comparables ou inférieures au LoRA standard, indiquant une optimisation stable.
Études d'Ablation :
- Orthonormalité vs Géométrie : Les bases orthonormales indépendantes du modèle (DCT-LoRA, Wavelet-LoRA) ont surpassé le LoRA standard, confirmant le bénéfice de l'orthonormalité seule. Cependant, LoRA-RLPO a nettement surpassé ces méthodes indépendantes du modèle, démontant que la préservation de la structure géométrique des poids préentraînés (via la SVD) apporte des gains supplémentaires.
- Analyse d'Échec : L'article réfute l'hypothèse selon laquelle MiLoRA échoue en raison d'une magnitude d'initialisation proche de zéro, montrant que la norme initiale de son adaptateur est non négligeable. Au lieu de cela, l'instabilité est attribuée à la combinaison de la géométrie du sous-espace et de la mise à l'échelle des valeurs singulières, qui amplifie les mises à jour au-delà du budget KL.
- Généralisation : Les méthodes proposées ont également démontré une amélioration de la convergence et de la performance dans les tâches de SFT (GLUE, GSM8K), suggérant que les bénéfices s'étendent au-delà du RLVR.

Signification et Revendications

L'article affirme fournir la première explication théorique de la raison pour laquelle les variantes de LoRA basées sur la SVD (PiSSA, MiлоRA) échouent en RLVR tout en réussissant en SFT. Les auteurs identifient deux facteurs couplés pilotant cet échec :

Géométrie du Sous-espace : Le choix du sous-espace singulier dicte la trajectoire d'optimisation.
Mise à l'échelle des Valeurs Singulières : Le facteur d'échelle dans PiSSA/MiLoRA amplifie les amplitudes de mise à jour, provoquant des violations rapides de la contrainte de divergence KL implicite requise pour un entraînement RLVR stable.

La signification de ce travail réside dans l'établissement qu'une initialisation orthonormale, couplée au choix standard de $B_0=0$ , est une solution fondée sur des principes pour l'adaptation de faible rang en RLVR. En minimisant l'écart d'approximation par rapport au réglage fin complet et en bornant les amplitudes de mise à jour, l'initialisation orthonormale préservant la géométrie (LoRA-RLPO/RLMO) offre une base robuste pour le RL efficace en paramètres, résolvant l'instabilité observée dans les méthodes antérieures basées sur la SVD. Les auteurs soulignent que leur analyse offre un cadre unifié expliquant à la fois l'échec des variantes existantes et le succès de leur approche proposée.