🤖 machine learning

Weight-Space Geometry of Offline Reasoning Training

Cet article analyse la géométrie de l'espace des poids de six méthodes d'entraînement de raisonnement hors ligne sur un modèle Qwen3-4B, révélant que si le SFT, le RFT et le RIFT convergent vers des mises à jour presque colinéaires avec une précision similaire, le DPO adopte un sous-espace distinct, quasi orthogonal, qui atteint des performances nettement supérieures sur les benchmarks GSM8K et AIME26, tandis que l'Offline GRPO introduit une composante orthogonale substantielle tout en restant dans le bassin de perte du SFT.

Auteurs originaux : Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un brillant et gigantesque tuteur de mathématiques (l'« Enseignant ») capable de résoudre des problèmes complexes. Vous voulez apprendre à un étudiant plus petit et moins coûteux (l'« Étudiant ») à penser comme ce tuteur. Vous donnez à l'étudiant les solutions étape par étape de l'enseignant (appelées « rollouts ») et vous lui demandez d'apprendre de celles-ci.

Cette publication pose une question simple mais profonde : Est-ce que la manière dont nous disons à l'étudiant d'apprendre importe ?

Il existe de nombreuses différentes « formules d'enseignement » (fonctions de perte) que les chercheurs utilisent. Certains disent : « Ne regarde que les bonnes réponses. » D'autres disent : « Regarde toutes les réponses, mais accorde des points bonus aux bonnes. » D'autres encore disent : « Compare les bonnes réponses aux mauvaises. »

Les auteurs voulaient savoir : est-ce que ces différentes formules font changer le cerveau de l'étudiant (les poids de l'ordinateur) de la même manière, ou créent-elles des types de penseurs complètement différents ?

Voici le détail de leurs découvertes, en utilisant des analogies simples :

1. Le groupe des « Imitateurs » (SFT, RFT, RIFT)

L'analogie : Imaginez trois étudiants essayant de copier un dessin.

L'Étudiant A copie chaque trait.
L'Étudiant B ne copie que les traits qui sont parfaits.
L'Étudiant C copie chaque trait, mais dessine les traits parfaits de manière légèrement plus foncée.

La découverte : Même s'ils utilisent des règles légèrement différentes, ils finissent tous par dessiner presque exactement le même dessin.

Mathématiquement, les changements apportés à leurs cerveaux sont presque identiques (97 % de similitude).
Ils obtiennent tous environ le même score aux tests de mathématiques (environ 87–88 %).
À retenir : Si vous voulez simplement qu'un étudiant imite le raisonnement de l'enseignant, peu importe laquelle de ces trois formules spécifiques vous utilisez. Ils font essentiellement la même chose.

2. L'« Auto-ajusteur » (DFT)

L'analogie : Cet étudiant utilise la même feuille de papier que l'Étudiant A, mais il a une drôle d'habitude : il rend automatiquement le stylo plus clair lorsqu'il est déjà confiant et plus foncé lorsqu'il est incertain.

La découverte : Ce petit ajustement change considérablement la direction du dessin. Le cerveau de l'étudiant change d'une manière très différente de celle du groupe des Imitateurs, même s'il n'a utilisé aucun « score de récompense » pour le guider. C'est un chemin unique, mais cela ne mène pas nécessairement à un meilleur score.

3. Le « Pas de côté » (Offline GRPO)

L'analogie : Cet étudiant regarde le travail de l'enseignant mais décide de faire un grand pas de côté. Il reste dans le même voisinage général (le « bassin de perte »), mais il emprunte un chemin différent.

La découverte : Cette méthode pousse le cerveau de l'étudiant dans une direction qui est 67 % différente de celle du groupe des Imitateurs. Dans les couches ultérieures du cerveau (les « pensées finales »), cette différence augmente pour atteindre presque 86 %.

Cependant, ils obtiennent toujours un score similaire (environ 87 %).
À retenir : Cette méthode explore une nouvelle direction, mais elle ne semble pas débloquer de « super-pouvoir » en termes de précision par rapport aux Imitateurs.

4. L'« Outlier » (DPO)

L'analogie : Tandis que tous les autres dessinent sur la même feuille de papier dans la même pièce, cet étudiant dessine sur un canevas complètement différent, dans une autre pièce, avec un style totalement différent.

La découverte :

Géométrie : Les changements apportés au cerveau de cet étudiant sont presque à 90 degrés (orthogonaux) par rapport à tous les autres. Il fait quelque chose de fondamentalement différent.
La Barrière : Si vous essayiez de mélanger le cerveau de cet étudiant avec celui du groupe des Imitateurs (une « interpolation linéaire »), le résultat se briserait. Ils sont dans des « univers » de solutions différents.
Le Score : Malgré cela, cet étudiant a obtenu les meilleurs scores (93,5 % en mathématiques, 30 % sur les énigmes difficiles).
Le Piège : Cet étudiant a été entraîné avec un taux d'apprentissage 10 fois plus petit (il a fait des pas beaucoup plus petits et plus prudents). Les auteurs préviennent que nous ne pouvons pas être sûrs à 100 % si le score élevé est dû à la formule ou simplement au fait qu'ils ont fait des étapes plus petites et plus précises.

5. La surprise du « Live vs Enregistré »

L'article a également examiné ce qui se passe si l'étudiant apprend par la pratique en direct (Online) ou par la pratique enregistrée (Offline).

Offline : Lorsqu'on apprend à partir d'un ensemble fixe de réponses enregistrées de l'enseignant, l'étudiant du « Pas de côté » (Offline GRPO) reste assez proche des Imitateurs.
Online : Lorsque l'étudiant génère ses propres problèmes d'entraînement (Online GRPO), il devient complètement orthogonal (totalement différent) des Imitateurs.
Conclusion : Le fait que les méthodes « Offline » ressemblent aux Imitateurs est en partie dû au fait qu'elles regardent toutes exactement le même ensemble fixe de réponses de l'enseignant. Si vous les laissez générer leurs propres exercices, elles divergent radicalement.

Résumé

La plupart des méthodes (SFT, RFT, RIFT) sont juste différentes façons de dire « Copie l'enseignant ». Elles entraînent la même structure cérébrale et des scores similaires.
DPO est l'exception. Elle construit une structure cérébrale complètement différente. Elle obtient les meilleurs scores, mais elle le fait avec un style d'entraînement très spécifique et prudent (petit taux d'apprentissage) qui rend la comparaison directe avec les autres difficile.
La nature « Offline » des données d'entraînement est une raison majeure pour laquelle beaucoup de ces méthodes finissent par se ressembler.

L'article cartographie essentiellement la « géographie » de ces méthodes d'apprentissage, montant lesquelles sont voisines et lesquelles vivent sur des planètes différentes.

Résumé Technique : Géométrie de l'Espace des Poids de l'Entraînement au Raisonnement Hors-Ligne

Énoncé du Problème

Les pertes d'apprentissage par renforcement (RL) hors-ligne — telles que RFT, RIFT, DFT, Offline GRPO et DPO — sont de plus en plus utilisées pour distiller les capacités de raisonnement de grands modèles enseignants vers des modèles étudiants plus petits. Bien que ces méthodes soient systématiquement comparées sur la base de la précision sur des benchmarks en aval, leur distinction mécaniste reste inconnue. Plus précisément, il n'est pas clair si différentes formulations de perte produisent des mises à jour de poids qualitativement différentes ou si elles convergent simplement vers des directions similaires dans l'espace des poids. Cette distinction est cruciale pour les praticiens choisissant des fonctions de perte et pour les chercheurs cherchant à interpréter si le « RL hors-ligne » représente un mécanisme unique ou une famille d'approches diversifiées.

Méthodologie

Les auteurs ont mené une comparaison contrôlée de l'espace des poids de six méthodes d'entraînement au raisonnement hors-ligne : SFT (Fine-Tuning Supervisé), RFT (Reward Fine-Tuning), DFT (Down-weighted Fine-Tuning), RIFT (Reward-Weighted In-Context Fine-Tuning), Offline GRPO et DPO (Direct Preference Optimization).

Configuration Expérimentale :

Modèle de Base : Qwen3-4B-Instruct.
Données : Rollouts mathématiques identiques générés par un modèle enseignant (DeepSeek-V4-Flash) sur des prompts DeepScaleR (~40k problèmes mathématiques vérifiés). Toutes les méthodes utilisent les mêmes données, sauf DPO qui consomme ~1,8K échantillons appariés (choisi, rejeté) dérivés des mêmes rollouts, tandis que les autres utilisent ~75K lignes.
Architecture : LoRA appliqué uniquement aux projections d'attention (q, k, v, o) avec un rang de 32 et $\alpha=64$ sur 144 modules.
Protocole d'Entraînement : Hyperparamètres identiques (taille de batch 32, calendrier cosinus, 5% de warmup) excepté pour les taux d'apprentissage. Toutes les méthodes utilisent un taux d'apprentissage (LR) de pointe de $5 \times 10^{-6}$ , sauf DPO, qui utilise $5 \times 10^{-7}$ (un LR 10 $\times$ plus petit selon la convention standard). L'entraînement a duré 1 500 étapes, les résultats étant rapportés à l'étape 1 000.
Métriques d'Analyse : L'étude a analysé les deltas de poids LoRA ( $\Delta W$ $Δ W$ ) résultants via :
1. Similitude cosinus (globale et par couche).
2. Analyse de sous-espace par angle principal (SVD des 10 vecteurs singuliers supérieurs).
3. Connectivité de mode linéaire (interpolation des deltas et mesure de l'entropie croisée sur GSM8K).
4. Alignement de Noyau Centré (CKA) des états cachés.

Contributions Clés et Résultats

1. Convergence des Méthodes de MLE Pondérées par Récompense

Les auteurs ont constaté que SFT, RFT et RIFT convergent vers des deltas de poids quasi colinéaires.

Géométrie : Les similitudes cosinus entre ces méthodes sont $\ge 0,97$ , avec des angles principaux supérieurs de l'ordre de $7^\circ$ (médiane).
Performance : Elles atteignent une précision GSM8K statistiquement indiscernable (87–88%, $p \ge 0,15$ via le test de McNemar).
Implication : Le filtrage des échantillons négatifs (RFT) ou leur pondération par la récompense (RIFT) ne change pas la direction de la mise à jour par rapport au SFT classique ; cela ajuste principalement la taille du pas (norme de Frobenius).

2. Divergence de la DFT

Malgré être une modification minimale du SFT (pondération vers le bas des tokens confiants via un simple facteur multiplicatif), la DFT produit une mise à jour nettement plus distinctive que toute méthode explicitement pondérée par la récompense.

Géométrie : La DFT montre un cosinus d'environ $0,57$ par rapport au SFT, divergeant davantage que les méthodes pondérées par la récompense.
Performance : La précision reste comparable au SFT/RFT/RIFT, suggérant que le bassin de perte est partagé malgré le décalage directionnel.

3. Offline GRPO : Composantes Orthogonales au sein d'un Bassin

Offline GRPO introduit une composante substantielle orthogonale à la direction SFT tout en restant dans le même bassin de perte.

Géométrie : Elle ajoute une composante globalement orthogonale de $\sim 67\%$ , montant à $\sim 86\%$ dans les couches tardives. Le cosinus par rapport au cluster SFT est de $\sim 0,74$ .
Connectivité : L'interpolation linéaire entre Offline GRPO et SFT montre l'absence de barrière, indiquant qu'ils partagent le même bassin d'optimisation.
Performance : La précision est comparable à celle de SFT/RFT/RIFT (87,3 %).

4. DPO : Un Sous-espace Distinct et un Pic de Précision

DPO occupe un sous-espace presque orthogonal et atteint la précision la plus élevée de l'étude.

Géométrie : DPO est presque orthogonal à toutes les autres méthodes (cosinus $\le 0,065$ par rapport à SFT/RFT/RIFT). Elle opère dans un sous-espace de rang effectif plus élevé (rang $\sim 24,5$ contre $\sim 16$ pour les autres) mais avec une norme de Frobenius beaucoup plus petite.
Connectivité : L'interpolation linéaire entre DPO et les autres méthodes révèle une barrière abrupte (augmentation non monotone de la perte), indiquant des bassins de solutions distincts.
Similitude de Représentation : La CKA s'effondre à $\sim 0,46$ dans les couches tardives, confirmant des représentations internes distinctes.
Performance : DPO atteint 93,5 % sur GSM8K et 30,0 % sur AIME26, surpassant significativement toutes les autres méthodes ( $p < 10^{-9}$ sur GSM8K).
Mise en garde : Les auteurs notent que la supériorité de DPO est entrelacée avec son taux d'apprentissage 10 $\times$ plus petit et l'utilisation de ~40 $\times$ moins de lignes d'entraînement. L'écart de précision ne peut être purement attribué à la fonction de perte sans une comparaison avec un taux d'apprentissage égalisé.

5. Le Rôle de l'Échantillonnage On-Policy

Une conclusion critique concerne la comparaison entre Offline GRPO et Online GRPO.

Offline GRPO (entraîné sur des rollouts fixes) reste partiellement aligné avec SFT (fraction orthogonale de 0,67).
Online GRPO (entraîné sur des rollouts on-policy) devient presque entièrement orthogonal à SFT (fraction orthogonale de 0,998).
Conclusion : La convergence directionnelle observée entre SFT et Offline GRPO est en partie un artefact de l'entraînement sur les mêmes rollouts fixes. Le remplacement de ceux-ci par des échantillons on-policy brise cette convergence, poussant la mise à jour dans un sous-espace complètement différent.

Signification et Revendications

L'article soutient que le paysage du « raisonnement hors-ligne » n'est pas monolithique mais se compose de régimes géométriques distincts :

Cluster de MLE Pondéré par Récompense : SFT, RFT et RIFT sont mécaniquement similaires, différant uniquement par la magnitude du pas.
Décalages Intermédiaires : La DFT et l'Offline GRPO déplacent la direction mais restent dans le bassin de perte du SFT.
Régimes Orthogonaux : DPO et les méthodes On-Policy (comme Online GRPO) opèrent dans des sous-espaces presque orthogonaux avec des géométries de représentation distinctes.

Les auteurs soulignent que bien que DPO atteigne la précision la plus élevée, ce résultat est confondu par les réglages de l'optimiseur (spécifiquement le taux d'apprentissage). Par conséquent, l'article ne prétend pas que DPO est causalement supérieur en raison de sa fonction de perte seule, mais plutôt qu'il occupe un espace géométrique unique qui, sous le protocole spécifique utilisé, produit de meilleurs résultats. L'étude met en évidence que le « RL hors-ligne » ne nomme pas un mécanisme unique ; c'est le choix des données (fixes vs on-policy) et de la fonction de perte qui déterminent conjointement la trajectoire dans l'espace des poids.

Limites : L'étude est limitée à un seul domaine (mathématiques), un seul checkpoint de modèle de base et un LoRA appliqué uniquement à l'attention. La comparaison avec DPO est reconnue comme imparfaite en raison de la divergence du taux d'apprentissage, et un balayage complet de la famille contrastive (IPO, KTO, SimPO) est laissé pour des travaux futurs.