🤖 AI

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE est une méthode de curation de données évolutive et sans modèle de récompense qui améliore l'efficacité du post-entraînement en notant et en sélectionnant des données de raisonnement au niveau de l'étape à l'aide de signaux alignés sur le gradient, permettant d'atteindre les performances d'un jeu de données complet avec seulement 5 % de celui-ci.

Auteurs originaux : Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : « Le Tout n'est pas égal à la Somme de ses Parties »

Imaginez que vous essayez d'enseigner à un étudiant comment résoudre un problème mathématique complexe. Vous lui donnez une page de manuel qui montre la solution complète : Étape 1, Étape 2, Étape 3, jusqu'à la réponse finale.

L'ancienne méthode (Méthodes actuelles) :
La plupart des systèmes d'entraînement de l'IA traitent cette page entière comme une seule leçon « bonne » ou « mauvaise ». Si la réponse finale est correcte, toute la page reçoit une étoile dorée. Si la réponse est fausse, toute la page reçoit une croix rouge.

Le Défaut : En réalité, certaines étapes de cette page sont des insights brillants, tandis que d'autres sont simplement l'étudiant répétant ce qu'il a dit trois lignes plus tôt, ou s'égarant dans une piste secondaire confuse qui ne mène nulle part. En traitant la page entière comme une seule unité, l'IA perd du temps à étudier les parties ennuyeuses ou confuses et risque de manquer les insights brillants cachés au milieu.

La Solution : GRACE (Le Coach « Étape par Étape »)

Les auteurs ont créé une méthode appelée GRACE (Gradient-aligned Reasoning dAta Curation). Au lieu de noter la page entière, GRACE agit comme un coach hyper-observateur qui regarde l'étudiant résoudre le problème une étape à la fois.

Voici comment GRACE fonctionne, en utilisant une Analogie de la Randonnée :

Imaginez que l'IA est un randonneur essayant d'atteindre le sommet d'une montagne (la Réponse Correcte). La trace de raisonnement est le chemin que le randonneur emprunte.

Le Signal « Alignement sur la Réponse » (Regarder le Sommet) :
- GRACE demande : « Cette étape spécifique pointe-t-elle vers le sommet de la montagne ? »
- Si une étape rapproche le randonneur du sommet, elle reçoit un score élevé.
- Si une étape fait faire au randonneur un tour en rond ou le dirige vers une falaise, elle reçoit un score faible.
Le Signal « Cohérence de la Trajectoire » (Regarder le Chemin Derrière) :
- GRACE demande aussi : « Cette étape a-t-elle du sens compte tenu de l'endroit d'où le randonneur vient juste ? »
- Si le randonneur grimpe une pente raide et tente soudainement de nager dans une rivière, c'est un saut étrange. Même si la rivière est belle, elle brise le flux de l'ascension. GRACE pénalise les étapes qui semblent déconnectées des étapes précédentes.

L'Ingrédient Secret : Le « Miroir Magique » (Pas de Retour en Arrière Nécessaire)

Habituellement, pour savoir si une étape est bonne, il faudrait simuler tout le processus d'entraînement, s'arrêter, rembobiner et calculer exactement comment cette seule étape a modifié le cerveau de l'IA. C'est comme essayer de mesurer le vent en arrêtant une voiture de course, en démontant le moteur et en vérifiant les engrenages. Cela prend une éternité et est trop lent pour des ensembles de données massifs.

L'Innovation de GRACE :
GRACE utilise une astuce ingénieuse appelée « Proxy de Gradient au Niveau de la Représentation ».

L'Analogie : Au lieu de démonter la voiture, GRACE observe les « gaz d'échappement » (les signaux internes) sortant du moteur pendant que la voiture roule vers l'avant.
En examinant ces signaux lors d'un seul passage avant (juste en lisant le texte une fois), GRACE peut estimer exactement l'utilité d'une étape sans jamais avoir à « rembobiner » ou effectuer de calculs complexes en arrière. C'est comme juger les compétences d'un chef par l'odeur de la nourriture pendant la cuisson, plutôt que de goûter chaque bouchée après la fin du repas.

Les Résultats : Moins de Données, Meilleure Performance

Le papier a testé cette méthode sur un ensemble de données massif de problèmes mathématiques (MMathCoT-1M) en utilisant un modèle vision-langage (Qwen3-VL).

L'Ancienne Façon : Pour obtenir d'excellents résultats, il faut généralement nourrir l'IA avec toutes les données (100 %).
La Façon GRACE :
- En utilisant seulement 20 % des données (les 1 meilleures étapes sur 5), l'IA a obtenu des résultats 8,8 % meilleurs que si elle avait été entraînée sur 100 % des données.
- En utilisant seulement 5 % des données, l'IA a obtenu des résultats tout aussi bons que ceux de l'ensemble de données complet.

Pourquoi est-ce devenu meilleur avec moins de données ?
S'entraîner sur tout est comme forcer un étudiant à lire chaque page d'une bibliothèque, y compris les pages avec des fautes de frappe, des répétitions ennuyeuses et des impasses. Cela confond l'étudiant. GRACE filtre le « bruit » et ne nourrit l'IA qu'avec les étapes « or pur ». Cela empêche l'IA d'être confuse par de mauvais exemples et l'aide à apprendre plus vite et plus intelligemment.

Résumé

Le Problème : L'entraînement actuel de l'IA traite chaque étape d'une chaîne de raisonnement comme également importante, gaspillant du temps sur de mauvaises étapes.
La Correction : GRACE note chaque étape individuellement en fonction de son aide pour atteindre la réponse et de sa cohérence avec l'histoire jusqu'ici.
L'Astuce : Elle utilise un raccourci « passage avant uniquement » pour noter les étapes instantanément, sans avoir besoin de calculs lents et complexes.
Le Résultat : Vous pouvez entraîner une IA plus intelligente en utilisant une infime fraction des données, en économisant du temps et de la puissance de calcul tout en améliorant réellement les performances.

Le papier conclut que la valeur des données de raisonnement ne réside pas seulement dans le fait que la réponse finale soit correcte ; elle réside dans le fait que le voyage vers cette réponse ait été un chemin constructif et logique. GRACE trouve ces chemins constructifs et jette le reste.

Résumé Technique : GRACE – Curration de Données de Raisonnement Alignées sur le Gradient pour un Post-Entraînement Efficace

Énoncé du Problème

Les pipelines existants pour la curration de données de raisonnement (Chain-of-Thought, CoT) opèrent généralement au niveau de l'échantillon, attribuant un score unique à une trace de raisonnement entière basée sur des métriques telles que la justesse de la réponse finale ou les scores d'un modèle de récompense. Cette approche traite chaque étape intermédiaire au sein d'une trace comme étant également précieuse. Cependant, les traces de raisonnement sont hétérogènes ; certaines étapes soutiennent directement la réponse finale, tandis que d'autres répètent du contenu, explorent des tangentes non pertinentes ou introduisent du bruit. L'entraînement uniforme sur de telles traces gaspille le budget de calcul sur des étapes de faible valeur et dilue la contribution de celles qui sont utiles. De plus, les méthodes actuelles manquent d'un mécanisme pour évaluer comment les étapes individuelles de raisonnement contribuent au processus d'optimisation, négligeant souvent les « rôles d'optimisation étape par étape » au sein d'une trace.

Méthodologie : GRACE

Les auteurs proposent GRACE (Gradient-aligned Reasoning dAta Curation for Efficient post-training), une méthode qui déplace la granularité de la curration du niveau de l'échantillon vers le niveau de l'étape. GRACE considère une trace de raisonnement non pas comme une cible de supervision statique, mais comme une séquence d'événements d'optimisation.

1. Utilité d'Optimisation au Niveau de l'Étape

GRACE définit l'utilité d'une étape de raisonnement en fonction de sa contribution à l'optimisation d'un objectif cible. Elle note chaque étape $k$ en utilisant deux signaux complémentaires dérivés de la dynamique d'optimisation interne du modèle :

Alignement Orienté Réponse ( $A_{ans}^k$ ) : Mesure la similarité cosinus entre le gradient induit par l'étape actuelle ( $g_k$ ) et le gradient induit par le segment de la réponse finale ( $g_{ans}$ ). Cela détermine si l'étape soutient constructivement l'objectif final.
Cohérence de la Trajectoire ( $A_{hist}^k$ ) : Mesure la similarité cosinus entre le gradient de l'étape actuelle et une direction de référence historique ( $r_k$ ), qui est une moyenne pondérée des gradients des étapes précédentes. Cela garantit que l'étape maintient une cohérence avec la trajectoire de raisonnement en évolution.

Le score final au niveau de l'étape est une combinaison pondérée :
$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$
où $\alpha$ équilibre les deux signaux. Ces scores d'étape sont agrégés pour calculer une valeur au niveau de l'échantillon $V(z)$ , utilisée pour sélectionner le sous-ensemble top- $\rho$ de données.

2. Proxy de Gradient au Niveau de la Représentation

Un défi majeur est que le calcul de vrais gradients au niveau de l'étape nécessite de décomposer les traces et d'effectuer des passes arrière répétées, ce qui est computationnellement intraitable à grande échelle. Pour y remédier, GRACE introduit un proxy de gradient au niveau de la représentation :

Au lieu de calculer des gradients dans l'espace des paramètres ( $\nabla_\theta L$ ), la méthode opère sur les signaux en amont à l'interface de représentation (les états cachés avant la projection de sortie).
Pour chaque token $t$ , un signal en amont $u_t = W_{out}(p_t - y_t)$ est calculé, où $p_t$ est la probabilité prédite et $y_t$ est la vérité terrain.
Les gradients au niveau de l'étape sont approximés en moyennant ces signaux au niveau du token ( $g_k = \frac{1}{|T_k|} \sum u_t$ ).
Crucialement, ce proxy permet d'estimer l'alignement au niveau de l'étape en utilisant une seule passe avant par échantillon, évitant ainsi la rétropropagation par étape et le besoin de modèles de récompense externes ou d'annotations d'étapes.

Contributions Clés

Perspective Basée sur l'Optimisation : L'article reformule la curration de données de raisonnement en modélisant les traces comme des séquences d'événements d'optimisation, soulignant que l'alignement au niveau de l'étape avec l'objectif cible et la trajectoire est crucial pour un apprentissage efficace.
Cadre GRACE : Une méthode de curration novatrice qui agrège des signaux d'optimisation au niveau de l'étape (alignement sur la réponse et cohérence de la trajectoire) pour une sélection de sous-ensembles fine.
Proxy Évolutif : Le développement d'un proxy de gradient au niveau de la représentation qui permet une valorisation efficace des données au niveau de l'étape sans le coût computationnel du calcul de gradients par étape.

Résultats Expérimentaux

Les auteurs ont évalué GRACE en post-entraînant Qwen3-VL-2B-Instruct sur le jeu de données MMathCoT-1M (un corpus de raisonnement mathématique multimodal à grande échelle) et en testant sur divers benchmarks incluant le raisonnement mathématique (MathVista, MathVision) et la réponse générale à des questions visuelles (HallusionBench, MMBench, MME).

Performance vs Volume de Données :
- En utilisant seulement 20% des données curées, GRACE a atteint 108,8% de la performance des données complètes (moyenne sur les benchmarks), surpassant significativement l'ensemble de données complet et toutes les lignes de base.
- En utilisant seulement 5% des données, GRACE a conservé 100,2% de la performance des données complètes.
Comparaison avec les Lignes de Base : GRACE a constamment surpassé les sélecteurs heuristiques (Aléatoire, Plus Long, Stepmax) et les méthodes de sélection de données basées sur le gradient de l'état de l'art (LESS, ICONS, CADC). Par exemple, à 20% de données, GRACE (108,8%) a dépassé CADC (102,6%) et LESS (101,7%).
Transférabilité : Les sous-ensembles sélectionnés par GRACE en utilisant un modèle de notation Qwen3-VL-2B se sont transférés efficacement vers d'autres architectures (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B), surpassant constamment leurs lignes de base respectives de données complètes. Cela suggère que la valeur des données capturée est intrinsèque à la structure du raisonnement plutôt que spécifique au modèle.
Efficacité : Le processus d'extraction du proxy est léger, ne nécessitant que des passes avant. Les auteurs rapportent que la collecte des signaux pour le pool de candidats a pris 6,5 heures sur un seul nœud et 5,7 Go de stockage, évitant les passes arrière coûteuses requises par les méthodes de projection de gradient.

Signification et Revendications

L'article revendique que la valeur des données de raisonnement ne dépend pas uniquement d'indicateurs de qualité externes (justesse, longueur ou scores de préférence) mais de la manière dont les étapes intermédiaires soutiennent constructivement la trajectoire d'optimisation.

GRACE démontre que :

La granularité au niveau de l'étape est essentielle : Traiter les traces de raisonnement comme des unités indivisibles néglige l'utilité variable des étapes intermédiaires.
Les signaux internes sont suffisants : Une curration de données de haute qualité peut être réalisée en utilisant uniquement les signaux d'optimisation internes du modèle (gradients/proxies) sans modèles de récompense externes ni annotations humaines.
Efficacité et Performance : Une curration consciente de l'optimisation permet aux modèles d'égaler ou de dépasser la performance des données complètes en utilisant une fraction des données d'entraînement, réduisant considérablement les coûts de post-entraînement (heures GPU) tout en maintenant ou en améliorant les capacités en aval.

Les auteurs notent des limitations, notamment la dépendance à une configuration fixe de modèle de notation et l'accent actuel sur les données CoT multimodales, suggérant que des travaux futurs pourraient étendre ces principes au raisonnement purement linguistique ou au post-entraînement basé sur l'apprentissage par renforcement.