Résumé Technique : Dynamiques d'État Caché à Déroulement Unique pour la Sélection de Données RLVR Sans Entraînement

Formulation du Problème

L'article aborde le goulot d'étranglement critique du Reinforcement Learning with Verifiable Rewards (RLVR) : la sélection d'instances d'entraînement à fort impact parmi un vaste pool non étiqueté. Bien que le RLVR soit connu pour être très efficace en termes de données — pouvant potentiellement générer des gains de raisonnement significatifs à partir de très peu d'exemples — ses performances sont extrêmement sensibles au choix des exemples sélectionnés.

Les pipelines de sélection de données existants reposent généralement sur :

1. Signaux pendant l'entraînement : Exécution d'un fine-tuning partiel ou d'un RL sur un pool de candidats pour observer les dynamiques d'optimisation (par exemple, trajectoires de récompense, variance des gradients).
2. Dépendances aux vérités terrain : Accès à des récompenses vérifiables ou à des réponses correctes pour l'ensemble du pool de candidats afin de classer les instances.

Ces exigences sont souvent irréalisables dans des domaines spécialisés à faibles ressources (par exemple, QA médical) où les annotations sont coûteuses et où l'exécution d'entraînements d'essai sur des milliers de candidats est un gaspillage computationnel. Les auteurs formalisent un régime pré-RL où la sélection doit être effectuée sur un vaste pool non étiqueté, sans aucune étiquette de vérité terrain, récompense vérifiable ou signal d'optimisation pendant l'entraînement.

Méthodologie : SHIFT

Les auteurs proposent SHIFT, un sélecteur en un seul coup, sans entraînement et sans étiquettes. SHIFT exploite les dynamiques d'états cachés au moment de l'inférence pour estimer l'utilité d'une instance pour le RLVR en aval, sans effectuer aucun entraînement.

Mécanisme Central : Déplacement de Représentation Induit par le Raisonnement (RIRS)

L'hypothèse centrale est que les dynamiques internes d'un modèle au cours d'une trace de raisonnement encodent son potentiel d'apprentissage.

1. Déroulement Déterministe Unique : Pour chaque instance candidate $x$, SHIFT exécute une unique trace de raisonnement déterministe en utilisant un décodage glouton ($T=0$).
2. Extraction d'Ancres : Il identifie les états cachés au début ($s(x)$) et à la fin ($e(x)$) de la trace de raisonnement (spécifiquement, le début et la fin du segment de Chaîne de Pensée).
3. Calcul du RIRS : Le Déplacement de Représentation Induit par le Raisonnement est calculé comme la différence entre ces états :
   $$\Delta(x) = e(x) - s(x)$$
   La magnitude $\|\Delta(x)\|_2$ sert d'indicateur léger de l'utilité (informativité) de l'instance, en postulant que des déplacements plus importants indiquent une engagement plus fort du calcul interne du modèle.

Algorithme de Sélection : CoreSet à Premier Plus Lointain Pondéré par la Qualité

Pour garantir que le sous-ensemble sélectionné soit à la fois de haute qualité et diversifié, SHIFT emploie une stratégie de sélection gloutonne dans un espace de caractéristiques augmenté :

1. Construction des Caractéristiques : Chaque instance est représentée par un vecteur concaténé $\phi(x) = [s(x); \Delta(x)]$, normalisé sur la sphère unité. Cela capture à la fois le contexte initial ($s(x)$) et la transformation de raisonnement ($\Delta(x)$).
2. Score d'Utilité : Un score d'utilité $\tilde{q}(x)$ est dérivé de la magnitude du RIRS (transformée logarithmiquement pour la stabilité).
3. Sélection Gloutonne :
   • Initialiser l'ensemble $S$ avec l'instance ayant la plus haute utilité.
   • Sélectionner itérativement la prochaine instance $x^*$ qui maximise le produit de son utilité et de sa distance à l'ensemble actuel :
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     Cela équilibre l'informativité (RIRS élevé) avec la couverture (diversité dans l'espace augmenté par le RIRS).

Contributions Clés

1. Formalisation du Problème : Définition du problème de sélection de données RLVR dans un cadre pré-RL strict où aucune étiquette, récompense ou signal d'entraînement n'est disponible lors de la sélection.
2. Cadre SHIFT : Introduction d'un sélecteur sans entraînement basé sur les dynamiques d'états cachés au moment de l'inférence, spécifiquement la métrique RIRS.
3. Innovation Algorithmique : Développement d'un algorithme CoreSet à déroulement unique, pondéré par la qualité et à premier plus lointain, qui s'adapte aux vastes pools non étiquetés.
4. Validation Empirique : Démonstration d'améliorations constantes par rapport aux bases de référence sans entraînement (échantillonnage de diversité, heuristiques de difficulté, méthodes basées sur l'incertitude) sur des benchmarks de raisonnement mathématique et de QA médical avec des budgets ultra-faibles (0,1 % à 4 % des données).

Résultats Expérimentaux

Les auteurs ont évalué SHIFT sur les modèles Qwen (1,5B et 1,7B) dans deux domaines :

• Raisonnement Mathématique (MATH-500 & AMC) : Avec un budget de 2 %, SHIFT a atteint une précision de 62,67 % sur MATH-500 et de 38,55 % sur AMC (OOD), surpassant significativement l'échantillonnage aléatoire (+8,94 / +12,77) et autres bases de référence. Notamment, il a dépassé la référence RLVR sur données complètes sur le benchmark OOD AMC.
• QA Médical (MEDQA & Transfer) : Avec un budget de 0,1 %, SHIFT a atteint 50,35 % sur MEDQA, surpassant l'aléatoire (45,28 %) et autres heuristiques. Il a montré une transfert particulièrement fort vers des sous-ensembles cliniquement difficiles (MedXpertQA), égalant presque les performances sur données complètes avec seulement 0,1 % des données.

Ablation et Analyse

• Validité du RIRS : L'analyse de corrélation a confirmé que le RIRS n'est pas simplement un indicateur de la longueur des entrées/sorties (Spearman $\rho \approx 0$ avec la longueur de la réponse).
• Corrélation d'Utilité : Une étude pilote a montré une forte corrélation positive (Spearman $\rho = 0,818$) entre le classement RIRS pré-RL et le gain RLVR réel en aval.
• Ablations : Le retrait soit de la couverture basée sur le RIRS ($\phi_{s+\Delta}$), soit du pondération par la qualité ($\tilde{q}(x)$) a dégradé les performances, confirmant que les signaux de diversité et d'utilité sont complémentaires.
• Efficacité Computationnelle : SHIFT ne nécessite qu'un seul déroulement déterministe par candidat, le rendant nettement moins coûteux au moment de la sélection que les bases de référence de cohérence self-consistency (qui nécessitent environ 32 déroulements stochastiques).

Importance et Revendications

L'article affirme que SHIFT permet une adaptation RLVR efficace dans des scénarios précédemment considérés comme irréalisables en raison des coûts d'annotation et des contraintes computationnelles. En identifiant des exemples « impactants » grâce aux dynamiques d'états cachés induites par le raisonnement plutôt que par des signaux d'entraînement, SHIFT permet :

• Une réduction drastique des frais d'annotation et d'entraînement : Atteindre de fortes performances avec <1 % des données.
• Accessibilité : Rendre l'adaptation RL viable pour des domaines spécialisés (par exemple, la médecine) où les étiquettes de vérité terrain sont rares.
• Généralisation : Améliorer le transfert vers des settings d'évaluation plus difficiles et hors distribution par rapport aux sélections standard basées sur la diversité ou la difficulté.

Les auteurs adoptent une posture modeste, reconnaissant que le RIRS est un substitut empirique motivé par des dynamiques théoriques au niveau des blocs plutôt qu'une dérivation formelle, et que la robustesse sur des familles de modèles plus larges et la stratification des erreurs sensibles à la sécurité restent des domaines ouverts pour les travaux futurs.