💬 NLP

Detecting RLVR Training Data via Structural Convergence of Reasoning

Cet article propose Min- $k$ NN Distance, un détecteur noir simple qui identifie les données d'entraînement RLVR en mesurant la rigidité des générations de modèles, surpassant ainsi les méthodes existantes pour repérer la contamination des benchmarks.

Auteurs originaux : Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Publié 2026-02-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un élève très brillant, disons un détective, qui s'entraîne pour résoudre des énigmes complexes de mathématiques ou de code.

Le problème : Le tricheur invisible
Dans le monde de l'intelligence artificielle, on utilise une méthode appelée RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables) pour entraîner ces modèles. C'est comme si le détective s'entraînait sur un tas d'énigmes spécifiques, et à chaque fois qu'il trouve la bonne réponse, il reçoit une récompense (un bonbon virtuel).

Le souci, c'est que les créateurs de ces modèles ne disent pas toujours quelles énigmes ils ont utilisées pour l'entraînement. Si le détective a déjà vu l'énigme de l'examen final pendant son entraînement, il ne la résout pas vraiment : il la recite. Il triche ! Cela fausse les résultats et donne l'illusion qu'il est plus intelligent qu'il ne l'est vraiment.

La découverte : La rigidité du détective
Les auteurs de ce papier ont fait une observation géniale. Ils ont remarqué que lorsque le détective a déjà vu une énigme pendant son entraînement RLVR, son cerveau change de fonctionnement :

Pour une énigme qu'il a déjà vue : Il devient un robot. Peu importe comment vous lui posez la question, il va toujours utiliser exactement les mêmes phrases, les mêmes étapes de logique et les mêmes formules mathématiques. C'est comme s'il avait une seule "voiture" pour aller au travail, et il l'utilise tous les jours, même sous la pluie ou le soleil.
Pour une nouvelle énigme : Il est créatif. Il essaie différentes approches, utilise des mots différents, et explore plusieurs chemins. C'est comme s'il choisissait une nouvelle voiture chaque jour selon la météo.

L'outil de détection : Le "Min-kNN Distance"
Comment savoir si le détective a triché sans avoir accès à ses notes d'entraînement ? Les chercheurs ont inventé un test simple et astucieux qu'ils appellent Min-kNN Distance.

Voici comment ça marche, avec une analogie :

Le Test de Répétition : Vous donnez la même énigme au détective 32 fois de suite.
La Comparaison : Vous prenez toutes ses réponses et vous les comparez les unes aux autres.
Le Résultat :
- Si c'est une énigme qu'il a vue (triche), ses 32 réponses seront presque identiques. Elles seront si proches les unes des autres qu'elles formeront un petit groupe très serré, comme une bande d'amis qui marchent tous exactement à la même vitesse et dans le même pas. La "distance" entre leurs réponses est très faible.
- Si c'est une nouvelle énigme, ses 32 réponses seront très différentes. Certains utiliseront une méthode, d'autres une autre. C'est comme une foule où chacun marche dans une direction différente. La "distance" entre les réponses est grande.

Pourquoi c'est génial ?

C'est un test "boîte noire" : Vous n'avez pas besoin de voir l'intérieur du cerveau du détective (ses calculs internes) ni de connaître les énigmes d'entraînement. Vous avez juste besoin de lui poser la question plusieurs fois et de regarder ses réponses.
Ça marche partout : Que ce soit pour des maths, du code, ou avec différents types d'IA, cette méthode fonctionne mieux que les anciennes techniques qui essayaient de compter les mots ou de mesurer la probabilité (ce qui ne marche plus avec l'apprentissage par renforcement).

En résumé
Ce papier nous dit : "Si un modèle d'IA répond toujours exactement de la même manière à une question, c'est qu'il a probablement déjà vu cette question pendant son entraînement et qu'il a 'appris par cœur' la solution. Si ses réponses varient, c'est qu'il réfléchit vraiment."

C'est un outil essentiel pour garantir que les IA sont vraiment intelligentes et ne se contentent pas de réciter des réponses apprises par cœur, ce qui est crucial pour la confiance que nous leur accordons.

1. Problématique : La contamination des benchmarks par le RLVR

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu la pierre angulaire de l'entraînement des modèles de raisonnement modernes (mathématiques, codage, résolution de problèmes symboliques). Contrairement à l'entraînement supervisé classique, le RLVR optimise les modèles en fonction de récompenses dérivées de trajectoires de raisonnement auto-générées, et non sur la probabilité de tokens individuels.

Le défi principal :

Contamination des benchmarks : De nombreux modèles open-source sont publiés uniquement après un affinage RLVR, sans accès aux données d'entraînement ni aux checkpoints de base. Cela soulève des inquiétudes majeures concernant la contamination des benchmarks (les modèles auraient "vu" les questions d'évaluation pendant l'entraînement), faussant ainsi les évaluations de généralisation.
Échec des méthodes existantes : Les méthodes traditionnelles de détection de données d'entraînement (basées sur la perplexité, les probabilités de tokens ou les statistiques de vraisemblance) sont inefficaces pour le RLVR. En effet, le RLVR n'optimise pas la vraisemblance des tokens d'une manière qui laisse des traces statistiques classiques détectables en boîte noire.

2. Méthodologie : La Convergence Structurelle et Min-kNN Distance

Les auteurs proposent une nouvelle approche basée sur l'observation que le RLVR induit une convergence structurelle dans les trajectoires de raisonnement.

A. Observation Fondamentale : Rigidité des données vues

L'analyse montre que pour les prompts rencontrés pendant l'entraînement RLVR ("vues"), le modèle tend à générer des réponses beaucoup plus rigides et similaires entre elles, tandis que les prompts non vus ("non-vues") conservent une grande diversité de structures de raisonnement.

Effet RLVR : Il comprime l'espace des trajectoires de raisonnement en un petit nombre de modes structurels récurrents (notamment dans les segments de logique symbolique et algébrique).
Signature comportementale : Les données vues convergent vers quelques structures stables, créant une "signature" détectable.

B. L'Algorithme : Min-kNN Distance

Pour exploiter cette observation, les auteurs introduisent Min-kNN Distance, un détecteur simple fonctionnant en boîte noire (sans accès aux probabilités des tokens ni aux modèles de référence).

Fonctionnement :

Échantillonnage : Pour un prompt donné $x$ , on échantillonne $m$ complétions (réponses) du modèle RLVR affiné.
Calcul des distances : On calcule la distance d'édition normalisée (Levenshtein) entre toutes les paires de complétions générées.
Distance du plus proche voisin (NN) : Pour chaque complétion, on identifie la distance la plus courte vers une autre complétion.
Score Min-kNN : On trie ces distances et on calcule la moyenne des $k$ plus petites distances.
$\text{Min-kNN}(x) = \frac{1}{k} \sum_{t=1}^{k} \text{NN}^{(t)}(x)$
Logique de détection :
- Si le prompt a été vu pendant l'entraînement RLVR, les complétions sont structurellement très similaires $\rightarrow$ Faible distance (Min-kNN faible).
- Si le prompt est nouveau, les complétions sont diversifiées $\rightarrow$ Haute distance (Min-kNN élevé).

Un seuil appliqué à ce score permet de classer l'entrée comme "membre" (vue) ou "non-membre" (non vue).

3. Contributions Clés

Analyse Systématique : Première étude détaillant comment le RLVR transforme le comportement de raisonnement, révélant une convergence dans l'espace structurel des trajectoires, particulièrement dans les composants de raisonnement symbolique.
Nouvelle Méthode de Détection : Introduction de Min-kNN Distance, une méthode noire, simple et efficace qui ne nécessite pas d'accès aux logs de probabilité des tokens.
Validation Empirique : Des expériences exhaustives sur divers modèles (Qwen, DeepSeek, etc.), algorithmes RL (DAPO, GRPO, PPO) et tailles de modèles (de 1.5B à 32B paramètres) démontrent la robustesse de la méthode.

4. Résultats Expérimentaux

Les résultats sont présentés via la surface sous la courbe ROC (AUC), où 0.5 représente le hasard et 1.0 une détection parfaite.

Performance Supérieure : Min-kNN Distance atteint un AUC moyen de 0.70, surpassant les meilleures méthodes de base (comme Self-Critique ou PPL) de 17 %.
- Exemple : Sur le modèle SimpleRL-32B, Min-kNN obtient 0.76 contre 0.72 pour le meilleur concurrent.
Robustesse aux Algorithmes RL : La méthode fonctionne efficacement quel que soit l'algorithme d'entraînement (GRPO, DAPO, PPO), indiquant que le signal détecté est intrinsèque au processus RLVR et non spécifique à un optimiseur.
Robustesse aux Paraphrases : Même lorsque les prompts d'entraînement sont paraphrasés, la méthode maintient une performance élevée (baisse minime de l'AUC de 0.72 à 0.71), prouvant qu'elle détecte la structure du raisonnement et non la forme textuelle exacte.
Détection de Distillation : La méthode réussit à détecter les prompts utilisés lors de processus de distillation (où un modèle élève est entraîné sur les sorties d'un modèle RLVR), suggérant que la rigidité structurelle est transférée.
Données Mathématiques vs Code : La méthode est très performante sur les données mathématiques (AUC 0.80) et correcte sur le code (AUC 0.69), bien que la nature plus flexible du codage rende la détection légèrement plus difficile.

5. Signification et Impact

Transparence et Intégrité : Cette méthode fournit un outil crucial pour la communauté de l'IA afin de vérifier si les performances élevées sur les benchmarks sont dues à une véritable capacité de généralisation ou à une contamination par des données d'entraînement.
Indépendance Technique : En étant une méthode en boîte noire ne nécessitant aucun accès interne au modèle, elle est applicable aux modèles commerciaux ou open-source fermés.
Compréhension du RLVR : L'article éclaire les effets secondaires du RLVR, montrant qu'il ne se contente pas d'améliorer la précision, mais qu'il rigidifie structurellement les modes de raisonnement, créant une vulnérabilité détectable.

En conclusion, Min-kNN Distance représente une avancée significative pour la sécurité et l'évaluation des modèles de raisonnement, offrant une solution pratique au problème croissant de la contamination des données dans l'ère du post-entraînement par renforcement.