🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

Cet article présente l'audit de divergence comportementale (DIBA), un cadre en boîte blanche qui détecte efficacement les expositions de données non autorisées dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR) en analysant les décalages de distribution comportementale et côté récompense entre les points de contrôle des modèles avant et après le RLVR, surpassant nettement les références d'inférence d'appartenance existantes.

Auteurs originaux : Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Le Problème de la « Recette Secrète »

Imaginez un chef célèbre (un Grand Modèle de Langage) qui apprend à cuisiner en goûtant des milliers de recettes. Récemment, une nouvelle méthode de cuisine appelée RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables) est devenue populaire. Au lieu de simplement mémoriser une carte de recette spécifique, le chef essaie de cuisiner un plat à plusieurs reprises. Si le plat a bon goût (il passe un test de goût strict), le chef reçoit une récompense et se souvient de cette tentative. Si le goût est mauvais, il réessaie.

Le problème est que ces « tests de goût » utilisent souvent des recettes secrètes et de haute valeur (comme des problèmes mathématiques propriétaires ou du code privé) que les propriétaires du chef ne voulaient pas que le public connaisse.

La Question : Si vous voyez le menu final du chef, pouvez-vous dire s'il a secrètement pratiqué sur votre recette secrète spécifique ?

L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode (L'Attaque « Cible Fixe ») :
Par le passé, les auditeurs tentaient de prendre le chef en flagrant délit en vérifiant s'il avait mémorisé une phrase spécifique. C'était comme demander : « Avez-vous mémorisé les mots exacts de cette page précise ? » Si le chef pouvait réciter la page parfaitement, il était pris.

Pourquoi cela échoue ici : Dans le RLVR, le chef ne mémorise pas une phrase spécifique. Il génère de nouvelles solutions à la volée. Il n'y a pas de « bonne réponse » unique à comparer, donc l'ancienne méthode ne fonctionne pas.

La Nouvelle Méthode (DIBA - L'« Empreinte Digitale Comportementale ») :
Les auteurs proposent une nouvelle méthode appelée DIBA (Audit de la Divergence Comportementale). Au lieu de chercher une phrase mémorisée, ils recherchent des changements dans le style de cuisine du chef.

Ils comparent le menu actuel du chef avec une photo « avant » du chef (le modèle avant qu'il ne commence l'entraînement RLVR). Ils recherchent deux indices spécifiques :

L'Indice de la Récompense (Est-ce qu'ils se sont améliorés ?) :
- Analogie : Le chef est-il soudainement devenu beaucoup meilleur pour résoudre un type spécifique de puzzle avec lequel il avait du mal auparavant ?
- Si le chef était mauvais aux « Puzzles de Géométrie » avant, mais qu'après l'entraînement il les résout parfaitement, c'est un indice fort qu'il a pratiqué sur ces puzzles.
L'Indice du Style (Est-ce que leur personnalité a changé ?) :
- Analogie : Même si le chef résout le puzzle, a-t-il changé la façon dont il parle en le faisant ? Peut-être a-t-il commencé à utiliser des phrases plus courtes ou un ton de voix différent lorsqu'il résolvait ce puzzle spécifique.
- C'est la « dérive comportementale ». Même si la réponse est juste, le chemin qu'ils ont pris pour y arriver peut sembler différent de ce qu'il était avant l'entraînement.

Comment Fonctionne DIBA (La Boîte à Outils du Détective)

L'auditeur agit comme un détective avec deux outils :

Le Tableau des Scores : Ils vérifient si le taux de réussite du modèle sur une question spécifique a augmenté après l'entraînement.
Le Dictaphone : Ils écoutent le « processus de pensée » du modèle (la probabilité de chaque mot qu'il choisit) pour voir si cela sonne différemment de la version « avant ».

En combinant ces deux éléments, DIBA crée une « empreinte digitale » qui dit : « Ce modèle a définitivement pratiqué sur cet indice spécifique. »

Ce Que le Papier a Découvert

Les chercheurs ont testé cela sur des problèmes mathématiques (les « recettes secrètes ») et ont trouvé certaines règles intéressantes :

Cela fonctionne le mieux sur les Indices « d'Apprentissage » : DIBA est excellent pour repérer les indices où le modèle a réellement appris quelque chose de nouveau. Si le modèle était déjà un maître d'un problème avant l'entraînement, DIBA ne peut pas dire s'il a pratiqué dessus (car il n'y a pas eu de changement de comportement).
C'est un Outil « Boîte Blanche » : Pour l'utiliser, l'auditeur doit voir les « logits » internes du modèle (les nombres bruts que le modèle utilise pour décider de son mot suivant). C'est comme avoir besoin de voir le carnet privé du chef, et pas seulement le plat final.
C'est Plus Difficile avec les Indices « Faciles » : Si un indice est si facile que le modèle était déjà parfait dessus, le modèle ne change pas beaucoup son comportement pendant l'entraînement. Sans changement, il n'y a pas d'empreinte digitale à trouver.
Cela fonctionne sur différentes tailles : La méthode fonctionne que le chef soit un petit apprenti (modèle 3B) ou un chef étoilé (modèle 7B), tant qu'ils utilisent la même recette d'entraînement.
Cela fonctionne aussi sur les images : Ils l'ont testé sur des modèles Vision-Langage (modèles qui voient des images et résolvent des mathématiques). Cela a encore fonctionné, bien que ce soit un peu plus difficile à détecter car le « bruit visuel » rendait les empreintes digitales légèrement plus floues.

Peut-on Cacher ses Traces ?

Le papier a aussi demandé : « Le chef peut-il se cacher ? »

Entraîner Plus Dur : Faire en sorte que le modèle s'entraîne « plus soigneusement » (en utilisant la régularisation) n'a pas vraiment caché les traces. Les changements comportementaux étaient toujours visibles.
Réécrire la Réponse : Si le chef prend sa réponse finale et la réécrit avec d'autres mots (paraphrase) après l'avoir générée, cela rend la détection plus difficile. C'est comme si le chef écrivait la recette avec une autre écriture. Cependant, cela ne cache que le texte ; si quelqu'un peut toujours voir les « pensées » internes du chef (les logits), le secret est toujours révélé.

La Conclusion

Ce papier montre que même lorsque les modèles d'IA ne mémorisent pas les réponses, ils laissent tout de même des cicatrices comportementales sur les données sur lesquelles ils ont été entraînés. Si vous avez un indice secret (comme un problème mathématique privé), et qu'un modèle d'IA devient significativement meilleur à le résoudre ou change la façon dont il y pense, un auditeur intelligent peut probablement prouver que le modèle s'est entraîné sur vos données secrètes.

DIBA est le nouvel outil qui trouve ces cicatrices en comparant le comportement « avant » et « après » du modèle, plutôt qu'en vérifiant simplement le texte mémorisé.

Résumé technique : Audit de l'appartenance aux données dans l'apprentissage par renforcement avec récompenses vérifiables

1. Définition du problème et motivation

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est apparu comme une étape d'entraînement cruciale pour les grands modèles de langage (LLM), en particulier pour améliorer les capacités de raisonnement dans des modèles comme DeepSeek-R1 et Kimi-k2.5. Contrairement au fine-tuning supervisé (SFT) traditionnel ou à l'alignement basé sur les préférences (RLHF), le RLVR génère des réponses candidates à partir du modèle lui-même et renforce celles qui satisfont des vérificateurs basés sur des règles (par exemple, des réponses mathématiques correctes ou une exécution de code).

Ce paradigme crée un défi unique pour l'audit de l'exposition des données. Les attaques d'inférence d'appartenance (MIAs) existantes reposent généralement sur la détection d'un surapprentissage du modèle à une chaîne cible fixe (par exemple, une réponse spécifique en SFT ou une réponse préférée en RLHF). Cependant, le RLVR n'optimise pas vers une réponse prédéterminée ; il optimise plutôt la politique pour maximiser la probabilité de générer n'importe quelle réponse qui passe un vérificateur. Par conséquent, les MIAs standard basées sur la vraisemblance échouent car il n'y a pas de chaîne cible fixe contre laquelle évaluer les scores.

L'article répond au besoin d'auditer si des invites spécifiques (souvent des benchmarks propriétaires ou des pipelines privés) ont été utilisées lors du post-entraînement par RLVR, même en l'absence de réponses cibles fixes.

2. Méthodologie : Audit de la divergence de comportement (DIBA)

Les auteurs proposent DIBA (Divergence-in-Behavior Auditing), un cadre d'audit en boîte blanche au niveau des requêtes. DIBA fonctionne en comparant le modèle affiné par RLVR publié ( $\pi_{ft}$ ) avec son point de contrôle de référence pré-RLVR ( $\pi_{ref}$ ).

Insight central

Les auteurs observent que, bien que le RLVR ne s'adapte pas à une chaîne fixe, il laisse des traces comportementales observables le long de deux dimensions :

Preuve côté récompense : Le RLVR modifie la fréquence à laquelle le modèle atteint un succès vérifiable sur une invite.
Preuve côté politique : Le RLVR induit une dérive comportementale dans la distribution de probabilité des trajectoires générées par rapport à la politique de référence.

Le cadre DIBA

DIBA agrège les signaux de plusieurs déroulements stochastiques ( $N$ échantillons) pour une requête $q$ donnée afin de produire un signal d'audit stable. Il construit des caractéristiques selon deux axes :

Signal côté récompense (Avantage) :
- Calcule la récompense attendue pour le modèle affiné ( $FT_{score}$ ) et le modèle de base ( $Base_{score}$ ) en utilisant un vérificateur basé sur des règles $R$ .
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ .
- Cela capture si le RLVR a amélioré la capacité du modèle à résoudre la tâche.
Signal côté politique (Divergence) :
- Divergence K3 : Mesure la divergence au niveau des tokens entre $\pi_{ft}$ et $\pi_{ref}$ sur les propres déroulements du modèle affiné en utilisant un estimateur de divergence KL sans biais.
- Décalage de confiance : Calcule le rapport de vraisemblance logarithmique ( $\log \pi_{ft} - \log \pi_{ref}$ ) et une variante normalisée par Zlib pour capturer les décalages de confiance et de redondance du modèle.
- Crucialement, le modèle de référence agit comme une base active pour une comparaison contrefactuelle, et non simplement comme un calibrateur pour une cible fixe.

Prédiction

Ces caractéristiques sont concaténées et alimentées un prédicteur d'empilement (Random Forest + Régression logistique) pour produire un score d'appartenance au niveau de l'invite.

3. Contributions clés

Étude systématique de l'audit RLVR : L'article établit que le risque d'exposition dans le RLVR est mieux associé aux traces comportementales conditionnées par l'invite plutôt qu'à l'ajustement à une cible fixe.
Proposition de DIBA : Un cadre d'audit comparatif qui estime les signaux d'exposition en analysant les changements côté récompense et la divergence comportementale côté politique par rapport à un modèle de référence.
Évaluation complète : Les auteurs caractérisent les limites de l'audit RLVR, identifiant quand il réussit (traces d'apprentissage actif) et quand il échoue (invites déjà maîtrisées ou récompenses saturées). Ils étendent également l'analyse aux modèles vision-langage (VLM) et à divers contextes de transfert.

4. Résultats expérimentaux

Performance

Cadre en boîte blanche : DIBA surpasse systématiquement des bases de transfert fortes (incluant des variantes calibrées et auto-générées de LOSS, Zlib, Min-K%, etc.).
- AUC : Atteint environ 0,8 sur divers modèles (Qwen-3B/7B) et algorithmes (GRPO, DAPO).
- Régime haute précision : Atteint un TPR@0,1%FPR qui est d'un ordre de grandeur supérieur aux bases (par exemple, 0,154 pour DAPO-3B contre ~0,01 pour les bases).
Analyse des caractéristiques :
- FT Score (Récompense) fournit un classement global fort (AUC élevé) mais échoue dans les régimes à faible FPR.
- Divergence est la caractéristique la plus efficace pour la détection haute précision (faible FPR), soulignant l'importance de la dérive de la politique.
- La combinaison des signaux de récompense et de politique produit des améliorations synergiques.

Régimes d'audit et limites

Invites apprises activement : DIBA est le plus efficace ici, où le RLVR induit des changements comportementaux non triviaux.
Invites déjà maîtrisées : La détection est la plus faible. Si le modèle de base résout déjà parfaitement l'invite, le RLVR induit des mises à jour minimales supplémentaires, ne laissant aucune trace détectable.
Invites jamais apprises : La détection est également faible si le modèle échoue à apprendre la tâche entièrement.
Dynamiques d'entraînement : La force du signal d'audit est corrélée à l'élargissement de l'écart entre les récompenses d'entraînement et de test ; elle émerge progressivement à mesure que l'entraînement avance.

Transférabilité et généralisation

Taille du modèle : Le transfert entre tailles de modèles (3B vs 7B) au sein du même algorithme RLVR est robuste.
Inadéquation d'algorithme : Le transfert entre différents algorithmes RLVR (par exemple, de GRPO à DAPO) est moins stable, en particulier dans les régimes haute précision.
Cadre en boîte grise : Avec des données ombre soigneusement choisies, DIBA reste utile (AUC > 0,7) même sans correspondance exacte de distribution.
Multimodal (VLM) : DIBA s'étend aux modèles vision-langage (AUC ~0,7), bien que la détection haute précision (TPR@0,1%FPR) soit plus difficile en raison du bruit provenant des encodeurs visuels.
Transfert de tâche : Les signaux persistent dans les jeux de données de suivi d'instructions et d'utilisation d'outils.

Atténuations

Régularisation : L'augmentation de la régularisation KL ( $\beta$ ) offre une protection limitée ; elle conduit souvent à un sous-apprentissage plutôt qu'à une véritable préservation de la vie privée.
Obfuscation post-hoc : Le paraphrase des sorties peut réduire l'audibilité au niveau du texte (abaissant l'AUC/TPR) mais n'élimine pas l'exposition si l'auditeur a accès aux poids du modèle ou aux logits.

5. Signification et revendications

L'article positionne DIBA comme un auditeur pratique pour les contextes de conformité RLVR en boîte blanche. Sa signification principale réside dans le changement de paradigme de l'inférence d'appartenance, passant de « l'ajustement à une cible fixe » à « la détection de la divergence comportementale ».

Les auteurs affirment que :

L'exposition est détectable : L'entraînement RLVR laisse des traces observables et spécifiques à l'invite qui peuvent être mises en évidence par un audit ciblé, même sans chaînes cibles fixes.
Le contexte compte : L'audibilité de l'exposition des données n'est pas uniforme ; elle est la plus forte lorsque l'entraînement induit des changements de récompense observables et des décalages comportementaux, et la plus faible lorsque le modèle de base possède déjà la capacité.
Limites : La méthode est sensible à la configuration (dépendante de l'algorithme RL et de la famille de modèles) et ne peut pas détecter l'utilisation d'invites qui étaient déjà parfaitement résolues par le modèle de base (la limite de la « connaissance préexistante »).

Ce travail met en évidence un risque critique pour la vie privée dans le paradigme émergent du RLVR, suggérant que les suites d'invites propriétaires utilisées pour l'amélioration du raisonnement sont vulnérables à l'audit d'exposition, nécessitant de nouvelles stratégies de préservation de la vie privée pour l'entraînement RLVR.