Résumé Technique : LaRA – Analyse Représentationnelle Couche par Couche pour Détecter la Contamination des Données dans le Post-Entraînement par RL

Énoncé du Problème

Le post-entraînement par Apprentissage par Renforcement (RL) a démontré une efficacité significative pour améliorer les capacités de raisonnement des Grands Modèles de Langage (LLM). Cependant, ce paradigme introduit une vulnérabilité critique et sous-explorée : la contamination des données, où des échantillons d'évaluation ou de référence sont involontairement inclus dans les données d'entraînement RL. Une telle contamination peut induire un surapprentissage piloté par la récompense et une mémorisation implicite, compromettant ainsi la généralisation et la fiabilité de l'évaluation du processus d'entraînement.

Les méthodes de détection existantes reposent principalement sur des signaux au niveau de la sortie (par exemple, les vraisemblances de tokens, l'entropie ou la perplexité) dérivés de contextes de pré-entraînement ou de Finetuning Supervisé (SFT). Ces méthodes deviennent de plus en plus peu fiables pour les modèles entraînés par RL pour deux raisons :

1. Problèmes de Calibration : Les distributions de sortie des LLM sont souvent mal calibrées, rendant les signaux basés sur la vraisemblance bruyants.
2. Inadéquation des Objectifs : Contrairement au pré-entraînement ou au SFT qui optimisent les vraisemblances token par token, le RL optimise les récompenses espérées sur des trajectoires de raisonnement entières. Par conséquent, les signaux comportementaux au niveau du token sont moins directement alignés avec l'objectif d'entraînement sous-jacent.

Méthodologie : Cadre LaRA

Les auteurs proposent LaRA (Analyse Représentationnelle Couche par Couche), un cadre qui déplace le paradigme de détection des statistiques au niveau de la sortie vers la géométrie au niveau de la représentation. L'hypothèse centrale est que la mémorisation induite par le RL crée des réponses géométriques anormales dans les états cachés internes du modèle sous des perturbations contrôlées.

1. Configuration Expérimentale

Les auteurs construisent des benchmarks de contamination contrôlée en utilisant trois modèles RL open-source (EURUS-2-7B-PRIME, LIMR et Olmo-3.1-7B-RL-Zero-Math).

• Membres : 30 problèmes mathématiques de niveau Olympiade issus de l'ensemble d'entraînement RL du modèle lui-même.
• Non-Membres : 30 problèmes issus d'AIME 2026 (données non vues).
• Entraînement : Les modèles subissent un entraînement RL supplémentaire sur un corpus contenant les échantillons « membres » pour simuler et suivre l'évolution des signaux de contamination.

2. Stratégie de Perturbation

Pour une question donnée $q_0$, le cadre génère :

• Voisins Sémantiques : Un ensemble de questions structurellement similaires $Q = \{q_0, q_1, \dots, q_K\}$.
• Variantes Perturbées : Des informations clés sont supprimées de ces questions en utilisant un opérateur BLANKIMPORTANT pour créer $q^-_i$.
• Variantes Reformulées : Pour les questions perturbées, des paraphrases sémantiquement équivalentes sont générées tout en préservant les positions des blancs pour tester l'invariance locale.

3. Trois Métriques Géométriques

Les représentations cachées sont extraites à travers toutes les couches du transformateur ($\ell \in \{0, \dots, L-1\}$) pour calculer trois métriques complémentaires :

• Magnitude du Déplacement Représentationnel (RSM) : Mesure la sensibilité des représentations à la suppression d'informations. Elle calcule la norme euclidienne du déplacement ($\Delta_i = u_i - w_i$) entre les représentations originales et perturbées. Un RSM élevé indique qu'un échantillon mémorisé est excessivement sensible à la suppression d'informations spécifiques par rapport à ses voisins sémantiques.
• Effondrement Directionnel (DC) : Caractérise l'organisation des changements induits par la perturbation. Il mesure l'alignement cosinus entre la direction de perturbation de l'échantillon original et la direction de perturbation moyenne de ses voisins sémantiques. Un DC élevé indique que la réponse du modèle aux perturbations s'effondre dans une direction partagée de faible dimension, suggérant une diversité représentative réduite.
• Indice de Stabilité Représentationnelle (RSI) : Quantifie la rigidité locale sous des perturbations paraphrastiques. Il mesure la variance des représentations pour les variantes paraphrasées d'une même question perturbée. Un RSI faible (haute stabilité) suggère que le modèle a formé des représentations locales rigides et invariantes pour le contenu mémorisé.

4. Protocole de Détection

Le cadre agrège ces métriques en un score de détection unique (SLaRA) via un processus en trois étapes :

1. Standardisation Robuste : Les métriques sont compressées et standardisées par rapport à une distribution de référence « propre » (non-membres) en utilisant la Déviation Absolue Médiane (MAD) pour gérer les distributions à queues lourdes et prévenir l'inflation des valeurs aberrantes.
2. Alignement Spécifique aux Métriques : Les scores standardisés sont alignés en fonction de la direction attendue de la contamination (par exemple, inversion du RSI si une haute stabilité indique une contamination).
3. Agrégation Couche par Couche : Les écarts alignés sont moyennés sur toutes les couches et toutes les métriques pour produire le score d'anomalie final.

Résultats Clés

Les expériences menées sur plusieurs modèles entraînés par RL et sur différents points de contrôle d'entraînement démontrent que LaRA surpasse les baselines existantes au niveau de la sortie (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique).

• Gains de Performance : LaRA atteint jusqu'à +9,6 % d'amélioration de l'AUC et un Taux de Vrais Positifs 3,5 fois plus élevé à 5 % de Taux de Faux Positifs (TPR@FPR=5%) par rapport à la méthode au niveau de la sortie la plus performante précédente.
• Robustesse : Le score combiné (SLaRA) reste stable et efficace à travers différentes époques d'entraînement RL, tandis que les métriques au niveau de la sortie comme la Perplexité (PPL) montrent une forte variance et une fiabilité réduite dans des régimes stricts de faible FPR.
• Insights Géométriques : Les échantillons contaminés présentent systématiquement :
  • Une sensibilité amplifiée aux perturbations (RSM élevé).
  • Une concentration directionnelle anormale (DC élevé).
  • Une rigidité locale accrue (RSI faible / haute stabilité).
  • Ces écarts deviennent plus prononcés à mesure que l'entraînement RL progresse, en particulier dans des plages de couches spécifiques (par exemple, les couches 7 à 9 pour Eurus).

Importance et Contributions

L'article revendique les contributions suivantes :

1. Premier Cadre au Niveau Représentationnel pour le RL : C'est le premier travail à proposer un cadre d'analyse représentationnelle couche par couche spécifiquement pour détecter la contamination dans le post-entraînement par RL, en utilisant des métriques de rigidité et de raideur.
2. Protocole de Détection Supérieur : Le protocole proposé surpasse systématiquement les baselines au niveau de la sortie sur divers modèles RL, offrant un signal plus fiable pour l'audit des modèles de raisonnement entraînés par RL.
3. Insights Empiriques : L'étude fournit de nouvelles preuves que l'entraînement par RL affecte la géométrie des représentations de manière distincte, créant des « signatures géométriques » détectables de la mémorisation qui persistent à travers les couches et sont robustes aux changements de stade d'entraînement.

Les auteurs concluent que, bien que l'audit au niveau de la représentation introduise une surcharge computationnelle, il est nécessaire pour surmonter les limites des signaux au niveau de la sortie dans le domaine du RL, améliorant ainsi la transparence et la fiabilité de l'évaluation des LLM.