Technische Samenvatting: LaRA – Laagsgewijze Representatieanalyse voor het Detecteren van Data-Contaminatie in RL Post-Training

Probleemstelling

Reinforcement Learning (RL) post-training heeft aanzienlijke effectiviteit aangetoond in het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs). Dit paradigma introduceert echter een kritieke, onderbelichte kwetsbaarheid: data-contaminatie, waarbij evaluatie- of benchmarkstalen onbedoeld worden opgenomen in de RL-trainingdata. Dergelijke contaminatie kan leiden tot reward-gedreven overfitting en impliciete memorisatie, waardoor de generalisatie en de betrouwbaarheid van de evaluatie van het trainingsproces worden ondermijnd.

Bestaande detectiemethoden vertrouwen voornamelijk op signalen op output-niveau (zoals token-likelihoods, entropie of perplexiteit) die zijn afgeleid van pre-training of Supervised Fine-Tuning (SFT)-contexten. Deze methoden worden voor RL-getrainde modellen steeds onbetrouwbaarder om twee redenen:

1. Kalibratieproblemen: De output-distributies van LLM's zijn vaak slecht gekalibreerd, waardoor likelihood-gebaseerde signalen ruisend zijn.
2. Doelwitmismatch: In tegenstelling tot pre-training of SFT, die token-voor-token likelihoods optimaliseren, optimaliseert RL de verwachte beloningen over volledige redeneertrajecten. Bijgevolg zijn gedragssignalen op token-niveau minder direct uitgelijnd met het onderliggende trainingsdoelwit.

Methodologie: LaRA Framework

De auteurs stellen LaRA (Layer-wise Representation Analysis) voor, een framework dat het detectieparadigma verschuift van statistieken op output-niveau naar geometrie op representatieniveau. De kernhypothese is dat RL-geïnduceerde memorisatie abnormale geometrische reacties creëert in de interne verborgen toestanden van het model onder gecontroleerde perturbaties.

1. Experimentele Opstelling

De auteurs construeren gecontroleerde contaminatie-benchmarks met drie open-source RL-getrainde modellen (EURUS-2-7B-PRIME, LIMR en Olmo-3.1-7B-RL-Zero-Math).

• Leden: 30 wiskundeproblemen op Olympiade-niveau uit de eigen RL-trainingset van het model.
• Niet-leden: 30 problemen uit AIME 2026 (ongezien data).
• Training: De modellen ondergaan aanvullende RL-training op een corpus dat de "leden"-stalen bevat om de evolutie van contaminatiesignalen te simuleren en te volgen.

2. Perturbatiestrategie

Voor een gegeven vraag $q_0$ genereert het framework:

• Semantische Buren: Een set structureel vergelijkbare vragen $Q = \{q_0, q_1, \dots, q_K\}$.
• Geperturbeerde Variant: Sleutelinformatie wordt uit deze vragen verwijderd met behulp van een BLANKIMPORTANT-operator om $q^-_i$ te creëren.
• Parafrase-varianten: Voor geperturbeerde vragen worden semantisch equivalente parafrases gegenereerd waarbij de lege posities behouden blijven om lokale invariantie te testen.

3. Drie Geometrische Metrieken

Verborgen representaties worden geëxtraheerd over alle transformer-lagen ($\ell \in \{0, \dots, L-1\}$) om drie complementaire metrieken te berekenen:

• Magnitude van Representatieverschuiving (RSM): Meet de gevoeligheid van representaties voor informatieverwijdering. Het berekent de Euclidische norm van de verschuiving ($\Delta_i = u_i - w_i$) tussen de originele en de geperturbeerde representaties. Een hoge RSM geeft aan dat een gememoriseerd sample overgevoelig is voor het verwijderen van specifieke informatie in vergelijking met zijn semantische buren.
• Directionele Collapse (DC): Karakteriseert de organisatie van door perturbatie geïnduceerde veranderingen. Het meet de cosijn-uitlijning tussen de perturbatierichting van het originele sample en de gemiddelde perturbatierichting van zijn semantische buren. Een hoge DC geeft aan dat de reactie van het model op perturbaties instort tot een gedeelde, laagdimensionale richting, wat wijst op verminderde representatiediversiteit.
• Representatie Stabiliteitsindex (RSI): Kwantificeert lokale rigiditeit onder parafraserende perturbaties. Het meet de variantie van representaties voor parafrase-varianten van dezelfde geperturbeerde vraag. Een lage RSI (hoge stabiliteit) suggereert dat het model rigide, invariante lokale representaties heeft gevormd voor gememoriseerde inhoud.

4. Detectieprotocol

Het framework aggregeert deze metrieken tot een enkele detectiescore (SLaRA) via een proces in drie stappen:

1. Robuuste Standardisatie: Metrieken worden gecomprimeerd en gestandaardiseerd tegen een "schone" referentiedistributie (niet-leden) met behulp van de Mediaan Absolute Afwijking (MAD) om zwaarstaartdistributies te hanteren en uitbijterinflatie te voorkomen.
2. Metriek-specifieke Uitlijning: De gestandaardiseerde scores worden uitgelijnd op basis van de verwachte richting van contaminatie (bijvoorbeeld het omkeren van RSI als hoge stabiliteit contaminatie aangeeft).
3. Laagsgewijze Aggregatie: De uitgelijnde afwijkingen worden gemiddeld over alle lagen en metrieken om de uiteindelijke anomalie-score te produceren.

Belangrijkste Resultaten

Experimenten over meerdere RL-getrainde modellen en trainingscheckpoints tonen aan dat LaRA de bestaande baselines op output-niveau (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique) overtreft.

• Prestatiewinst: LaRA bereikt tot +9,6% AUC-improvement en een 3,5× hogere True Positive Rate bij 5% False Positive Rate (TPR@FPR=5%) in vergelijking met de sterkste eerdere methode op output-niveau.
• Robuustheid: De gecombineerde score (SLaRA) blijft stabiel en effectief over verschillende RL-trainingsepocheën, terwijl metrieken op output-niveau zoals Perplexity (PPL) hoge variantie vertonen en minder betrouwbaar zijn in strikte regimes met lage FPR.
• Geometrische Inzichten: Gecontamineerde samples vertonen consequent:
  • Versterkte perturbatiegevoeligheid (hoge RSM).
  • Abnormale directionele concentratie (hoge DC).
  • Versterkte lokale rigiditeit (lage RSI/hoge stabiliteit).
  • Deze afwijkingen worden duidelijker naarmate de RL-training vordert, met name in specifieke lagenbereiken (bijvoorbeeld lagen 7–9 voor Eurus).

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. Eerste Framework op Representatieniveau voor RL: Het is het eerste werk dat een framework voor laagsgewijze representatieanalyse voorstelt, specifiek voor het detecteren van contaminatie in RL post-training, waarbij stijfheids- en rigiditeitsmetrieken worden gebruikt.
2. Superieur Detectieprotocol: Het voorgestelde protocol overtreft consequent baselines op output-niveau over diverse RL-modellen, en biedt een betrouwbaarder signaal voor het auditen van RL-getrainde redeneermodellen.
3. Empirische Inzichten: De studie levert nieuw bewijs dat RL-training de representatiegeometrie op unieke manieren beïnvloedt, waardoor detecteerbare "geometrische handtekeningen" van memorisatie ontstaan die over lagen heen persistent zijn en robuust zijn tegen verschuivingen in het trainingsstadium.

De auteurs concluderen dat hoewel auditing op representatieniveau computatie-overhead introduceert, dit noodzakelijk is om de beperkingen van signalen op output-niveau in het RL-domein te overwinnen, waardoor de transparantie en betrouwbaarheid van LLM-evaluatie worden verbeterd.