Technische Samenvatting: Auditing van Data-lidmaatschap in Versterkingsleren met Verifieerbare Beloningen

1. Probleemdefinitie en Motivatie

Versterkingsleren met verifieerbare beloningen (RLVR) is een cruciale trainingsfase voor grote taalmodellen (LLM's) naar voren gekomen, met name voor het verbeteren van redeneervermogens in modellen zoals DeepSeek-R1 en Kimi-k2.5. In tegenstelling tot traditionele Supervised Fine-Tuning (SFT) of voorkeursgebaseerde uitlijning (RLHF), genereert RLVR kandidaat-antwoorden vanuit het model zelf en versterkt die welke voldoen aan regelgebaseerde verifiers (bijvoorbeeld correcte wiskundige antwoorden of code-uitvoering).

Deze paradigma creëert een unieke uitdaging voor auditing van data-expositie. Bestaande Lidmaatschapsinferentie-aanvallen (MIAs) vertrouwen doorgaans op het detecteren van overfitting van een model op een vaste doelstring (bijvoorbeeld een specifiek antwoord in SFT of een voorkeursantwoord in RLHF). RLVR optimaliseert echter niet naar een vooraf bepaald antwoord; in plaats daarvan optimaliseert het beleid om de kans te maximaliseren dat elk antwoord wordt gegenereerd dat een verifier doorstaat. Bijgevolg falen standaard op waarschijnlijkheid gebaseerde MIAs, omdat er geen vaste doelstring is om tegen te scoren.

Het artikel adresseert de noodzaak om te auditeren of specifieke prompts (vaak propriëtaire benchmarks of private pijplijnen) zijn gebruikt in de post-training van RLVR, zelfs bij afwezigheid van vaste doelantwoorden.

2. Methodologie: Divergentie-in-Gedrag Auditing (DIBA)

De auteurs stellen DIBA (Divergence-in-Behavior Auditing) voor, een white-box, query-level auditing framework. DIBA werkt door het vrijgegeven RLVR-finetuned model ($\pi_{ft}$) te vergelijken met zijn pre-RLVR referentiecheckpoint ($\pi_{ref}$).

Kerninzicht

De auteurs observeren dat, hoewel RLVR niet past op een vaste string, het waarneembare gedragssporen achterlaat langs twee dimensies:

1. Beloningskant Bewijs: RLVR verandert de frequentie waarmee het model verifieerbaar succes behaalt op een prompt.
2. Beleid-kant Bewijs: RLVR induceert gedragsdrift in de waarschijnlijkheidsverdeling van gegenereerde trajecten ten opzichte van het referentiebeleid.

Het DIBA Framework

DIBA aggregeert signalen van meerdere stochastische rollouts ($N$ samples) voor een gegeven query $q$ om een stabiel auditing-signaal te produceren. Het construeert kenmerken langs twee assen:

• Beloningskant Signaal (Voordeel):

  • Berekent de verwachte beloning voor het gefinetuned model ($FT_{score}$) en het basismodel ($Base_{score}$) met behulp van een regelgebaseerde verifier $R$.
  • $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$.
  • Dit vangt of RLVR het vermogen van het model om de taak op te lossen heeft verbeterd.

• Beleid-kant Signaal (Divergentie):

  • K3 Divergentie: Meet de token-level divergentie tussen $\pi_{ft}$ en $\pi_{ref}$ op de eigen rollouts van het gefinetuned model met behulp van een onbevooroordeelde KL-divergentie-schatter.
  • Zekerheidsverschuiving: Berekent de log-waarschijnlijkheidsratio ($\log \pi_{ft} - \log \pi_{ref}$) en een Zlib-genormaliseerde variant om verschuivingen in modelzekerheid en redundantie te vangen.
  • Cruciaal fungeert het referentiemodel als een actieve baseline voor contrafactuele vergelijking, niet slechts als kalibrator voor een vaste doelstring.

Voorspelling

Deze kenmerken worden geconcateneerd en ingevoerd in een stacking predictor (Random Forest + Logistische Regressie) om een prompt-level lidmaatschapsscore te outputten.

3. Belangrijkste Bijdragen

1. Systematische Studie van RLVR Auditing: Het artikel stelt vast dat het blootstellingsrisico in RLVR beter geassocieerd is met prompt-geconditioneerde gedragssporen dan met fitting op een vaste doelstring.
2. Voorstel van DIBA: Een vergelijkend auditing framework dat blootstellingssignalen schat door veranderingen aan de beloningskant en gedragsdivergentie aan de beleid-kant te analyseren ten opzichte van een referentiemodel.
3. Uitgebreide Evaluatie: De auteurs karakteriseren de grenzen van RLVR auditing, en identificeren wanneer het slaagt (actieve leertrajecten) en wanneer het faalt (al-bekende prompts of verzadigde beloningen). Ze breiden de analyse ook uit tot vision-language modellen (VLM's) en diverse transfer-instellingen.

4. Experimentele Resultaten

Prestaties

• White-Box Instelling: DIBA presteert consequent beter dan sterke getransfereerde baselines (inclusief gekalibreerde en zelfgegenereerde varianten van LOSS, Zlib, Min-K%, etc.).
  • AUC: Bereikt ongeveer 0,8 over verschillende modellen (Qwen-3B/7B) en algoritmen (GRPO, DAPO).
  • Hoge-Precisie Regime: Bereikt een TPR@0,1%FPR die een orde van grootte hoger is dan baselines (bijvoorbeeld 0,154 voor DAPO-3B versus ~0,01 voor baselines).
• Kenmerkanalyse:
  • FT Score (Beloning) biedt een sterke algehele ranking (hoge AUC) maar faalt in lage-FPR regimes.
  • Divergentie is het meest effectieve kenmerk voor detectie met hoge precisie (lage FPR), wat het belang van beleidsdrift benadrukt.
  • De combinatie van belonings- en beleidssignalen levert synergetische verbeteringen op.

Auditing Regimes en Grenzen

• Actief-Gelende Prompts: DIBA is hier het meest effectief, waar RLVR niet-triviale gedragsveranderingen induceert.
• Al-Bekende Prompts: Detectie is het zwakst. Als het basismodel de prompt al perfect oplost, induceert RLVR minimale extra updates, waardoor geen detecteerbaar spoor achterblijft.
• Nooit-Gelende Prompts: Detectie is ook zwak als het model de taak helemaal niet leert.
• Trainingsdynamiek: De sterkte van het auditing-signaal correleert met de verbredende kloof tussen trainings- en testbeloningen; het treedt progressief op naarmate de training vordert.

Transferbaarheid en Generalisatie

• Modelgrootte: Transfer over modelgroottes (3B versus 7B) binnen hetzelfde RLVR-algoritme is robuust.
• Algoritme Mismatch: Transfer tussen verschillende RLVR-algoritmen (bijvoorbeeld GRPO naar DAPO) is minder stabiel, met name in hoge-precisie regimes.
• Grey-Box Instelling: Met zorgvuldig gekozen schaduwdata blijft DIBA nuttig (AUC > 0,7) zelfs zonder exacte distributie-overeenkomst.
• Multimodaal (VLM's): DIBA breidt zich uit tot Vision-Language Modellen (AUC ~0,7), hoewel detectie met hoge precisie (TPR@0,1%FPR) moeilijker is door ruis van visuele encoders.
• Taaktransfer: Signalen blijven bestaan in instructievolgende en tool-gebruikende datasets.

Mitigatie

• Regularisatie: Het verhogen van KL-regularisatie ($\beta$) biedt beperkte bescherming; dit leidt vaak tot underfitting in plaats van echte privacybehoud.
• Post-hoc Obfuscatie: Het parafraseren van outputs kan auditbaarheid op tekstniveau verminderen (verlaging van AUC/TPR), maar elimineert blootstelling niet als de auditor toegang heeft tot de modelgewichten of logits.

5. Betekenis en Claims

Het artikel positioneert DIBA als een praktische auditor voor white-box RLVR-compliance-instellingen. De primaire betekenis ligt in het verschuiven van het paradigma van lidmaatschapsinferentie van "fitting op een vaste doelstring" naar "detecteren van gedragsdivergentie".

De auteurs beweren dat:

1. Blootstelling Detecteerbaar is: RLVR-training laat waarneembare, prompt-specifieke sporen achter die aan het licht kunnen worden gebracht door gerichte auditing, zelfs zonder vaste doelstrings.
2. Context Uitmaakt: De auditbaarheid van data-expositie is niet uniform; het is het sterkst wanneer training waarneembare beloningsveranderingen en gedragsverschuivingen induceert, en het zwakst wanneer het basismodel al over het vermogen beschikt.
3. Beperkingen: De methode is configuratie-gevoelig (afhankelijk van het RL-algoritme en modelfamilie) en kan het gebruik van prompts niet detecteren die al perfect waren opgelost door het basismodel (de beperking van "vooraf bestaande kennis").

Het werk benadrukt een kritiek privacyrisico in het opkomende RLVR-paradigma, en suggereert dat propriëtaire prompt-suites die worden gebruikt voor redeneerverbetering kwetsbaar zijn voor blootstellingsauditing, wat nieuwe privacybehoudende strategieën voor RLVR-training noodzakelijk maakt.