Riepilogo Tecnico: Audit della Membria dei Dati nel Reinforcement Learning con Ricompense Verificabili

1. Definizione del Problema e Motivazione

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso come una fase di addestramento critica per i grandi modelli linguistici (LLM), in particolare per il potenziamento delle capacità di ragionamento in modelli come DeepSeek-R1 e Kimi-k2.5. A differenza del Fine-Tuning Supervisionato (SFT) tradizionale o dell'allineamento basato su preferenze (RLHF), l'RLVR genera risposte candidate dal modello stesso e rafforza quelle che soddisfano verificatori basati su regole (ad esempio, risposte matematiche corrette o esecuzione di codice).

Questo paradigma crea una sfida unica per l'audit dell'esposizione dei dati. Gli Attacchi di Inferenza della Membria (MIA) esistenti si basano tipicamente sul rilevamento di un overfitting del modello verso una stringa target fissa (ad esempio, una risposta specifica nell'SFT o una risposta preferita nell'RLHF). Tuttavia, l'RLVR non ottimizza verso una risposta predeterminata; invece, ottimizza la politica per massimizzare la probabilità di generare qualsiasi risposta che superi un verificatore. Di conseguenza, le MIA standard basate sulla verosimiglianza falliscono perché non esiste una stringa target fissa contro cui valutare il punteggio.

Il documento affronta la necessità di verificare se specifici prompt (spesso benchmark proprietari o pipeline private) siano stati utilizzati nel post-addestramento RLVR, anche in assenza di risposte target fisse.

2. Metodologia: Audit della Divergenza nel Comportamento (DIBA)

Gli autori propongono DIBA (Audit della Divergenza nel Comportamento), un framework di audit a livello di query e white-box. DIBA opera confrontando il modello rilasciato affinato con RLVR ($\pi_{ft}$) con il suo checkpoint di riferimento pre-RLVR ($\pi_{ref}$).

Insight Principale

Gli autori osservano che, sebbene l'RLVR non adatti una stringa fissa, lascia tracce comportamentali osservabili lungo due dimensioni:

1. Evidenza dal lato Ricompensa: L'RLVR modifica la frequenza con cui il modello ottiene un successo verificabile su un prompt.
2. Evidenza dal lato Politica: L'RLVR induce una deriva comportamentale nella distribuzione di probabilità delle traiettorie generate rispetto alla politica di riferimento.

Il Framework DIBA

DIBA aggrega segnali da multiple simulazioni stocastiche ($N$ campioni) per una data query $q$ per produrre un segnale di audit stabile. Costruisce caratteristiche lungo due assi:

• Segnale dal lato Ricompensa (Vantaggio):

  • Calcola la ricompensa attesa per il modello affinato ($FT_{score}$) e per il modello base ($Base_{score}$) utilizzando un verificatore basato su regole $R$.
  • $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$.
  • Questo cattura se l'RLVR ha migliorato la capacità del modello di risolvere il compito.

• Segnale dal lato Politica (Divergenza):

  • Divergenza K3: Misura la divergenza a livello di token tra $\pi_{ft}$ e $\pi_{ref}$ sulle simulazioni del modello affinato stesso, utilizzando un stimatore di divergenza KL non distorto.
  • Spostamento della Confidenza: Calcola il rapporto di verosimiglianza ($\log \pi_{ft} - \log \pi_{ref}$) e una variante normalizzata con Zlib per catturare gli spostamenti nella confidenza del modello e nella ridondanza.
  • Crucialmente, il modello di riferimento agisce come una baseline attiva per il confronto controfattuale, non solo come calibratore per un target fisso.

Predizione

Queste caratteristiche vengono concatenate e inserite in un predittore di stacking (Random Forest + Regressione Logistica) per produrre un punteggio di appartenenza a livello di prompt.

3. Contributi Chiave

1. Studio Sistematico dell'Audit RLVR: Il documento stabilisce che il rischio di esposizione nell'RLVR è meglio associato a tracce comportamentali condizionate dal prompt piuttosto che all'adattamento a un target fisso.
2. Proposta di DIBA: Un framework di audit comparativo che stima i segnali di esposizione analizzando i cambiamenti dal lato ricompensa e la divergenza comportamentale dal lato politica rispetto a un modello di riferimento.
3. Valutazione Completa: Gli autori caratterizzano i limiti dell'audit RLVR, identificando quando ha successo (tracce di apprendimento attivo) e quando fallisce (prompt già padroneggiati o ricompense saturate). Estendono inoltre l'analisi ai modelli visione-linguaggio (VLM) e a vari contesti di trasferimento.

4. Risultati Sperimentali

Prestazioni

• Setting White-Box: DIBA supera costantemente forti baseline trasferite (incluse varianti calibrate e auto-generate di LOSS, Zlib, Min-K%, ecc.).
  • AUC: Raggiunge circa 0.8 su vari modelli (Qwen-3B/7B) e algoritmi (GRPO, DAPO).
  • Regime ad Alta Precisione: Raggiunge un TPR@0.1%FPR di un ordine di grandezza superiore rispetto alle baseline (ad esempio, 0.154 per DAPO-3B contro ~0.01 per le baseline).
• Analisi delle Caratteristiche:
  • FT Score (Ricompensa) fornisce un ranking complessivo forte (alto AUC) ma fallisce nei regimi a basso FPR.
  • Divergenza è la caratteristica più efficace per il rilevamento ad alta precisione (basso FPR), evidenziando l'importanza della deriva della politica.
  • La combinazione di segnali di ricompensa e politica produce miglioramenti sinergici.

Regimi di Audit e Limiti

• Prompt Appresi Attivamente: DIBA è più efficace qui, dove l'RLVR induce cambiamenti comportamentali non banali.
• Prompt Già Padroneggiati: Il rilevamento è più debole. Se il modello base risolve già perfettamente il prompt, l'RLVR induce aggiornamenti minimi aggiuntivi, non lasciando alcuna traccia rilevabile.
• Prompt Mai Appresi: Il rilevamento è anch'esso debole se il modello non riesce ad apprendere il compito interamente.
• Dinamiche di Addestramento: La forza del segnale di audit è correlata all'allargamento del divario tra le ricompense di addestramento e di test; emerge progressivamente man mano che l'addestramento avanza.

Trasferibilità e Generalizzazione

• Dimensione del Modello: Il trasferimento tra dimensioni di modello (3B vs 7B) all'interno dello stesso algoritmo RLVR è robusto.
• Disallineamento dell'Algoritmo: Il trasferimento tra diversi algoritmi RLVR (ad esempio, da GRPO a DAPO) è meno stabile, in particolare nei regimi ad alta precisione.
• Setting Grey-Box: Con dati ombra scelti con cura, DIBA rimane utile (AUC > 0.7) anche senza una corrispondenza esatta della distribuzione.
• Multimodale (VLM): DIBA si estende ai Modelli Visione-Linguaggio (AUC ~0.7), sebbene il rilevamento ad alta precisione (TPR@0.1%FPR) sia più difficile a causa del rumore proveniente dagli encoder visivi.
• Trasferimento di Compito: I segnali persistono nei dataset di follow-up alle istruzioni e di utilizzo di strumenti.

Mitigazioni

• Regolarizzazione: Aumentare la regolarizzazione KL ($\beta$) offre una protezione limitata; spesso porta a underfitting piuttosto che a una vera preservazione della privacy.
• Offuscamento Post-hoc: La parafrasi delle uscite può ridurre l'auditabilità a livello di testo (abbassando AUC/TPR) ma non elimina l'esposizione se l'auditor ha accesso ai pesi del modello o ai logit.

5. Significato e Affermazioni

Il documento posiziona DIBA come un auditor pratico per contesti di conformità RLVR white-box. Il suo significato principale risiede nello spostamento del paradigma dell'inferenza della membria dall'"adattamento a un target fisso" al "rilevamento della divergenza comportamentale".

Gli autori affermano che:

1. L'Esposizione è Rilevabile: L'addestramento RLVR lascia tracce osservabili e specifiche del prompt che possono essere portate alla luce attraverso audit mirati, anche senza stringhe target fisse.
2. Il Contesto Conta: L'auditabilità dell'esposizione dei dati non è uniforme; è più forte quando l'addestramento induce cambiamenti osservabili nelle ricompense e spostamenti comportamentali, e più debole quando il modello base possiede già la capacità.
3. Limitazioni: Il metodo è sensibile alla configurazione (dipendente dall'algoritmo RL e dalla famiglia di modelli) e non può rilevare l'uso di prompt che erano già stati risolti perfettamente dal modello base (il limite della "conoscenza preesistente").

Il lavoro evidenzia un rischio critico per la privacy nel nascente paradigma RLVR, suggerendo che suite di prompt proprietari utilizzate per il potenziamento del ragionamento sono vulnerabili all'audit dell'esposizione, rendendo necessarie nuove strategie di preservazione della privacy per l'addestramento RLVR.