Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Sintesi Tecnica: La scelta della sonda altera i verdetti di memorizzazione dei Canary

Problema
Il documento affronta un problema critico di affidabilità nella valutazione della memorizzazione nei modelli generativi autoregressivi: la scelta della sonda di valutazione può alterare materialmente il verdetto sulla capacità del modello di aver memorizzato dati specifici di addestramento (canary). Sebbene il settore si affidi a sonde quali la media della Negative Log-Likelihood (NLL) su una finestra di prefisso troncata, la NLL segreta a intero spettro o il richiamo esatto comportamentale (hit@1), questo lavoro dimostra che tali metriche non sono sempre coerenti. Nello specifico, gli autori indagano se una sonda standard pre-specificata internamente ($\Delta$NLL$_{mean20}$, una finestra di prefisso fissa di $K=20$ token) concordi con la NLL segreta a intero spettro o con il richiamo esatto comportamentale (hit@1) in un ambiente di test controllato con LoRA-tuning. La preoccupazione centrale è che l'uso incauto di una singola sonda a finestra possa portare a falsi negativi (mancata rilevazione della memorizzazione) o falsi positivi (attribuire la memorizzazione a span non segreti), confondendo così le conclusioni sulla generalizzazione rispetto alla memorizzazione.

Metodologia
Gli autori costruiscono un ambiente di test per la memorizzazione controllata utilizzando il backbone Qwen2.5-VL-7B con un vision tower congelato e un language tower addestinabile.

• Iniezione dei Canary: Iniettano 20 canary di immagini e 20 canary di testo nel modello tramite un "Canary LoRA" ($r=32, \alpha=64$). I canary di testo seguono un template specifico (ad es. TEXTCAN-{16hex}-END) accoppiato a un'immagine segnaposto fissa.
• Benign Fine-Tuning (bSFT): Un secondo LoRA ($r=16, \alpha=32$) viene impilato sopra il base con i canary fusi. Questo bSFT è addestrato su una di quattro sorgenti dati (GUI, SYNTH, SAFETY, RANDOM) che escludono esplicitamente le stringhe canary. Questa configurazione crea un regime di "LoRA impilati" per testare se il fine-tuning benigno riattivi la memorizzazione o alteri i segnali delle sonde.
• Definizioni delle Sonde: Lo studio confronta tre sonde distinte:
  1. $\Delta$NLL$_{mean20}$: La variazione della NLL media sui primi 20 token (la sonda standard, pre-specificata internamente).
  2. $\Delta$NLL$_{hex}$: La variazione della NLL sull'intero span segreto di 13 token (valutata con un passaggio in avanti di $K=30$ per catturare i token di coda).
  3. Hit@1 comportamentale: La frazione di canary in cui l'output di decoding greedy corrisponde esattamente alla stringa segreta.
• Ambito Sperimentale: Lo studio aggrega 34 celle bSFT (102 esecuzioni a livello di seed) e include controlli sottotrenati e controlli LoRA-NOISE a norma corrispondente. L'analisi si concentra su casi studio post-hoc in cui queste sonde sono in disaccordo.

Contributi Chiave
Il documento non propone una nuova metrica di memorizzazione, ma fornisce un audit specifico per template delle metriche esistenti. I suoi contributi primari sono:

1. Identificazione del disaccordo tra sonde: Gli autori documentano tre distinti casi studio post-hoc in cui la sonda standard mean-NLL $K=20$ produce un verdetto che contraddice la NLL a intero spettro o il richiamo comportamentale.
2. Decomposizione meccanicistica: Attribuiscono questi disaccordi a specifici meccanismi di posizione del token o di regime di baseline:
   • Troncamento della finestra (Falso Negativo): Danno che si verifica su token al di fuori della finestra $K=20$.
   • Deriva dello span non segreto (Falso Positivo): Movimento della sonda guidato interamente dai token di preambolo piuttosto che dallo span segreto.
   • Ambiguità del controllo sottotrenato: Calo della NLL su baseline sottotrenate che è indistinguibile dall'apprendimento specifico del segreto senza sonde esca.
3. Raccomandazioni sul protocollo di valutazione: Il documento propone uno standard di reporting multi-metrica per evitare queste insidie.

Risultati: Tre Casi Studio
L'audit rivela tre specifici modi di fallimento nell'ambiente Qwen2.5-VL-7B:

• Caso 1 (C3): Il troncamento della finestra manca la fragilità degli sparse tail-token.

  • Osservazione: $\Delta$NLL$_{mean20}$ è piatto (+0.0001), ma l'hit@1 scende da 1.00 a 0.88, e la $\Delta$NLL$_{hex}$ a intero spettro è positiva (+0.0133).
  • Meccanismo: Il danno è concentrato sull'ultimo token hex (posizione 23), che cade al di fuori della finestra $K=20$. La sonda standard è "cieca" a questo fallimento specifico della decodifica greedy e sparsa.
  • Evidenza: 7/60 fallimenti greedy sono avvenuti su 3/20 canary, tutti dovuti ad errori negli ultimi 1–2 caratteri hex.

• Caso 2 (C4): Deriva dello Span Non Segreto (Falso Positivo).

  • Osservazione: $\Delta$NLL$_{mean20}$ mostra uno spostamento positivo significativo (+0.0150), suggerendo memorizzazione, mentre la $\Delta$NLL$_{hex}$ è trascurabile (+0.0004) e l'hit@1 rimane a 1.00.
  • Meccanismo: La decomposizione per span rivela che ~99% del movimento della sonda avviene sui token di preambolo non segreti. Lo span segreto stesso rimane invariato.
  • Evidenza: Il segnale collassa quando il bSFT-LoRA viene fuso nei pesi base, indicando che la deriva dipende dalla sovrapposizione di valutazione e non è un vero effetto dello span segreto.

• Caso 3 (C5): Ambiguo calo della NLL in-window in regimi sottotrenati.

  • Osservazione: $\Delta$NLL$_{mean20}$ è negativo (-0.0070) su una baseline sottotrenata, il che potrebbe suggerire "dimenticanza" o "riattivazione" a seconda dell'interpretazione. Tuttavia, la $\Delta$NLL$_{hex}$ a intero spettro è positiva (+0.0076), e l'hit@1 è 0.
  • Meccanismo: Il calo in-window è localizzato ai token hex entro $K=20$, ma il segnale a intero spettro è positivo. Senza sonde esca (hex rimescolati o segreti errati), è impossibile distinguere tra l'apprendimento specifico del segreto e la smoothing del prior del formato o l'adattamento del template.
  • Evidenza: Il mean20 negativo è coerente sia con il recupero del segreto che con lo smoothing non segreto; non è stato osservato alcun hit@1 > 0 verbatim nei regimi sottotrenati.

Significatività e Rivendicazioni
Il documento rivendica modestamente che le sue scoperte siano specifiche per il backbone testato (Qwen2.5-VL-7B) e la configurazione, piuttosto che una rivendicazione di popolazione universale. Tuttavia, sostiene che i modi di fallimento siano nominabili e azionabili.

• Affidabilità della valutazione: Gli autori affermano che affidarsi a una singola finestra troncata (come $K=20$) è insufficiente per un audit robusto della memorizzazione. La scelta di una sonda può invertire un verdetto da "memorizzato" a "non memorizzato" (o viceversa) senza alcun cambiamento nel comportamento sottostante del modello.
• Raccomandazioni sul protocollo: Per garantire la robustezza, il documento raccomanda che i futuri audit riportino:
  1. NLL del segreto a intero spettro (per evitare errori di troncamento della finestra).
  2. Decomposizione localizzata per span (per distinguere la deriva del preambolo dal danno del segreto).
  3. Richiamo esatto comportamentale a $k \ge 4$ (per rilevare la fragilità degli sparse tail-token che la decodifica greedy perde).
  4. Sonde esca (controlli con segreti rimescolati o errati) per escludere lo smoothing del prior del formato prima di rivendicare la specificità del segreto.

Il lavoro funge da audit cautelativo, dimostrando che le conclusioni su "generalizzazione vs memorizzazione" sono sensibili alla specifica finestra della sonda e alla strategia di decomposizione utilizzata.