Riepilogo Tecnico: Esplorazione della Memorizzazione Incrociata tra Client dei Dati di Addestramento nei Modelli Linguistici di Grandi Dimensioni per l'Apprendimento Federato

Enunciato del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di Modelli Linguistici di Grandi Dimensioni (LLM) senza condividere dati grezzi, con l'obiettivo di preservare la privacy. Tuttavia, il FL non elimina il rischio di memorizzazione, in cui i modelli codificano e riproducono involontariamente dati sensibili di addestramento. Le tecniche di rilevamento esistenti per il FL si basano principalmente sull'injection di canarini (incorporazione di frasi fuori distribuzione) o si concentrano sulla memorizzazione letterale all'interno di un singolo campione. Questi approcci non riescono a catturare la memorizzazione incrociata tra campioni, in cui un modello potrebbe riprodurre un suffisso da un campione di addestramento quando viene sollecitato con un prefisso da un campione diverso. Nel contesto del FL, questo rischio si estende alla memorizzazione incrociata tra client, in cui un prefisso di un client potrebbe attivare la generazione di un suffisso privato di un altro client. I metodi attuali per misurare la memorizzazione incrociata tra campioni nell'Apprendimento Centralizzato (CL) presuppongono l'accesso centralizzato ai dati e non possono essere applicati direttamente al contesto decentralizzato del FL.

Metodologia

Gli autori propongono un framework per quantificare sia la memorizzazione intra-client (all'interno dello stesso client) che inter-client (tra client diversi) nel FL, adattando tecniche di misurazione granulare incrociata tra campioni dal CL.

Design del Framework

1. Definizione di Memorizzazione: Il documento generalizza la definizione di memorizzazione in-distribution per il FL. Un prefisso $p_j$ proveniente dal client $C_j$ induce la memorizzazione dei dati del client $C_k$ se il modello $M(p_j)$ genera un testo sufficientemente simile a un suffisso $s_k$ di $C_k$, determinato da una funzione discriminativa $F$.
2. Misurazione Pairwise: Il framework calcola un rapporto di memorizzazione pairwise ($MR_{j \to k}$), che rappresenta la frazione di prefissi da $C_j$ che attivano la memorizzazione di suffissi da $C_k$.
   • Intra-client ($MR_{Intra}$): Rapporto medio dove $j=k$.
   • Inter-client ($MR_{Inter}$): Rapporto medio dove $j \neq k$.
3. Processo di Stima:
   • Campionamento: Vengono campionate piccole sottoinsiemi di prefissi ($\tilde{P}_j$) e suffissi ($\tilde{S}_k$) dai client.
   • Generazione: Il modello genera testo $M(\tilde{p})$ per ogni prefisso campionato.
   • Recupero: I testi generati vengono interrogati contro l'insieme di suffissi $\tilde{S}_k$ utilizzando Elasticsearch per recuperare i $n'$ suffissi più simili.
   • Rilevamento della Similarità: Il rilevatore di plagio PAN2014 viene utilizzato come funzione discriminativa $F$. Valuta la similarità a tre granularità: letterale, parafrasi e a livello di idea.
   • Calcolo: Se qualsiasi suffisso tra i primi $n'$ corrisponde al testo generato sotto qualsiasi granularità, il prefisso viene conteggiato come inducente memorizzazione.

Configurazione Sperimentale

• Dataset: Sono stati valutati quattro compiti: Riassunto (ArxivAbstract), Dialogo (MedDialog), Risposta a Domande (PubMedQA) e Classificazione (PubMed 200k RCT). I dati sono stati partizionati in modo non IID tra tre client per compito.
• Modelli: Gli esperimenti principali hanno utilizzato Qwen2.5-3B, con risultati supplementari per Llama3.2-3B e GPT-2.
• Variabili: Lo studio ha analizzato l'impatto delle strategie di decoding (temperatura, top-k, top-p), delle lunghezze dei prefissi (10, 30, 50, 100 token), degli algoritmi federati (FedAvg, FedProx), delle dimensioni dei modelli e dei round di comunicazione.

Contributi Chiave

1. Formulazione del Problema: Gli autori inquadrano la sfida del rilevamento della memorizzazione sottile e incrociata tra campioni nel FL adattando i metodi di valutazione dal CL.
2. Framework Innovativo: Hanno progettato un framework capace di misurare sia la memorizzazione intra-client che inter-client nel FL, consentendo la quantificazione della perdita di privacy tra i client.
3. Riscontri Empirici: Attraverso estesi studi di ablazione, il documento identifica fattori specifici che influenzano i tassi di memorizzazione negli ambienti FL.

Risultati e Scoperte

• Esistenza della Memorizzazione: I modelli FL memorizzano effettivamente i dati di addestramento. Crucialmente, la memorizzazione intra-client ($MR_{Intra}$) è costantemente superiore alla memorizzazione inter-client ($MR_{Inter}$) in tutti i compiti valutati (Riassunto, Dialogo, QA).
• Comportamento Specifico per Compito: Il compito di Classificazione ha mostrato 0,000% di memorizzazione sia per scenari intra-client che inter-client. L'analisi ha rivelato che ciò è dovuto alla breve lunghezza delle uscite generate nei compiti di classificazione, che spesso rientrano al di sotto della soglia minima di corrispondenza (50 caratteri) richiesta dal rilevatore PAN2014.
• FL vs CL: Contrariamente ad alcuni lavori precedenti che suggerivano che il FL riducesse la memorizzazione, questo studio non ha trovato alcuna tendenza chiara che indichi che il FL porti a una memorizzazione inferiore rispetto al CL quando si misurano dati in-distribution. I rapporti totali di memorizzazione ($MRTotal$) sono stati comparabili tra gli ambienti CL e FL.
• Fattori Influenti:
  • Strategia di Decoding: Strategie sofisticate come il decoding top-k e top-p tendevano ad aumentare la memorizzazione rispetto al decoding basato sulla temperatura.
  • Lunghezza del Prefisso: I prefissi più corti generalmente inducevano tassi di memorizzazione più elevati.
  • Algoritmo Federato: FedProx ha portato a tassi di memorizzazione più elevati rispetto a FedAvg ed è stato l'unico algoritmo a indurre memorizzazione nel compito di Classificazione.
  • Caratteristiche del Suffisso: Alcuni gruppi di dataset (ad esempio, il Gruppo 3 nel compito Dialogo) erano più suscettibili alla memorizzazione rispetto ad altri, suggerendo che le proprietà del dataset svolgono un ruolo.
  • Dimensione del Modello e Round: Non è stata osservata alcuna correlazione chiara tra la dimensione del modello o il numero di round di comunicazione e i tassi di memorizzazione.

Significato e Affermazioni

Il documento afferma di colmare il divario tra la valutazione centralizzata della memorizzazione e l'apprendimento federato fornendo un metodo per misurare la perdita di dati incrociata tra client. Il significato principale risiede nel dimostrare che il FL non elimina intrinsecamente i rischi di memorizzazione; i modelli codificano ancora dati privati, in particolare all'interno della distribuzione dello stesso client.

Gli autori sottolineano che, mentre la perdita di dati inter-client è una violazione diretta della privacy, anche la perdita intra-client (esposta al danno) comporta rischi se i prefissi sono pubblici. I risultati suggeriscono che i meccanismi di preservazione della privacy nel FL devono tenere conto della memorizzazione incrociata tra campioni in-distribution, non solo dell'estrazione letterale. Lo studio conclude che fattori come le strategie di decoding, la lunghezza del prefisso e la scelta dell'algoritmo federato influenzano significativamente la memorizzazione, rendendo necessaria una configurazione attenta per mitigare i rischi per la privacy nell'addestramento decentralizzato di LLM.

Gli autori notano con modestia le limitazioni, inclusa la dipendenza dal rilevatore PAN2014 (che potrebbe classificare erroneamente output incoerenti) e la restrizione al testo in inglese. Identificano inoltre la spiegazione teorica del motivo per cui la memorizzazione intra-client supera quella inter-client come una direzione per la ricerca futura.