Sintesi Tecnica: TabPATE: Apprendimento in-Context per Dati Tabulari con Differenziale Privacy Senza Dati Pubblici

1. Definizione del Problema

I Modelli Fondazionali Tabulari (TFM) consentono previsioni accurate tramite l'Apprendimento in-Context (ICL), dove un piccolo dataset etichettato viene inserito nel contesto del modello per guidare l'inferenza senza aggiornamenti dei parametri. Sebbene questo paradigma sia efficace in domini come la sanità e la finanza, introduce una vulnerabilità critica alla privacy: i record inseriti nel contesto possono contenere informazioni private sensibili.

Gli autori dimostrano innanzitutto che questo rischio non è meramente ipotetico. Adattando gli standard Membership Inference Attacks (MIA) al contesto dell'ICL tabulare, mostrano che le previsioni del modello perdono informazioni sul fatto che un record specifico sia stato incluso nel contesto di dimostrazione privato.

• Modelli di Minaccia: Lo studio valuta quattro modelli di minaccia, che vanno dall'accesso passivo black-box (solo etichette) all'accesso attivo grey-box (con manipolazione/avvelenamento del contesto).
• Risultati: Anche gli avversari grey-box passivi raggiungono un True Positive Rate (TPR) del 9,9% con un False Positive Rate (FPR) dell'1%. Gli attacchi attivi, come quelli che utilizzano l'avvelenamento "Truth Serum", possono raggiungere un TPR del 75,4%, indicando che i record del contesto privato sono significativamente esposti attraverso il comportamento del modello.

I metodi standard di addestramento con Differential Privacy (DP), come il Differentially Private Stochastic Gradient Descent (DPSGD), sono inadatti qui perché i TFM vengono utilizzati come modelli di inferenza congelati. Gli approcci PATE (Private Aggregation of Teacher Ensembles) esistenti, come PromptPATE, si affidano a dati pubblici in-distribution non etichettati per generare query per i modelli teacher. In domini tabulari sensibili (es. finanza, sanità), tali dati pubblici sono spesso non disponibili, creando un divario per un dispiegamento privato pratico.

2. Metodologia: TabPATE

Il documento introduce TabPATE, un framework central-DP progettato per l'ICL tabulare che elimina la necessità di dati in-distribution pubblici. Segue un'architettura teacher-student:

A. Partizionamento dei Teacher e Generazione delle Query

1. Partizionamento: Il dataset sensibile privato $D$ è partizionato in $K$ sottoinsiemi disgiunti. Ogni sottoinsieme funge da contesto di dimostrazione per un separato "teacher" TFM (lo stesso modello congelato con prompt differenti).
2. Generazione di Query Sintetiche (L'Innovazione Centrale): A differenza del PATE standard che interroga i teacher su dati pubblici, TabPate genera query tabulari sintetiche ($\tilde{x}$) senza dati pubblici. Ciò sfrutta le proprietà specifiche dei dati tabulari (caratteristiche limitate, tipizzate e a bassa dimensionalità):
   • Prior Indipendente dai Dati ($\alpha=0$): Le query sono campionate da un prior fisso basato sui limiti delle caratteristiche (es. distribuzioni uniformi o gaussiane sugli intervalli delle feature). Ciò comporta un costo di privacy nullo.
   • Statistiche Marginali DP ($\alpha>0$): Una parte del budget di privacy ($\alpha\epsilon$) viene utilizzata per rilasciare statistiche marginali rumorose (medie e varianze) dei dati privati. Le query vengono quindi campionate dalla distribuzione prodotto risultante. Questo è vantaggioso per dataset sbilanciati o compiti di regressione.

B. Aggregazione Privata

I teacher vengono interrogati sulle registrazioni sintetiche. Le loro previsioni vengono aggregate utilizzando l'algoritmo Confident-GNMax:

• Se i teacher concordano sufficientemente su un'etichetta, viene rilasciata un'etichetta di pluralità rumorosa.
• Se la confidenza è bassa, il meccanismo si astiene.
• Le coppie sintetiche etichettate risultanti $(\tilde{x}, \tilde{y})$ formano il contesto dello studente ($\tilde{D}$).

C. Garanzia di Privacy

Il contesto dello studente rilasciato soddisfa la $(\epsilon, \delta)$-Differential Privacy. Il budget di privacy è diviso tra il rilascio opzionale delle marginali e l'aggregazione delle etichette. Poiché le previsioni a valle dipendono solo dal contesto dello studente rilasciato, esse non comportano costi di privacy aggiuntivi.

3. Contributi Chiave

1. Verifica Empirica del Rischio: Gli autori adattano gli MIA all'ICL tabulare, dimostrando che i record del contesto privato perdono informazioni attraverso le previsioni, con attacchi attivi che causano gravi fughe di dati.
2. Framework TabPATE: Una difesa in stile central-DP PATE per l'ICL tabulare che sostituisce la necessità di dati di trasferimento in-distribution pubblici con query tabulari sintetiche derivate dai limiti delle caratteristiche o dalle marginali DP.
3. Validazione Empirica: Valutazione su molteplici benchmark tabulari che mostra come TabPATE preservi un'utilità competitiva riducendo il successo dell'inferenza di appartenenza a livelli vicini al caso casuale.

4. Risultati Sperimentali

Gli autori hanno valutato TabPATE su cinque dataset di classificazione standard (es. German Credit, Diabetes) e otto dataset di regressione, confrontandolo con l'ICL non privato, DP-SGD, DP-Synthetic data, l'aggregazione Query-Time e PromptPATE.

• Utilità: Con un budget di privacy $\epsilon=10$, TabPATE ha raggiunto una accuratezza bilanciata del 71,2%, superando altri baseline privi di dati pubblici (es. Query-Time al 61,3%) e avvicinandosi a PromptPATE (68,6%), che richiede dati pubblici.
• Protezione della Privacy: TabPATE ha mitigato con successo l'inferenza di appartenenza. Per il modello non privato TabPFN, gli attacchi LiRA hanno raggiunto un AUC di ~0,76. TabPATE ha ridotto questo valore a una performance quasi casuale (AUC $\approx$ 0,5) sia a $\epsilon=1$ che a $\epsilon=10$.
• Regressione: Il metodo è stato esteso ai compiti di regressione aggregando le previsioni dei teacher limitate e rumorose. Sebbene la regressione si sia rivelata più complessa della classificazione, l'allocazione di un piccolo budget alla generazione di query marginali ($\alpha > 0$) ha migliorato le prestazioni rispetto alle sole query indipendenti dai dati.
• Confronto con i Baseline: TabPATE ha costantemente superato i baseline DP-SGD e DP-Synthetic data, che hanno faticato a mantenere l'utilità sotto vincoli di privacy.

5. Significato e Rivendicazioni

Il documento afferma che TabPATE fornisce una via pratica per l'ICL tabulare privato in scenari in cui i dati in-distribution pubblici non sono disponibili. Sfruttando la natura strutturata delle caratteristiche tabulari (intervalli limitati e tipi), il metodo genera query utili senza compromettere la privacy o richiedere dati esterni.

Gli autori concludono che TabPATE offre un meccanismo di difesa vitale che:

1. Preserva un'utilità competitiva per i compiti a valle.
2. Riduce i rischi di inferenza di appartenenza a un livello vicino al caso casuale.
3. Permette il dispiegamento dei TFM in domini sensibili (come sanità e finanza) dove la condivisione dei dati per set di addestramento pubblici è limitata.

Il lavoro suggerisce che il trasferimento di conoscenza in stile PATE privo di dati pubblici è una via percorribile per mettere in sicurezza i modelli fondazionali in ambienti di dati strutturati.