Sintesi Tecnica: SelPE: Selezione Progressiva per la Sintesi di Testo Strutturato Privato

1. Definizione del Problema

Il documento affronta la sfida della sintesi di testo strutturato con differenziale privacy (DP) in regimi a piccoli campioni. I dati testuali strutturati (ad es. note di triage clinico, log finanziari) consistono in campi eterogenei — numerici, categorici e testo libero — che aderiscono a schemi rigorosi.

Gli approcci esistenti affrontano tre limitazioni primarie quando applicati a questo dominio con dati privati limitati:

1. Scarsità del Segnale: Nei contesti a piccoli campioni, i meccanismi di rumore additivo (comuni nella DP) dominano il segnale di utilità. Man mano che la dimensione del pool di candidati cresce rispetto alla dimensione del dataset privato, il rapporto segnale-rumore (SNR) svanisce, rendendo inaffidabile la selezione dei candidati.
2. Fedeltà dello Schema: Generare testo che soddisfi complessi vincoli di schema tra i campi è difficile. I vincoli rigidi spesso degradano l'espressività semantica, mentre la generazione di testo libero spesso viola le regole strutturali.
3. Allineamento tra Tipi: Valutare i candidati richiede il confronto di campi eterogenei (testo, numeri, categorie) che esistono in spazi incompatibili. Le metriche unificate spesso collassano questi segnali, portando a confronti disallineati.

Il problema centrale è sintetizzare un dataset che preservi la validità strutturale, la fedeltà (accuratezza semantica e numerica) e l'utilità a valle pur soddisfacendo la $(\epsilon, \delta)$-differential privacy con pochissimi esempi privati.

2. Metodologia: SelPE

Gli autori propongono SelPE (Selection-guided Progressive Evolution), un framework che sposta il budget di privacy dall'aggregazione rumorosa a una sequenza di selezioni progressive ad alta confidenza e consapevoli della struttura.

Componenti Core

A. Generazione Decoupled tra Contesto e Schema
Per bilanciare l'espressività semantica con la validità strutturale, SelPE impiega una pipeline a due stadi:

1. Contesto di Dati Latente (Stadio I): Un modello linguistico genera una descrizione testuale libera ($t$) che rappresenta un'istanza coerente del mondo reale. Questo stadio si concentra puramente sull'astrazione semantica senza vincoli di schema.
2. Realizzazione Fondata sullo Schema (Stadio II): Il contesto latente $t$ viene convertito in un record strutturato ($s$) tramite decodifica vincolata (tramite LLGuidance). Un automa di vincolo indotto dallo schema assicura che i token generati aderiscano strettamente ai tipi di campo e agli intervalli di valore, garantendo la validità strutturale.

B. Kernel di Distanza Multi-Canale
Per valutare i candidati attraverso campi eterogenei, SelPE definisce un kernel di distanza $g(s, s')$ che opera negli spazi nativi:

• Canali Semantici: I campi testuali e categorici sono codificati in vettori semantici normalizzati utilizzando un encoder di frasi. Un canale semantico globale cattura la coerenza tra i campi.
• Canali Numerici: I campi numerici sono preservati come valori scalari tramite una normalizzazione robusta per mantenere la precisione.
• Aggregazione: La distanza totale è una somma pesata delle distanze del coseno (per i canali semantici) e delle differenze assolute (per i canali numerici). Ciò consente un confronto accurato senza collassare i segnali eterogenei.

C. Evoluzione Progressiva Guidata dalla Selezione
Invece di aggregare i dati privati, SelPE concentra il budget di privacy su selezioni top-1 multi-batch:

1. Generazione Condizionale Progressiva: La sintesi avviene in $T$ round. Il numero di campioni generati per round aumenta ($m_t = t \cdot q$), permettendo ai round successivi di costruire su un contesto più ricco di campioni di alta qualità precedentemente selezionati.
2. Selezione Privata Multi-Batch: Il dataset privato è partizionato in batch disgiunti. Per ogni batch, viene calcolato un centro empirico. I candidati vengono valutati in base alla loro distanza da questi centri di batch.
3. Meccanismo Esponenziale Top-1: Il miglior candidato da ogni batch viene selezionato utilizzando il Meccanismo Esponenziale Top-1. Utilizzando la composizione parallela, la perdita di privacy è governata dalla perdita massima di qualsiasi singola selezione di batch, piuttosto che accumularsi attraverso l'intero pool.
4. Espansione Contrastiva Non-Privata: Per garantire la diversità senza costi di privacy aggiuntivi, ogni esempio "buono" selezionato è accoppiato con un esempio "contrastivo" (il candidato più lontano da quello selezionato). Queste coppie guidano il round di generazione successivo, allontanando il modello dai modi collassati.

3. Contributi Chiave

1. Generazione e Valutazione Consapevoli dello Schema: Un framework coeso che disaccoppia l'astrazione semantica dalla realizzazione dello schema e utilizza un kernel di distanza multi-canale per garantire sia la validità strutturale che la coerenza tra i campi.
2. Evoluzione Privata Guidata dalla Selezione: Un approccio innovativo adattato per il testo strutturato a piccoli campioni che sostituisce l'aggregazione basata sul rumore con la selezione DP top-1 multi-batch, mitigando efficacementamente il problema della scarsità del segnale.
3. Validazione Empirica: Esperimenti estesi su tre dataset realistici (Water, MIMIC-ED, Loan) che dimostrano miglioramenti costanti nella fedeltà strutturale e nell'utilità a valle sotto budget di privacy rigorosi.

4. Risultati Sperimentali

Gli autori hanno valutato SelPE contro cinque baseline (DP-DS, DP-Gen, Aug-PE, WASP, CTCL) su tre dataset con diversa complessità di schema e lunghezza del testo.

• Performance: SelPE ha superato costantemente le baseline in utilità TabSTAR (che misura le dipendenze tra testo strutturato) e fedeltà R-CFG/S-CFG (che misura la validità dello schema), particolarmente sotto budget di privacy ristretti ($\epsilon \in \{1, 2\}$).
• Robustezza:
  • Trasferibilità del Backbone: SelPE ha mantenuto alte prestazioni attraverso diversi backbone di LLM (Llama, Gemma, Mistral, Qwen), indicando che la sua efficacia non dipende da un generatore specifico.
  • Scala dei Dati: SelPE ha eccelso nei regimi di dati bassi ($n=5, 10$), dove altri metodi soffrivano del predominio del rumore.
  • Iperparametri: Il metodo ha mostrato prestazioni ottimali con una profondità di evoluzione moderata ($T \approx 4-5$) e una molteplicità di candidati $K \approx 3-4$, suggerendo rendimenti decrescenti per una generazione privata più profonda o esplorativa.
• Studi di Ablazione: Rimuovere qualsiasi componente (esempi contrastivi, quota progressiva, generazione consapevole dello schema o il kernel di distanza) ha portato a cali di performance, confermando che l'intera pipeline è necessaria per risultati ottimali. Il kernel di distanza multi-canale è stato particolarmente critico per l'utilità del testo strutturato.

5. Significato e Rivendicazioni

Il documento afferma che concentrare il budget di privacy sulla selezione strutturata è una strategia più efficace della aggregazione basata sul rumore per la sintesi di testo strutturato a piccoli campioni.

• Affrontare il "Gap Testo-Struttura": Gli autori osservano che mentre alcune baseline raggiungono un'alta fluidità testuale olistica (punteggi RoBERTa), falliscono nel mantenere la coerenza tra i campi. SelPE colma questo divario modellando esplicitamente le dipendenze strutturali.
• Design Principato: Il lavoro sostiene che per il testo strutturato, dove i record sono compositivi e diversificati, la "media" tramite aggregazione rumorosa è fondamentalmente errata. Inveve, concentrarsi il budget di privacy su una sequenza di decisioni ad alta confidenza e consapevoli della struttura produce un'utilità a valle superiore.
• Scalabilità: Il framework è presentato come una direzione fondata per la sintesi di testo strutturato con DP, offrendo una soluzione praticabile per domini sensibili alla privacy dove i dati sono scarsi ma l'integrità strutturale è fondamentale.