=== SINTESI ===

Sintesi Tecnica: Perturbazione dei Dati Geometrici con Allineamento di Ancore Rumorose per l'Apprendimento Collaborativo Preservante la Privacy

1. Definizione del Problema

Il documento affronta la sfida della One-Shot Representation Sharing (OSRS) nell'Apprendimento Collaborativo Preservante la Privacy (PPCL). In questo regime, più partecipanti caricano rappresentazioni di dati offuscate a un analista centrale per l'addestramento congiunto di modelli senza ulteriori interazioni. La tensione fondamentale risiede nel bilanciare l'utilità (la capacità di addestrare modelli accurati sui dati aggregati) con la privacy (impedire la ricostruzione dei dati privati).

Il modello di minaccia specifico considerato è la Collusione Analista-Partecipante, in cui un analista centrale collude con uno o più partecipanti che rivelano i propri dati privati e i parametri di trasformazione. Il documento identifica tre approcci esistenti e i loro limiti sotto questa minaccia:

1. C-GDP (Common-Transform GDP): Tutti i partecipanti utilizzano la stessa trasformazione geometrica. Sebbene ciò preservi la comparabilità tra i partecipanti, un partecipante colluso può rivelare i parametri condivisi, permettendo all'analista di invertire esattamente e recuperare i dati privati di tutti i partecipanti non collusi.
2. I-GDP (Independent-Transform GDP): Ogni partecipante utilizza una trasformazione unica. Ciò impedisce l'inversione diretta tramite parametri condivisi, ma mappa i dati in sistemi di coordinate incompatibili, degradando l'utilità del modello a valle.
3. Data Collaboration (DC) con Allineamento di Ancore: I partecipanti condividono una "matrice di ancoraggio" sintetica per allineare le loro trasformazioni indipendenti in un sistema di coordinate comune. Tuttavia, il documento dimostra che se un partecipante colluso rivela la matrice di ancoraggio grezza, l'analista può recuperare esattamente i parametri di trasformazione dei partecipanti non collusi, portando alla ricostruzione esatta dei dati.

Una contromisura diretta — aggiungere rumore direttamente alle rappresentazioni dei dati privati — mitiga il rischio di ricostruzione ma distorce significativamente la struttura geometrica necessaria per l'apprendimento, risultando in un scarso compromesso privacy-utilità. Inoltre, il documento prova che l'aggiunta di rumore ai dati privati in un contesto I-GDP con allineamento di ancore produce una distribuzione di output equivalente alla C-GDP con rumore sui dati privati, fallendo nel risolvere il sottostante dilemma dell'allineamento.

2. Metodologia

Gli autori propongono l'AA-I-GDP (anchor noise) [Allineamento di Ancore con Perturbazione Geometrica Indipendente dei Dati con Rumore di Ancoraggio]. L'innovazione principale consiste nello spostare la perturbazione additiva dalle rappresentazioni dei dati privati alle rappresentazioni delle ancore utilizzate per l'allineamento.

Flusso di Lavoro del Protocollo

1. Setup: I partecipanti condividono una matrice di ancoraggio $A$ comune, centrata e ortonormale (mantenuta segreta dall'analista durante l'esecuzione onesta).
2. Offuscamento: Ogni partecipante $i$ campiona indipendentemente una trasformazione geometrica (matrice ortogonale $O_i$ e traslazione $\Psi_i$).
   • Dati Privati: Trasformati senza rumore: $Y_i = X_i O_i + \mathbf{1}\Psi_i^\top$.
   • Dati di Ancoraggio: Trasformati e poi perturbati con rumore gaussiano isotropo: $B_i = (A O_i + \mathbf{1}\Psi_i^\top) + v W_i$, dove $v$ è la scala del rumore e $W_i$ è una matrice di rumore.
3. Caricamento: I partecipanti caricano sia $Y_i$ che la $B_i$ rumorosa all'analista.
4. Allineamento (Lato Analista): L'analista utilizza le rappresentazioni delle ancore rumorose $\{B_i\}$ per stimare le mappe di allineamento. Questo è formulato come un Problema di Procruste Ortogonale Generalizzato (GOPP). L'analista risolve per un template comune e rotazioni specifiche per partecipante che minimizzano l'errore di ricostruzione delle ancore rumorose.
5. Addestramento: Le mappe di allineamento stimate vengono applicate alle rappresentazioni dei dati privati $Y_i$ per allinearle in un sistema di coordinate condiviso, dopo di che viene addestrato un modello a valle.

Analisi Teorica

• Rischio di Recupero: Nel contesto della collusione, l'analista (con l'aiuto di un colluso) possiede l'ancora grezza $A$ e la $B_i$ rumorosa. Questo trasforma il problema del recupero esatto dei parametri (presente nella DC priva di rumore) in un problema di stima della trasformazione rumorosa. L'accuratezza del recupero di $O_i$ dipende dal livello di rumore $v$, dalla dimensione dell'ancora $r$ e dalla dimensione $d$.
• Errore di Allineamento: Il documento caratterizza l'errore di allineamento in due componenti:
  1. Errore Rotazionale: Controllato dalla convergenza del solver GOPP (Metodo di Potenza Generalizzato). I limiti teorici mostrano che per un livello di rumore $v$ sufficientemente basso, il solver converge a un massimizzatore globale, preservando la geometria relativa.
  2. Traslazione Residua: Causata dalla media del rumore nelle rappresentazioni delle ancore. Questa componente introduce un errore di traslazione specifico per partecipante che non svanisce nemmeno con un recupero rotazionale perfetto, ma la sua entità è limitata e diminuisce con dimensioni delle ancore ($r$) maggiori.

3. Contributi Chiave

1. Vulnerabilità dell'Ancora Nota: Gli autori dimostrano formalmente che, nel contesto della collusione analista-partecipante, l'allineamento delle ancore privo di rumore (DC) consente a un attaccante di recuperare esattamente le trasformazioni specifiche del partecipante e i dati privati se la matrice di ancoraggio grezza viene rivelata.
2. Equivalenza dell'Output del Rumore sui Dati Privati: Il documento prova che l'aggiunta di rumore alle rappresentazioni dei dati privati in un contesto I-GDP con allineamento di ancore produce una distribuzione di output statisticamente equivalente alla C-GDP con rumore sui dati privati. Pertavia, questo approccio non offre un vantaggio distinto di privacy-utilità rispetto al baseline a trasformazione comune.
3. Framework del Rumore di Ancoraggio: La proposta di perturbare le rappresentazioni delle ancore invece dei dati privati. Ciò preserva la struttura geometrica esatta dei dati privati pur convertendo il canale di recupero esatto della trasformazione in un problema di stima rumorosa.
4. Caratterizzazione Teorica: Gli autori forniscono garanzie di convergenza per il solver GOPP sotto il modello di rumore proposto e derivano i limiti per l'errore di allineamento e di ricostruzione risultante.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset MNIST e CelebA sotto il contesto di collusione analista-partecipante.

• Compromesso Privacy-Utilità:
  • MNIST: Il metodo proposto (rumore di ancoraggio) ha ottenuto un'accuratezza di test superiore rispetto ai metodi con rumore sui dati privati a livelli comparabili di "collegamento esatto alla sorgente" (un metric per la fuga di ricostruzione). Nello specifico, a un'accuratezza di collegamento di circa il 12,4%, il rumore di ancoraggio ha prodotto una precisione bilanciata del 59,2%, mentre i metodi con rumore sui dati privati richiedevano livelli di rumore significativamente più alti per ottenere una privacy simile, risultando in una minore utilità.
  • CelebA: Osservati trend simili. Il rumore di ancoraggio ha ripristinato l'ordine naturale dell'utilità all'aumentare del numero di partecipanti, mentre i controlli I-GDP non allineati hanno mostrato una degradazione dell'utilità non monotona.
• Resistenza agli Attacchi: Tre attacchi di ricostruzione sono stati valutati contro AA-I-GDP (rumore di ancoraggio): Moore-Penrose, Orthogonal Procrustes e Alignment Map Calibration. L'attacco Orthogonal Procrustes è stato il più forte, ma l'aumento della scala del rumore dell'ancora $v$ ha ridotto efficacementamente l'accuratezza del collegamento (leakage) mantenendo un'utilità utilizzabile.
• Comportamento del Solver: Gli esperimenti hanno confermato che il Metodo di Potenza Generalizzato (GPM) converge in modo affidabile per livelli di rumore al di sotto di una transizione di fase osservata empiricamente, supportando le condizioni sufficienti teoriche.

5. Significato e Rivendicazioni

Il documento sostiene che il rumore di ancoraggio offre un compromesso privacy-utilità più favorevole rispetto ai metodi esistenti sotto il modello di minaccia specificato di collusione analista-partecipante. Decoupling (disaccoppiando) la perturbazione dai dati privati, il metodo mantiene la fedeltà geometrica necessaria per l'apprendimento a valle introducendo al contempo una barriera regolabile contro gli attacchi di ricostruzione.

Gli autori sottolineano che questo approccio non fornisce garanzie formali di privacy differenziale (DP); piuttosto, crea "punti operativi regolabili e dipendenti dall'attaccante" tra l'accuratezza dell'allineamento e la resistenza alla ricostruzione. Il significato risiede nel risolvere la "tensione allineamento-recupero": ripristina la comparabilità tra i partecipanti (risolvendo il problema dell'utilità di I-GDP) senza creare un canale di inversione esatta (risolvendo il problema della privacy di C-GDP/DC), a condizione che il rumore dell'ancora sia opportunamente calibrato.

Il documento conclude che, sebbene il metodo si basi su garanzie di privacy euristiche dipendenti dalle capacità dell'avversario, esso supera empiricamente le alternative standard (C-GDP con rumore e AA-I-GDP con rumore sui dati privati) nello specifico modello di minaccia della collusione analista-partecipante.