Client-Cooperative Split Learning

Il paper presenta CliCooper, un framework di Split Learning cooperativo multi-cliente che, in ambienti eterogenei e parzialmente fidati, garantisce privacy e integrità del training attraverso protezione delle attivazioni basata sulla privacy differenziale, offuscamento dei label e un sistema dinamico di watermarking concatenato, riducendo drasticamente il successo degli attacchi di inferenza e ricostruzione senza compromettere l'accuratezza del modello.

L'essenziale

Ecco una spiegazione semplice e creativa del paper CLICOOPER, pensata per chiunque voglia capire come funziona senza bisogno di un dottorato in informatica.

Immagina di voler costruire una cattedrale digitale (un'intelligenza artificiale molto potente) per risolvere un problema importante, ma tu hai solo un piccolo mattone e un martello arrugginito (il tuo computer è lento e i tuoi dati sono segreti).

In passato, per costruire questa cattedrale, dovevi affidarti a un Grande Architetto (un server potente e fidato) che prendeva i tuoi mattoni, li lavorava e ti restituiva il risultato. Ma c'era un problema: dovevi dare all'Architetto i tuoi mattoni "nudi", e lui poteva vedere esattamente cosa c'era scritto sopra (i tuoi dati privati).

CLICOOPER è come un nuovo modo di costruire questa cattedrale, senza un Grande Architetto centrale, ma usando una squadra di artigiani locali (altri computer) che collaborano tra loro. Ecco come funziona, passo dopo passo:

1. Il Problema: "Non voglio mostrare i miei segreti"

Tu sei il Proprietario dei Dati. Hai un dataset prezioso (ad esempio, foto mediche o notizie private), ma non vuoi che nessuno le veda direttamente.
Gli Artigiani (i clienti che hanno computer potenti ma non hanno i tuoi dati) sono disposti ad aiutarti a costruire il modello, ma sono un po' "curiosi": potrebbero voler spiare i tuoi dati o rubare il lavoro fatto per venderlo a qualcun altro.

2. La Soluzione Magica: "Il Trucco del Camaleonte" (Espansione delle Etichette)

Per proteggere i tuoi dati, CLICOOPER usa un trucco geniale chiamato Espansione delle Etichette.
Immagina che i tuoi dati siano 10 tipi di frutta diversi (Mele, Pere, Banane...). Invece di dire agli artigiani "Questa è una Mela", tu usi un codice segreto e trasformi ogni frutto in 20 nomi diversi e apparentemente casuali.

• La "Mela" diventa "Frutto-A1", "Frutto-A2", "Frutto-A3"...
• La "Pera" diventa "Frutto-B1", "Frutto-B2"...

Perché è utile?
Gli artigiani vedono solo questi 20 nomi strani. Non capiscono che stanno imparando a riconoscere le mele o le pere. Se provano a indovinare cosa stai facendo, è come cercare di capire il contenuto di una lettera scritta in un codice che solo tu possiedi. Inoltre, questo rende il compito molto più difficile da "hackerare" perché ci sono troppe categorie fittizie.

3. Il Filtro Anti-Spionaggio: "L'Acqua Torbida" (Privacy Differenziale)

Anche se gli artigiani non vedono i tuoi dati originali, potrebbero guardare i "pensieri" intermedi del computer (le attivazioni) per ricostruire le immagini originali. È come se guardassero l'ombra di un oggetto per capire com'è fatto.

Per evitare questo, prima di inviare i dati agli artigiani, CLICOOPER aggiunge una nebbia digitale (rumore matematico calibrato).
Immagina di guardare un quadro attraverso un vetro smerigliato o attraverso l'acqua di una piscina in movimento. Gli artigiani vedono ancora abbastanza per imparare a riconoscere i "Frutti-A" e i "Frutti-B", ma se provano a ricostruire l'immagine originale (la foto del paziente o la notizia), vedono solo un mucchio di pixel confusi e senza senso. È come cercare di ricostruire un volto guardando solo le sue ombre mosse dal vento: impossibile.

4. La Catena di Sicurezza: "Il Sigillo di Cera" (Watermarking a Catena)

Ora, come facciamo a sapere che gli artigiani hanno davvero lavorato e non hanno semplicemente copiato un modello già fatto da internet per prendersi i soldi (il "free lunch")?

CLICOOPER usa una Catena di Sigilli di Cera.
Immagina una catena di montaggio:

1. Il primo artigiano riceve il pezzo di lavoro, lo modifica e ci appone un sigillo di cera unico.
2. Questo sigillo non è scelto a caso: è creato matematicamente basandosi su esattamente cosa ha prodotto il pezzo precedente.
3. Il secondo artigiano prende il pezzo con il primo sigillo, lo lavora e ne crea un secondo sigillo che è collegato matematicamente al primo.
4. E così via, fino all'ultimo artigiano.

Alla fine, avrai una catena di sigilli che non può essere spezzata o falsificata. Se un artigiano prova a saltare un passaggio o a usare un pezzo già fatto, il sigillo successivo non combacerà mai. Questo permette al Verificatore (un controllore di fiducia) di dire: "Sì, questo lavoro è stato fatto da voi, in quest'ordine, ed è autentico". È la prova che meritano di essere pagati.

5. Il Risultato: Cosa succede alla fine?

• Per te (Proprietario): I tuoi dati sono rimasti al sicuro. Nessuno ha visto le tue foto o i tuoi testi originali.
• Per gli artigiani: Hanno lavorato duramente e hanno guadagnato la loro parte, con la certezza che il loro contributo è stato riconosciuto e non rubato.
• Per il modello: Alla fine, il modello funziona benissimo (anzi, a volte meglio di prima, perché il "rumore" aggiunto aiuta a non memorizzare cose inutili, come un allenatore che ti fa fare esercizi difficili per farti diventare più forte).
• Contro i ladri: Se un ladro prova a rubare il modello finito e a usarlo per fare soldi, non ci riuscirà. Perché? Perché il modello risponde solo ai "Frutti-A1, A2..." e non alle "Mele vere". Senza la tua chiave segreta per tradurre i codici, il modello è inutile per loro. È come avere un'auto che funziona solo se inserisci una chiave che non possiedi.

In sintesi

CLICOOPER è come un progetto di costruzione collaborativo dove:

1. Si nasconde il vero scopo del lavoro usando un codice segreto (espansione etichette).
2. Si offusca la vista dei lavoratori con una nebbia digitale (privacy differenziale) per impedire loro di spiare i dati.
3. Si appone una catena di sigilli magici (watermarking) per garantire che tutti abbiano lavorato davvero e per proteggere il copyright.

Il risultato è un'intelligenza artificiale potente, costruita insieme da molti, che rispetta la privacy di tutti e protegge il lavoro di ciascuno, senza bisogno di un "capo" centrale potente e costoso.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Client-Cooperative Split Learning" (CLICOOPER), presentata in italiano.

1. Il Problema

L'apprendimento diviso (Split Learning - SL) è una tecnica promettente che permette di addestrare modelli di Intelligenza Artificiale senza esporre i dati grezzi, suddividendo il calcolo tra un client (che possiede i dati) e un server. Tuttavia, le implementazioni tradizionali presuppongono un server centrale potente e completamente fidato.

Il paper affronta un nuovo scenario emergente: l'apprendimento diviso multi-cliente senza server in ambienti parzialmente fidati. In questo contesto:

• Un cliente fornisce i dati ma ha risorse computazionali limitate.
• Più altri clienti (trainer) forniscono risorse computazionali frammentate per agire collettivamente come "server".
• Sfide principali:
  1. Privacy dei dati: Come proteggere i dati grezzi e le etichette reali del cliente fornitore quando i trainer sono "onesti ma curiosi" (honest-but-curious)?
  2. Proprietà degli strati: Come possono i trainer dimostrare di aver effettivamente contribuito all'addestramento per ricevere compensi?
  3. Difesa dall'uso non autorizzato: Come impedire che il modello collaborativo venga riutilizzato o estratto senza autorizzazione?

2. Metodologia: Il Framework CLICOOPER

CLICOOPER è un framework progettato per colmare il divario tra privacy e fiducia in un ambiente collaborativo eterogeneo. Integra tre meccanismi fondamentali:

A. Espansione delle Etichette con Mappatura Segreta (Secret-mapping Label Expansion)

Per proteggere la semantica del task e il numero di classi:

• Il cliente dati mappa ogni etichetta reale ($Y$) in un insieme di pseudo-etichette ($Y^*$) tramite una mappatura uno-a-molti segreta ($G_Y$).
• I dati vengono aumentati per allinearsi allo spazio delle pseudo-etichette espanso.
• I trainer addestrano il modello solo su questo spazio di pseudo-etichette. Senza la mappatura inversa segreta ($G_Y^{-1}$), l'output del modello è inutilizzabile per un utente non autorizzato, rendendo il modello inerte se rubato o riutilizzato senza autorizzazione.

B. Attivazioni Protette da Differenzial Privacy (DP)

Per prevenire attacchi di inversione (recupero dei dati di addestramento) e clustering:

• Prima di inviare le attivazioni intermedie ai trainer, il cliente applica un meccanismo di Differenzial Privacy (DP).
• Le attivazioni vengono tagliate ($\ell_1$-clipping) e viene aggiunto rumore di Laplace calibrato.
• Questo protegge la proprietà dei dati grezzi e impedisce ai trainer di inferire le etichette reali o ricostruire i campioni di input, anche osservando le attivazioni intermedie.

C. Filigrana a Catena Dinamica (Dynamic Chained Watermarking)

Per garantire la tracciabilità, la proprietà e l'integrità dell'addestramento:

• Dopo l'addestramento, ogni trainer inserisce una filigrana digitale nel proprio segmento di modello.
• La filigrana non è arbitraria: è crittograficamente derivata dall'attivazione in uscita del trainer precedente (o dal cliente per il primo trainer), utilizzando un hash collision-resistant e un nonce segreto.
• Questo crea una linea di discendenza (lineage) a catena inalterabile. Se un trainer tenta di sostituire il proprio segmento con un modello pre-addestrato o di saltare la fase di addestramento, la catena di filigrane si rompe e viene rilevata dal verificatore.

3. Contributi Chiave

1. Protezione della Privacy in SL Collaborativa: Risolve il problema della privacy dei dati e delle etichette in assenza di un server fidato, combinando l'espansione delle etichette (per nascondere la semantica) e il rumore DP (per proteggere le attivazioni), mantenendo al contempo l'utilità del modello per gli utenti autorizzati.
2. Tracciabilità e Proprietà Verificabile: Introduce uno schema di filigrana a catena che lega crittograficamente ogni segmento del modello al flusso di addestramento specifico. Questo permette di verificare l'integrità dell'addestramento, garantire la proprietà intellettuale dei trainer e prevenire il "free-riding" (uso di modelli preesistenti senza addestramento).
3. Validazione su Larga Scala: Il framework è stato testato su diversi dataset (MNIST, CIFAR-10/100, AG News) e architetture (CNN, ResNet, BERT), dimostrando efficacia sia nella privacy che nella robustezza.

4. Risultati Sperimentali

Gli esperimenti confermano che CLICOOPER bilancia efficacemente privacy, proprietà e prestazioni:

• Accuratezza del Modello: L'impatto sulle prestazioni è trascurabile. In molti casi, l'accuratezza rimane vicina alla baseline, con alcuni modelli che mostrano addirittura un miglioramento fino al 2% (effetto regolarizzante del rumore DP).
• Resistenza agli Attacchi di Clustering: La capacità di un trainer di inferire gruppi di etichette reali tramite clustering delle attivazioni è ridotta al 0% su dataset visivi complessi (CIFAR-10/100).
• Resistenza agli Attacchi di Inversione: La similarità strutturale (SSIM) tra i dati originali e quelli ricostruiti tramite inversione crolla drasticamente, passando da 0.50 (baseline senza protezione) a 0.03 con protezione DP.
• Resistenza all'Estrazione del Modello (Model Extraction): In scenari black-box, gli attaccanti che tentano di addestrare un modello surrogato utilizzando le pseudo-etichette ottenute via API ottengono un'accuratezza di circa 1% (equivalente al caso casuale), rendendo l'estrazione del modello inefficace.
• Overhead: Il tempo di embedding e verifica delle filigrane è nell'ordine dei millisecondi, trascurabile rispetto al tempo totale di addestramento.

5. Significato e Impatto

CLICOOPER rappresenta un passo avanti significativo verso la democratizzazione dell'addestramento di modelli AI in ambienti distribuiti e privi di server centrali.

• Abilita nuovi modelli di business: Permette a proprietari di dati con risorse limitate di accedere a servizi di addestramento AI pagando solo per il calcolo necessario, senza cedere la sovranità dei dati.
• Riduce i rischi di fiducia: Elimina la necessità di un singolo server fidato, distribuendo la responsabilità su più entità parzialmente fidate senza compromettere la privacy.
• Garantisce la sostenibilità economica: Attraverso la filigrana a catena, assicura che i compensi vengano distribuiti equamente solo a chi contribuisce realmente all'addestramento, prevenendo frodi e abusi.

In sintesi, CLICOOPER trasforma l'apprendimento diviso da un paradigma basato su un server centrale a un ecosistema collaborativo, sicuro e verificabile, adatto alle esigenze della moderna economia dei dati.