Client-Cooperative Split Learning

Each language version is independently generated for its own context, not a direct translation.

🧩 De Grote Uitdaging: "Wie doet wat en wie mag het zien?"

Stel je voor dat je een heel geheim recept hebt (je data), maar je hebt geen grote keuken of dure apparatuur om het te koken. Je wilt dat een ander het voor je kookt, maar je wilt niet dat ze je ingrediënten zien of weten wat je precies maakt.

Vroeger was de oplossing: "Stuur je ingrediënten naar een beroemde, superbetrouwbare chef-kok in een groot restaurant (de server)." Maar wat als dat restaurant te duur is, of wat als je liever geen centraal restaurant wilt?

CLICOOPER is een nieuwe manier om samen te koken zonder centraal restaurant. In plaats van één grote chef, werk je met een keten van kleine, lokale koks (andere gebruikers met hun eigen computers). Iedereen helpt een klein stukje van het recept te bereiden.

Maar hier zit de kluif:

Jij (de eigenaar) wilt je ingrediënten en je einddoel (het label) geheim houden.
De koks willen zeker weten dat ze hun werk hebben gedaan, zodat ze betaald krijgen.
Niemand mag het eindresultaat stelen of gebruiken zonder toestemming.

🛡️ Hoe lost CLICOOPER dit op?

Het systeem gebruikt twee slimme trucs om dit veilig te maken:

1. De "Vage Kaart" en de "Wazige Foto" (Privacy)

Stel je voor dat je een foto van een appel stuurt, maar je wilt niet dat de kok weet dat het een appel is.

De Vage Kaart (Label Expansie): In plaats van te zeggen "dit is een appel", zeg je: "dit is een van de 50 mogelijke soorten 'rode ronde dingen'". Je verspreidt je echte antwoord over veel nep-antwoorden. Alleen jij hebt de sleutel om die 50 nep-antwoorden weer terug te vertalen naar "appel". Voor de koks is het alsof ze in een nevel zitten; ze zien patronen, maar weten niet wat ze echt betekenen.
De Wazige Foto (Differentiële Privacy): Voordat je de foto (de data) verstuurt, gooi je er een beetje "ruis" of "vlekken" overheen. Het is alsof je de foto door een wazig glas laat kijken. De kok kan nog steeds zien dat het rond en rood is (dus hij kan koken), maar hij kan de details niet zien om te achterhalen of het een appel, een tomaat of een rode bal is.

Resultaat: De koks kunnen het model trainen, maar ze kunnen je data niet reconstrueren en ze weten niet wat het einddoel is.

2. De "Onbreekbare Ketting" (Eigendom & Betrouwbaarheid)

Nu de koks aan het werk zijn: hoe weet je dat ze echt hebben gekookt en niet gewoon een kant-en-klaar gerecht hebben gestuurd om geld te krijgen? En hoe weet je dat ze hun eigen deel van het recept hebben gemaakt?

CLICOOPER gebruikt een digitale ketting van watermerken:

Stel je voor dat elke kok een stempel heeft.
Kok 1 kookt zijn deel en stempelt het met een stempel die is gemaakt van de foto die hij van jou kreeg.
Kok 2 krijgt dat gestempelde gerecht van Kok 1. Hij kookt zijn deel en maakt een nieuwe stempel. Maar deze nieuwe stempel is cryptografisch gekoppeld aan de stempel van Kok 1.
Zo gaat het door tot Kok 3, Kok 4, etc.

Het resultaat is een onbreekbare ketting. Als Kok 2 probeert te liegen en een ander gerecht in te leveren, klopt de stempel van Kok 3 niet meer met die van Kok 2. De ketting is verbroken.

Voor de koks: Dit bewijst dat ze echt hebben gewerkt (dus ze krijgen betaald).
Voor de eigenaar: Dit bewijst dat het model op de juiste manier is gemaakt en dat niemand een deel heeft gestolen of vervangen.

🧪 Wat zeggen de tests?

De onderzoekers hebben dit systeem getest met verschillende taken (herkennen van cijfers, auto's, nieuwsartikelen). De resultaten zijn indrukwekkend:

Geen kwaliteitsverlies: Het model werkt bijna net zo goed als een normaal model (soms zelfs beter door de "ruis" die als een soort trainingshulp fungeert).
Hackers falen:
- Als hackers proberen om uit de "wazige foto's" te raden welke groep data bij elkaar hoort (clustering), slagen ze in 0% van de gevallen.
- Als hackers proberen om de originele foto's terug te reconstrueren (inversie), zien ze alleen ruis. De gelijkenis met het origineel daalt van 50% naar bijna 0%.
- Als hackers proberen om een kopie van het model te stelen door er vragen aan te stellen, leert hun kopie niets. Ze scoren net zo slecht als raden (ongeveer 1% juistheid).

🎯 Conclusie in één zin

CLICOOPER is als een veilig, gedecentraliseerd restaurant waar je je geheimen kunt bewaren, waar elke kok kan bewijzen dat hij heeft gewerkt door een onbreekbare ketting van stempels, en waar niemand je recept kan stelen of namaken zonder de geheime sleutel.

Het maakt het mogelijk om slimme AI-modellen te bouwen zonder dat je je data hoeft te delen of afhankelijk bent van één grote, dure server.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "Client-Cooperative Split Learning" (CLICOOPER) in het Nederlands.

Titel: Client-Cooperative Split Learning (CLICOOPER)

Auteurs: Haiyu Deng, Yanna Jiang, et al. (University of Technology Sydney, CSIRO Data61, Edith Cowan University)

1. Het Probleem

Traditionele Split Learning (SL) stelt een data-eigenaar (client) in staat om een model te trainen zonder ruwe data te delen, door de berekening uit te besteden aan een centrale, volledig vertrouwde server. Echter, in moderne scenario's met beperkte middelen en privacywetgeving (zoals GDPR), is een dergelijke centrale server vaak niet beschikbaar of gewenst.

Er ontstaat een nieuwe behoefte aan serverloze, multi-client samenwerking:

Scenario: Een data-eigenaar heeft data maar weinig rekenkracht. Meerdere andere clients hebben overtollige rekenkracht (bijv. edge devices) maar geen data.
Uitdaging: Deze omgeving is gedeeltelijk vertrouwd ("partially trusted"). De trainers zijn "eerlijk maar nieuwsgierig" (honest-but-curious); ze willen de taak voltooien maar proberen misschien informatie over de data of labels te achterhalen, of proberen gratis mee te profiteren zonder bij te dragen.
Kernvragen (RQ's):
1. Hoe behoudt de data-eigenaar de privacy van ruwe invoer en labels?
2. Hoe kunnen trainers cryptografisch aantonen dat ze hun bijdrage hebben geleverd (eigendom van lagen)?
3. Hoe voorkomt men ongeautoriseerd gebruik van het gezamenlijk getrainde model?

Bestaande SL-frameworks lossen deze problemen in een multi-client setting onvoldoende op, vooral wat betreft privacy van labels, traceerbaarheid van bijdragen en bescherming tegen model-extractie.

2. Methodologie: CLICOOPER Framework

CLICOOPER is een framework dat speciaal is ontworpen voor serverloze, multi-client omgevingen. Het combineert drie kernmechanismen om privacy, integriteit en auteursrecht te waarborgen.

A. Geheime Mapping en Label-Expansie (Secret-mapping Label Expansion)

Om te voorkomen dat trainers de betekenis van de labels of het aantal klassen kunnen afleiden:

De data-client (C) mapt elke echte label $Y_i$ naar een set van pseudo-labels $Y^*_{ij}$ via een geheime, een-op-meerdere mapping ( $G_Y$ ).
De dataset wordt uitgebreid (data augmentation) om te matchen met het grotere aantal pseudo-labels.
Trainers trainen alleen op deze pseudo-labels. Zonder de geheime inverse mapping ( $G^{-1}_Y$ ) zijn de output van het model voor een onbevoegde partij onbruikbaar.

B. DP-beschermde Activaties (DP-guarded Activations)

Om te voorkomen dat trainers de ruwe invoer kunnen reconstrueren via inversion attacks of labels kunnen infereren via clustering:

De client voert een forward pass uit op de uitgebreide dataset.
De resulterende tussenliggende activaties (activations) worden onderworpen aan Differentiële Privacy (DP).
Dit gebeurt door $\ell_1$ -clipping van de activaties en het toevoegen van Laplace-ruis met een privacy-begroting $\epsilon$ .
Alleen deze verstoorde activaties ( $M^{DP}_C$ ) worden doorgegeven aan de eerste trainer.

C. Gekoppelde Watermerken (Chained Watermarking)

Om de eigendom van trainers te verifiëren en "free-riding" (het gebruik van bestaande modellen zonder training) te voorkomen:

Na het trainen van het model (convergentie), voegt elke trainer $T_i$ een watermerk toe aan zijn modelsegment.
Het watermerk is cryptografisch gekoppeld: het wordt gegenereerd op basis van een hash van de activatie die door de vorige trainer is doorgegeven, gecombineerd met een nonce en de identiteit van de trainer.
Dit creëert een tamper-evident lineage (een keten van bewijs). Als een trainer probeert een bestaand model te gebruiken zonder de juiste voorganger-activaties te verwerken, zal de watermerkketen breken en kan de verifier dit detecteren.

D. Verificatieproces

Een Verifier (V) (een vertrouwde entiteit) coördineert het proces:

Controleert of het eindmodel de vereiste nauwkeurigheid haalt.
Verifieert de gekoppelde watermerken door de keten van activaties en watermerken te reconstrueren. Alleen als de keten klopt, krijgen trainers compensatie.

3. Belangrijkste Bijdragen

Privacy in Gedeeltelijk Vertrouwde Omgevingen: CLICOOPER lost het privacyprobleem op in serverloze SL door label-semantiek te verbergen (via expansie) en ruwe invoer te beschermen (via DP-ruis), zonder de bruikbaarheid voor geautoriseerde partijen te verliezen.
Verifieerbare Eigendom en Traceerbaarheid: Het introduceert een dynamisch, gekoppeld watermerksysteem dat elke trainingsfase cryptografisch linkt. Dit zorgt voor onweerlegbaar bewijs van bijdrage en voorkomt dat trainers zich voor de volle eer laten betalen zonder daadwerkelijk te hebben getraind.
Robuustheid tegen Aanvallen: Het framework is getest tegen interne en externe bedreigingen, waaronder clustering-aanvallen, inversion attacks (data-reconstructie) en model-extractie (surrogate modeling).

4. Experimentele Resultaten

De auteurs hebben CLICOOPER getest op diverse datasets (MNIST, CIFAR-10, CIFAR-100, AG News) en architecturen (DeepLeNet, ResNet, MiniBert, etc.).

Modelnauwkeurigheid: De prestaties blijven vergelijkbaar met de baseline (soms zelfs tot 2% verbetering door regularisatie-effect van de ruis). De overhead van watermerken is verwaarloosbaar.
Bescherming tegen Clustering-aanvallen: De succesrate van aanvallen die proberen labelgroepen te infereren op basis van activaties daalt naar 0% op beelddatasets (CIFAR).
Bescherming tegen Inversion-aanvallen: De gelijkenis (SSIM) tussen gereconstrueerde beelden en de originele data daalt drastisch van 0.50 (zonder bescherming) naar 0.03 (met DP-ruis).
Bescherming tegen Model-extractie: Aanvallers die proberen een surrogaatmodel te trainen via de API krijgen een nauwkeurigheid van slechts ~1% (vergelijkbaar met raden), omdat ze werken met pseudo-labels zonder de mapping te kennen.
Overhead: De tijd voor het embedden en verifiëren van watermerken ligt in de orde van milliseconden (bijv. ~13ms voor embedden), wat verwaarloosbaar is ten opzichte van de totale trainingstijd.

5. Betekenis en Conclusie

CLICOOPER is een doorbraak in het veld van Split Learning omdat het de afhankelijkheid van een centrale, volledig vertrouwde server wegneemt. Het maakt het mogelijk om:

Resource-constrained data-eigenaren samen te laten werken met rekenkracht-rijke clients in een markt-achtige omgeving.
Privacy en auteursrecht gelijktijdig te waarborgen in een omgeving waar deelnemers niet volledig op elkaar kunnen vertrouwen.
Een verantwoordelijkheidskader te creëren waarbij bijdragen cryptografisch bewezen kunnen worden, wat essentieel is voor toekomstige AI-marktplaatsen en federatieve leeromgevingen.

Het paper demonstreert dat het mogelijk is om een evenwicht te vinden tussen hoge privacy, sterke auteursrechtbescherming en behoud van modelkwaliteit, zelfs in complexe, serverloze netwerken.