Privacy-Preserving Fully Distributed Gaussian Process Regression

Stel je een wereld voor waarin je slimme apparaten, zoals je telefoon of je thermostaat, constant leren van je gewoonten om betere voorspellingen te doen. Ze gebruiken een slim wiskundig hulpmiddel genaamd Gaussian Process Regression (GPR). Denk aan GPR als een superintelligente detective die niet alleen een antwoord raadt, maar ook vertelt hoe zeker hij is van die gok. Dit is ontzettend nuttig voor zaken als zelfrijdende auto's of medische monitoring, waarbij weten wat de "onzekerheid" is, net zo belangrijk is als de voorspelling zelf.

Normaal gesproken zou je, om deze detectives superintelligent te maken, al je data van elk apparaat in één grote centrale hersenpan moeten dumpen. Maar dat is een privacy-nachtmerrie. Je gezondheidsgegevens of dagelijkse routines zouden niet op één centrale server moeten staan waar ze gelekt kunnen worden. Daarom hebben wetenschappers Distributed Learning bedacht, waarbij elk apparaat zijn eigen data behoudt en alleen zijn "conclusies" met buren deelt. Echter, zelfs die conclusies kunnen soms per ongeluk geheimen over de oorspronkelijke data onthullen. Dit artikel pakt het lastige probleem aan van hoe je deze apparaten kunt laten samenwerken en samen leren, zonder dat iemand (zelfs een sluwe groep buren) ontdekt hoe de oorspronkelijke private data van de anderen er werkelijk uitziet.

---

De Geheime Club van Lerende Machines

In dit artikel stellen de auteurs, Yeongjun Jang en zijn team, een nieuwe manier voor waarop een groep agenten (laten we ze "lerende robots" noemen) samen een puzzel kunnen oplossen zonder hun private stukjes aan elkaar te laten zien. Ze noemen hun oplossing een Privacy-Preserving Fully Distributed Gaussian Process Regression protocol.

Hier is het scenario: stel je een groep ziekenhuizen voor die proberen te voorspellen hoe een nieuwe patiënt zal reageren op een behandeling. Elk ziekenhuis heeft zijn eigen private lijst met eerdere patiënten. Ze willen hun kennis combineren om tot een beter antwoord te komen, maar ze kunnen hun patiëntenlijsten niet delen vanwege strikte privacywetgeving. Ze vertrouwen ook geen centrale "super-server" om de data vast te houden, omdat die server gehackt kan worden of een concurrent kan zijn.

Het grote idee van de auteurs is om een cryptografische truc te gebruiken die Secure Multi-Party Computation (SMPC) wordt genoemd. Om dit te begrijpen, stel je voor dat de ziekenhuizen proberen de gemiddelde lengte van al hun patiënten te berekenen, maar dat ze niet de specifieke lengte van hun eigen patiënt aan iemand willen vertellen.

De Magie van "Secret Sharing"

Het artikel gebruikt een techniek genaamd Additive Secret Sharing. Zo werkt het in ons verhaal:

1. De Splitsing: In plaats van hun echte getal (bijvoorbeeld 170 cm) te sturen, splitst een ziekenhuis het getal in willekeurige "scherven" (shards). Bijvoorbeeld: Ziekenhuis A houdt een scherf van +50, stuurt een scherf van -30 naar Ziekenhuis B, en een scherf van -20 naar Ziekenhuis C.
2. De Ruis: Voor de buren zien deze scherven eruit als willekeurige ruis. Ziekenhuis B ziet "-30" en heeft geen idee of het oorspronkelijke getal 170, 500 of -100 was. Het is wiskundig onmogelijk om het oorspronkelijke getal te raden zonder alle scherven te hebben.
3. De Reconstructie: De ziekenhuizen geven deze scherven in een cirkel aan elkaar door. Uiteindelijk tellen ze alle scherven op die ze ontvangen hebben. Omdat de wiskunde perfect is opgezet, valt de willekeurige ruis weg en onthult de som het juiste totaal (of gemiddelde) zonder dat iemand ooit de individuele getallen heeft gezien.

De auteurs hebben hun hele systeem gebouwd op dit concept, maar ze moesten een paar lastige problemen oplossen om het werkbaar te maken voor echte gegevens.

De "Quantization" Hindernis

Echte wereldgegevens (zoals de lengte van patiënten of de temperatuur) bevatten decimalen. Maar secret sharing werkt meestal het beste met gehele getallen (integers). Om dit op te lossen, introduceerden de auteurs een "liniaal" of een schaalfactor. Ze vertellen de robots om hun getallen af te ronden naar de dichtstbijzijnde streepjes op een liniaal.

• De Afweging: Als de liniaal zeer fijne streepjes heeft (een kleine schaalfactor), is de wiskunde zeer nauwkeurig, maar worden de getallen enorm groot, wat de communicatie traag maakt. Als de liniaal grove streepjes heeft, is het snel maar minder accuraat.
• De Bevinding: Het team bewees dat je de fout door dit afronden zo klein als je wilt kunt maken door een ver genoeg fijne liniaal te kiezen en het protocol voldoende rondes te laten draaien. Ze lieten zien dat, zelfs met dit afronden, het eindresultaat praktisch identiek is aan wat je zou krijgen als iedereen zijn ruwe data openlijk had gedeeld.

De "Masking" Dans

Er was nog één gevaar: wat als twee ziekenhuizen samenspannen? Als Ziekenhuis A en Ziekenhuis B buren zijn, kunnen zij dan ontdekken wat Ziekenhuis C verbergt?
Om dit te voorkomen, voegden de auteurs een maskering stap toe. Voordat de robots hun scherven versturen, genereren ze extra "dummy" getallen die elkaar perfect opheffen. Het is als een groep dansers die een geheim briefje doorgeeft; ze geven het rond in een driehoek zodat nooit twee mensen het hele pad van het briefje kunnen zien. Het artikel bewijst dat zolang het netwerk van robots goed genoeg verbonden is (specifiek, als elke set buren minstens één gemeenschappelijke vriend deelt), een kleine groep "semi-eerlijke" robots (die de regels volgen maar proberen te spieken) niets meer kan leren dan het uiteindelijke gemiddelde resultaat.

Het Optimaliseren van de "Geheime Saus"

Het artikel pakt ook een probleem aan dat vaak genegeerd wordt in privacyonderzoek: Hyperparameter Optimization.
In GPR zijn er "knoppen" (hyperparameters) die controleren hoe het model leert. Deze knoppen op de juiste manier instellen is cruciaal voor de nauwkeurigheid. Normaal gesproken moet je naar alle data kijken om de beste instellingen te vinden. De auteurs lieten zien hoe de robots deze knoppen samen kunnen bijstellen, gebruikmakend van dezelfde secret-sharing dans, zonder ooit hun lokale data te onthullen. Ze lieten de robots kleine stappen zetten richting de beste instelling, waarbij ze hun voortgang veilig gemiddelden bij elke stap.

Wat ze vonden

Het team testte hun methode op twee real-world datasets:

1. SARCOS: Een dataset over bewegingen van een robotarm (gebruikt om grootschalige problemen te testen).
2. Diabetes: Een dataset over patiëntengezondheidsgegevens (waar privacy cruciaal is).

Ze vergeleken hun methode met andere privacytechnieken die vertrouwen op een centrale server of zware encryptie.

• Snelheid: Hun methode was aanzienlijk sneller dan de alternatieven, die vaak de tijd uitliepen of meer dan 300 seconden duurden. Echter, de exacte snelheid hangt af van de netwerkopstelling. Voor een netwerk van 20 agenten met 4 buren voltooide hun methode in ongeveer 0,59 seconden. Maar als het netwerk groter is (40 agenten) of dichter verbonden is (19 buren per agent), neemt de tijd toe tot ongeveer 0,99 seconden of 6,69 seconden, afhankelijk van de dataset. Hoewel het niet altijd onder de seconde blijft, is het nog steeds ordes van grootte sneller dan de concurrerende methoden.
• Nauwkeurigheid: De resultaten waren zeer dicht bij de "perfecte" niet-private versie. Het verschil (gemeten als Root Mean Square Error) was minuscuul, vaak minder dan 0,02.
• Privacy: Ze bewezen wiskundig dat het protocol beveiligd is tegen groepen van een bepaalde omvang aan samenspellende agenten. De omvang van deze "veilige groep" hangt af van hoeveel buren elke robot heeft; meer verbindingen betekenen betere privacy.

De Kernboodschap

Dit artikel suggereert niet alleen een cool idee; het biedt een werkend recept. De auteurs hebben aangetoond dat je beide kunt hebben: een groep agenten kan samen een krachtig, accuraat model leren terwijl ze hun individuele data volledig verborgen houden voor elkaar, zonder een vertrouwde centrale baas nodig te hebben. Ze hebben aangetoond dat je door gebruik te maken van secret sharing en een beetje wiskundig "afronden", dit op een volledig gedistribueerde manier kunt bereiken die zowel snel als veilig is.

De resultaten suggereren dat deze aanpak klaar is voor echt gebruik en een praktische weg biedt voor privacygevoelige toepassingen zoals de gezondheidszorg, financiële sector en smart cities, waar data te waardevol is om te delen maar ook te belangrijk is om te negeren.