Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning
Dieses Paper schlägt ein Framework für kollaboratives Lernen unter Wahrung der Privatsphäre vor, welches die Methode der geometrischen Datenperturbation verbessert, indem es Rauschen zu den geteilten Ankerrepräsentationen anstatt zu den privaten Daten hinzufügt, wodurch Kollusionsangriffe zwischen Analysten und Teilnehmern effektiv gemildert werden, während gleichzeitig im Vergleich zu bestehenden Ansätzen ein hoher Lernnutzen beibehalten wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt halten Organisationen oft nur Teile eines größeren Puzzles. Ein Krankenhaus besitzt möglicherweise Patientenakten, eine Bank Transaktionsverläufe und eine Universität Leistungsdaten von Studierenden. Um eine bessere künstliche Intelligenz zu entwickeln, müssen diese Gruppen ihre Informationen kombinieren. Gesetze und Datenschutzbedenken verhindern jedoch meist, dass sie ihre Rohdaten einfach teilen. Dies schafft ein schwieriges Problem: Wie können Gruppen zusammenarbeiten, um voneinander zu lernen, ohne jemals ihre privaten Geheimnisse preiszugeben? Eine vielversprechende Lösung beinhaltet eine Technik namens geometrische Datenperturbation. Stellen Sie sich vor, man nimmt ein Foto und dreht oder verschiebt es leicht, ohne den Abstand zwischen zwei beliebigen Punkten im Bild zu verändern. Das Bild sieht anders aus, aber seine interne Struktur bleibt intakt. Durch die Anwendung dieser mathematischen Verschiebungen auf Daten können Organisationen eine verzerrte Version ihrer Informationen an einen zentralen Analysten senden. Der Analyst kann dann leistungsstarke Modelle auf den kombinierten, verzerrten Daten trainieren, während die ursprünglichen privaten Datensätze verborgen bleiben.
Die Herausforderung entsteht, wenn der zentrale Analyst und eine der teilnehmenden Organisationen beschließen, zusammenzuarbeiten, um die Privatsphäre der anderen zu brechen. Wenn alle Organisationen exakt dieselbe mathematische Verschiebung verwendet hätten, könnten das kolludierende Paar den Prozess leicht umkehren und die privaten Daten aller sehen. Um dies zu verhindern, schlugen Forscher zuvor vor, dass jede Organisation ihre eigene, einzigartige Verschiebung verwenden sollte. Dies führt jedoch zu einem neuen Problem: Die Daten aus verschiedenen Gruppen enden in inkompatiblen Formaten, was es unmöglich macht, ein einziges Modell effektiv zu trainieren. Ein kluger Umweg namens „Anchor Alignment“ (Anker-Ausrichtung) wurde entwickelt, um dies zu beheben. Es nutzt einen gemeinsamen, synthetischen Satz von Referenzpunkten – wie ein gemeinsames Gitternetz einer Landkarte –, den jede Organisation zusammen mit ihren privaten Daten transformiert. Der Analyst nutzt diese transformierten Referenzpunkte, um die verschiedenen Datensätze in ein einziges, nutzbares Format auszurichten. Doch eine neue Studie enthüllt einen kritischen Fehler in diesem Ansatz: Wenn ein kolludierender Partner die ursprüngliche Referenzkarte preisgibt, kann der Analyst die einzigartigen Verschiebungen aller anderen Teilnehmer mathematisch umkehren und deren private Daten vollständig offenlegen.
Forscher der Universität Tsukuba haben eine neue Methode vorgeschlagen, um genau diese Schwachstelle zu lösen. Sie erkannten, dass das Hinzufügen von Rauschen oder zufälligem statischem Rauschen direkt zu den privaten Daten, um sie zu schützen, die Qualität des fertigen Modells ruinieren würde. Stattdessen entschieden sie sich, das Rauschen direkt zur Referenzkarte hinzuzufügen. In ihrem neuen System verwendet jede Organisation zwar immer noch ihre eigene einzigartige Verschiebung für ihre privaten Daten, aber wenn sie die gemeinsame Referenzkarte transformieren, fügen sie eine Schicht aus zufälligem Rauschen hinzu, bevor sie diese an den Analysten senden. Dieses Rauschen macht es mathematisch unmöglich, dass der Analyst und ein kolludierender Partner die einzigartigen Verschiebungen der anderen Teilnehmer perfekt umkehren können. Der Analyst kann die Daten immer noch gut genug ausrichten, um ein nützliches Modell zu trainieren, aber der Weg zum Diebstahl der privaten Informationen wird durch das Rauschen blockiert.
Das Team testete diese Idee anhand zweier großer Bilddatensätze: einer, der handgeschriebene Ziffern enthielt, und ein anderer, der tausende von Prominentengesichtern enthielt. Sie simulierten ein Szenario, in dem ein Analyst und ein Teilnehmer konspirierten, um die Daten der anderen zu stehlen. Wenn sie das Rauschen direkt zu den privaten Daten hinzufügten, sank die Genauigkeit des Modells signifikant, sobald der Datenschutz erhöht wurde. Als sie das Rauschen jedoch nur zur Referenzkarte hinzufügten, fanden sie ein viel besseres Gleichgewicht. Das System behielt eine hohe Genauigkeit für das maschinelle Lernen bei und machte es gleichzeitig extrem schwierig für die Angreifer, die ursprünglichen Bilder zu rekonstruieren. In ihren Experimenten ermöglichte die neue Methode dem System, eine hohe Lerngenauigkeit zu erreichen, selbst wenn das Risiko eines Datenlecks gering gehalten wurde. Die Forscher zeigten, dass sie durch den Schutz des Ausrichtungssignals anstelle der Daten selbst ein System schaffen konnten, das sowohl für die Zusammenarbeit nützlich als auch robust gegenüber Insider-Bedrohungen ist. Dieser Ansatz bietet eine praktische Möglichkeit für Organisationen, an sensiblen Projekten zusammenzuarbeiten, ohne sich zwischen Privatsphäre und Leistung entscheiden zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.