Die Geheimsprache der Datensilos

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber die Hinweise sind über ein Dutzend verschiedene verschlossene Räume verstreut. Sie können nicht in die Räume gehen, um die Hinweise zu sehen, und den Menschen darin ist es verboten, Ihnen die Rohbeweise zu zeigen. Dies ist die Realität der modernen Datenwissenschaft. In Bereichen wie dem Gesundheitswesen, dem Finanzwesen und der Cybersicherheit sind wertvolle Informationen in „Datensilos“ gefangen – separaten Datenbanken, die von verschiedenen Krankenhäusern, Banken oder Unternehmen gehalten werden. Datenschutzgesetze und Sicherheitsregeln bedeuten, dass diese Organisationen ihre Daten nicht einfach in einen einzigen riesigen Haufen werfen können, um sie gemeinsam zu analysieren.

Um dies zu lösen, nutzen Wissenschaftler eine Technik namens Federated Learning (Föderiertes Lernen). Stellen Sie sich das wie ein Spiel des „Stille Post“ vor, bei dem anstatt der geheimen Nachricht jeder Ihnen eine Zusammenfassung dessen schickt, was er aus seinen eigenen Hinweisen gelernt hat. Sie kombinieren diese Zusammenfassungen, um das große Ganze zu finden, ohne jemals die ursprünglichen Geheimnisse gesehen zu haben. Normalerweise wird dies verwendet, um die Zukunft vorherzusagen, wie zum Beispiel zu erraten, ob ein Patient krank wird. Aber was, wenn Sie nur die Vergangenheit verstehen wollen? Was, wenn Sie verborgene Muster in den Daten finden wollen, um zu erklären, warum Dinge passiert sind? Dies nennt man deskriptive Muster-Mine (descriptive pattern mining). Die Herausforderung besteht darin, dass das Finden dieser Muster wie die Suche nach der Nadel im Heuhaufen ist, und dies über verschlossene Räume hinweg zu tun, ohne den Heu zu teilen, ist unglaublich schwer. Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Rätsel.

Das Paper: FedSLIM

Die Forscher hinter diesem Paper, Samar Samir Khalil, Noha S. Tawfik und Marco Spruit, haben ein neues Werkzeug namens FedSLIM entwickelt. Ihr Ziel war es, einen Weg zu schaffen, wie diese verschlossenen Räume zusammenarbeiten und die wichtigsten Muster in ihren Daten finden können, ohne jemals die Rohdaten selbst zu teilen. Sie wollten nicht nur irgendwelche Muster finden; sie wollten die besten Muster unter Verwendung eines Prinzips namens Minimum Description Length (MDL) finden.

Um MDL zu verstehen, stellen Sie sich vor, Sie haben ein unordentliches Zimmer voller Spielzeuge. Sie möchten das Zimmer einem Freund am Telefon beschreiben. Sie könnten jedes einzelne Spielzeug einzeln aufzählen („ein rotes Auto, ein blaues Auto, ein grünes Auto...“), aber das dauert ewig. Oder Sie finden einen besseren Weg: „Es gibt 50 rote Autos, 30 blaue Autos und 10 grüne Autos.“ Dieser zweite Weg ist kürzer und klüger. MDL ist die mathematische Regel, die Computern hilft, den kürzesten, klügsten Weg zu finden, um einen Datensatz zu beschreiben. Es sucht nach Mustern, die die Daten am stärksten komprimieren, und fasst so die „Geschichte“ der Daten in so wenigen Worten wie möglich zusammen.

Das Problem ist, dass der beste Weg, die Daten zu beschreiben, oft davon abhängt, alle Daten auf einmal zu sehen. Wenn man nur in einen Raum blickt, übersieht man vielleicht ein Muster, das erst erscheint, wenn man die Hinweise aus drei verschiedenen Räumen kombiniert. Die Autoren stellten fest, dass bestehende Methoden zur Suche nach Mustern über verschlossene Räume hinweg hauptsächlich darauf basieren, wie oft Dinge vorkommen (wie das Zählen, wie viele rote Autos existieren). Sie argumentierten, dass dies so ist, als würde man versuchen, eine Zusammenfassung eines Buches zu schreiben, indem man nur zählt, wie oft der Buchstabe „e“ vorkommt; dabei verpasst man die Handlung. Sie wollten eine Methode, die tatsächlich versucht, die beste Zusammenfassung (die kürzeste Beschreibung) über alle verschlossenen Räume hinweg zu schreiben.

Die Lösung: Zwei Arten, das Spiel zu spielen

Das Team stellte FedSLIM vor, welches das erste System ist, das diese Suche nach der „besten Zusammenfassung“ über verteilte Daten hinweg durchführt. Um es zum Funktionieren zu bringen, entwickelten sie zwei verschiedene Versionen, oder „Varianten“, des Werkzeugs, die jeweils eine andere Persönlichkeit haben:

1. FedSLIM-SA (Der Geheimagent): Diese Version ist auf maximale Privatsphäre ausgelegt. Sie verwendet einen speziellen kryptografischen Trick namens „Secure Aggregation“ (sichere Aggregation). Stellen Sie sich vor, alle Spieler schreiben ihre Hinweise auf Papierstücke, werfen sie in einen Mixer und nur der fertige Smoothie (die Gesamtsumme) kommt heraus. Der Server (der Detektiv) sieht die Gesamtzahl der Hinweise, hat aber keine Ahnung, welcher Spieler was beigetragen hat. Das ist großartig für die Privatsphäre, aber es ist, als würde man versuchen, ein Puzzle zu lösen, während man dicke Handschuhe trägt; es ist schwieriger, schnell viele Möglichkeiten zu erforschen.
2. FedSLIM-SO (Der Scout): Diese Version ist auf Geschwindigkeit und Genauigkeit ausgelegt. Die Spieler sagen dem Server genau, wie viele Hinweise sie haben, aber sie verwenden einen Geheimcode für die Namen der Hinweise. Der Server weiß „Spieler A fand 5 von Artikel X“, aber er weiß nicht, was „Artikel X“ eigentlich bedeutet (er weiß z. B. nicht, ob „Artikel X“ „Rauchen“ oder „Husten“ ist). Dies ermöglicht es dem Server, viel flexibler zu sein und mehr Muster zu erforschen, erfordert aber, dass der Server vertrauenswürdig ist und nicht nach den echten Namen fragt.

Was sie herausgefunden haben

Die Autoren testeten FedSLIM an acht verschiedenen realen Datensätzen, die von kleinen Datensammlungen bis hin zu massiven Datensätzen wie dem „Accidents“-Datensatz mit über 340.000 Datensätzen reichen. Sie verglichen ihr neues Werkzeug mit dem „Goldstandard“ des Betrachtens aller Daten in einem einzigen riesigen Haufen (der zentralisierten Baseline).

Hier ist, was die Experimente enthüllten:

• Es funktioniert ohne die Rohdaten: Beide Versionen von FedSLIM waren in der Lage, hochwertige Zusammenfassungen zu finden, die fast so gut waren wie die zentralisierte Version. Es gelang ihnen, die Daten effektiv zu komprimieren, was bedeutet, dass sie die wichtigsten Muster fanden, ohne die Rohtransaktionen sehen zu müssen.
• Weniger Arbeit, gleiche Ergebnisse: Eine der überraschendsten Erkenntnisse war, dass FedSLIM nicht Millionen von Möglichkeiten durchsuchen musste, wie es die zentralisierte Version tat. In vielen Fällen fand es die besten Muster, während es um Größenordnungen weniger Kandidaten überprüfte. Beispielsweise überprüfte die zentralisierte Methode beim „Ionosphere“-Datensatz 294.000 Möglichkeiten, während FedSLIM nur etwa 700 bis 1.500 überprüfte. Es ist, als würde man den Schatz finden, indem man nur ein paar Schlüsselstellen überprüft, anstatt den ganzen Strand aufzugraben.
• Das „Missing Link“-Problem: Die Forscher entdeckten etwas, das sie die „lokal-globale Entdeckungslücke“ nennen. Manchmal ist ein Muster in einem einzelnen verschlossenen Raum so selten, dass der lokale Computer denkt, es sei unwichtig. Aber wenn man die Hinweise aus allen Räumen kombiniert, wird dasselbe Muster zu einer bedeutenden Geschichte.
  • Beispiel: Stellen Sie sich ein Muster wie „Rauchen + Husten + Gewichtsverlust“ vor. In einem Krankenhaus haben vielleicht nur 2 Personen alle drei Merkmale. Der lokale Computer ignoriert es. In einem anderen Krankenhaus haben vielleicht nur 3 Personen dies. Der lokale Computer ignoriert es wieder. Aber über 10 Krankenhäuser hinweg tritt dieses Muster vielleicht 50 Mal auf, was es zu einem sehr wichtigen Hinweis für eine bestimmte Gruppe von Patienten macht.
  • FedSLIM war in der Lage, diese „Missing Links“ zu finden, die kein einzelner lokaler Raum allein hätte finden können. Beim „Chess“-Datensatz konnte das Tool über 85 % dieser global wichtigen Muster wiederherstellen, die für die lokalen Computer unsichtbar waren. Beim „Adult“-Datensatz stellte es etwa die Hälfte dieser Muster wieder her.

Die Kompromisse

Das Paper hebt auch hervor, dass es keine perfekte Lösung gibt; es ist ein Balanceakt.

• FedSLIM-SA ist am privatesten, wird aber langsamer und weniger genau, wenn man mehr verschlossene Räume (Clients) hinzufügt. Als sie es mit 128 Clients testeten, sank die Leistung signifikant, da die „Geheimagent“-Methode zu schwerfällig wurde, um so viele Menschen gleichzeitig zu handhaben.
• FedSLIM-SO blieb selbst mit 128 Clients stark. Es fand weiterhin gute Muster und behielt eine hohe Genauigkeit bei. Dies geschah jedoch auf Kosten der Kommunikation zwischen dem Server und den Clients.

Was dies bedeutet

Die Autoren legen nahe, dass FedSLIM beweist, dass es möglich ist, eine qualitativ hochwertige, privatsphärewahrende Datenanalyse durchzuführen, ohne die Fähigkeit zu opfern, die wichtigsten Geschichten in den Daten zu finden. Sie zeigten, dass man nicht jedes einzelne Muster finden muss, um eine großartige Zusammenfassung zu erhalten; man muss nur die „hochwirksamen“ Muster finden, die die Hauptgeschichte erzählen.

Sie weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. Das System erfordert immer noch viel Kommunikation, insbesondere für sehr große oder komplexe Datensätze, und die „Geheimagent“-Version (SA) hat Schwierigkeiten, wenn die Gruppe zu groß wird. Sie merken auch an, dass das Werkzeug zwar gut auf den von ihnen getesteten Datensätzen funktioniert, die Skalierung auf noch größere Zahlen von Artikeln (wie Millionen verschiedener Produktarten) jedoch eine größere Herausforderung sein könnte als nur eine größere Anzahl von Transaktionen.

Kurz gesagt: FedSLIM ist eine neue, kluge Art und Weise, wie Datensilos miteinander kommunizieren können. Es ermöglicht ihnen, ein gemeinsames Verständnis ihrer Daten aufzubauen – die verborgenen Muster zu finden, die die Vergangenheit erklären – ohne jemals die Mauern niederreißen zu müssen, die ihre Geheimnisse schützen. Es deutet darauf an, dass wir sowohl Privatsphäre als auch tiefe Einsichten haben können, sofern wir bereit sind, den richtigen mathematischen „Übersetzer“ zu verwenden.