HE-LRM: Encrypted Deep Learning Recommendation Models using Fully Homomorphic Encryption
Dieses Papier präsentiert HE-LRM, ein leistungsorientiertes Framework, das durch die Einführung von clientseitiger Digit-Zerlegung und Multi-Embedding-Packing eine effiziente, Ende-zu-Ende-verschlüsselte Inferenz für Deep-Learning-Empfehlungsmodelle mittels Fully Homomorphic Encryption ermöglicht, um die Kommunikations- und Rechenengpässe dünnbesetzter kategorialer Eingaben zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein geheimes Rezept sicher aufzubewahren, während Sie einen riesigen, superschnellen Roboter-Koch bitten, es für Sie zu kochen. Sie möchten nicht, dass der Roboter die Zutaten (Ihre privaten Daten) sieht, und der Roboter möchte das Rezept (das Geheimnis des Unternehmens) nicht sehen. Normalerweise müssen Sie die Zutaten in einem Tresor einschließen, um sie geheim zu halten, den Tresor an den Roboter schicken, warten, bis er ihn öffnet, kocht und ihn dann wieder verschließt. Aber was wäre, wenn Sie dem Roboter eine verschlossene Box geben könnten und der Roboter darin tatsächlich kochen könnte, ohne sie jemals zu öffnen? Das ist die Magie der vollhomomorphen Verschlüsselung (Fully Homomorphic Encryption – FHE). Es ist wie ein spezieller Küchenhandschuh, der es Ihnen ermöglicht, Zutaten zu mischen und zu hacken, während sie sich noch in einem versiegelten, transparenten Beutel befinden. Das Problem ist, dass dieses „Kochen“ unglaublich langsam und ungeschickt ist, besonders wenn das Rezept das Nachschlagen bestimmter Zutaten aus einer riesigen, staubigen Bibliothek mit tausenden Optionen beinhaltet. Dies ist die Herausforderung, vor der Empfehlungsmodelle (Recommendation Models) stehen – jene intelligenten Algorithmen, die entscheiden, welchen Film Sie als Nächstes schauen oder welches Produkt Sie als Nächstes kaufen sollten. Sie verlassen sich auf riesige „Embedding-Tabellen“ – gigantische Listen, die einfache Wörter wie „Pizza“ oder „New York“ in komplexe mathematische Codes verwandeln. Wenn diese Tabellen in einem geheimen Beutel eingeschlossen sind, wird das Finden des richtigen Codes zu einem Albtraum aus langsamer, teurer Mathematik, die Stunden dauern kann.
Hier kommt HE-LRM ins Spiel, eine neue Lösung, die von Forschern der New York University und LG Electronics entwickelt wurde, um dieses geheime Kochen viel schneller zu machen. Stellen Sie sich die alte Art, ein Objekt in einer geheimen Bibliothek zu suchen, so vor, als würde man versuchen, ein bestimmtes Buch zu finden, indem man jedes einzelne Regal nacheinander überprüft, selbst wenn man nur ein einziges Buch benötigt. Das ist langsam und verschwendet viel Energie. Die Forscher erkannten, dass man, anstatt die ganze Bibliothek zu durchsuchen, die Signatur des Buches in kleinere, einfachere Ziffern zerlegen kann (wie zum Beispiel die „14“ in „1“ und „4“ aufzuteilen) und diese Ziffern nutzen kann, um direkt zur richtigen Stelle zu springen. Sie nennen dies Digitenzerlegung (digit decomposition). Durch das Ausführen dieser Mathematik auf der Client-Seite (Ihrer Seite), bevor die Anfrage gesendet wird, vermeiden sie die langsame, schwere Arbeit auf der Server-Seite.
Darüber hinaus haben sie herausgefunden, wie man mehrere verschiedene Bibliotheken in ein einziges, riesiges, organisiertes Lagerhaus packen kann. Anstatt eine separate Anfrage für jede einzelne Kategorie (wie „Filme“, „Standorte“ und „Alter“) zu senden, stapeln sie alle Nachschlagetabellen diagonal in einem einzigen, massiven Gitter. Dies ermöglicht es dem Roboter-Koch, alle benötigten Zutaten in einem einzigen, parallelen Schwung zu greifen, anstatt viele kleine Wege zu machen. Das Ergebnis ist ein System, das dramatisch schneller ist als bisherige Versuche. Auf einem Standard-Computerprozessor gelang es ihnen, eine vollständige private Empfehlung für eine Gesundheitsvorhersageaufgabe in etwa 24 Sekunden und für eine komplexe Filmempfehlung in der Zeit zwischen 228 und 489 Sekunden auszuführen. Obwohl diese Zeiten immer noch zu lang für eine Echtzeit-App auf Ihrem Telefon sind, zeigten die Forscher, dass die Zeit auf nur wenige Sekunden oder sogar weniger als eine Sekunde sinken könnte, wenn man spezielle, superschnelle Computerchips (GPUs oder ASICs) verwendet, die speziell für diese Art von Mathematik entwickelt wurden. Dies deutet darauf an, dass wir in naher Zukunft endlich in der Lage sein könnten, personalisierte Empfehlungen zu erhalten, ohne jemals unsere privaten Daten in die Cloud übergeben zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.