Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
Dieses Paper argumentiert, dass aggregierte Metriken zur Inferenz der Mitgliedschaft wie die ROC-AUC das schwerwiegende, kapazitätsabhängige Risiko der wortgetreuen Extraktion von Trainingsdaten aus Black-Box-Sprachmodellen verschleiern, indem es zeigt, dass spezifische Dokumente, die Identifikatoren oder Code enthalten, häufig unabhängig von Blind-Baselines oder Deduplizierung geleakt werden, und schlägt ein Framework für ein probabilistisches Audit pro Dokument via des „leakit“-Tools vor, um diesen Datenschutzverlust genau zu messen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein ganz bestimmtes, geheimes Rezept verwendet wurde, um einen riesigen, mysteriösen Kuchen zu backen. Sie können die Küche nicht sehen und Sie können den Bäcker nicht nach der Zutatenliste fragen. Alles, was Sie tun können, ist, den Bäcker zu bitten, ein paar weitere Kuchenstücke basierend auf einem winzigen Krümel zu backen, den Sie zuvor gefunden haben. Wenn der Bäcker jedes Mal, wenn Sie nachfragen, exakt dieselbe geheime Zutatenliste ausspuckt, könnten Sie vermuten, dass das geheime Rezept tatsächlich in seinem Gedächtnis gespeichert war. Dies ist die Welt der „Sprachmodelle“ – superintelligente Computerprogramme, die lernen, indem sie riesige Mengen an Text aus dem Internet lesen. Sie sind wie jene Bäcker, aber anstatt Kuchen berechnen sie das nächste Wort in einem Satz.
Die große Frage, die sich Wissenschaftler stellen, ist: Erinnern sich diese digitalen Bäcker an die spezifischen Bücher, die sie „gegessen“ haben? Dies wird als „Membership Inference“ bezeichnet. Wenn ein Modell ein spezifisches Dokument im Gedächtnis hat, könnte es versehentlich private Details preisgeben, wie etwa die E-Mail-Adresse oder Telefonnummer einer Person, die in diesem Dokument verborgen waren. Lange Zeit versuchten Forscher, dies zu messen, indem sie die „durchschnittliche“ Leistung ihrer Tests betrachteten. Sie sagten: „Hey, unser Test ist zu 90 % genau!“ Aber genau wie eine Wettervorhersage, die sagt, es sei „überwiegend sonnig“, aber einen plötzlichen, gefährlichen Sturm übersieht, können diese Durchschnittswerte die Tatsache verbergen, dass ein Modell für einige wenige Pechvögel gefährliche Geheimnisse durchsickern lässt.
Dieses Papier mit dem Titel „LEAK IT“ wirft einen neuen Blick darauf, wie wir diese digitalen Lecks aufspüren. Der Autor, unter der Leitung von Victor Maricato, argumentiert, dass die alte Art, Privatsphäre zu messen, irreführend ist. Sie fanden heraus, dass viele „intelligente“ Tests, die behaupteten, zu erkennen, ob ein Dokument in den Trainingsdaten enthalten war, in Wirklichkeit nur auf dem Stil des Textes selbst basierten und nicht auf dem Gedächtnis des Modells. Es ist, als würde man versuchen zu erraten, ob ein Kuchen mit einem geheimen Rezept gemacht wurde, indem man nur auf die Farbe des Frostings schaut, obwohl die Farbe des Frostings eigentlich nur ein Zufall ist.
Das Papier enthüllt jedoch eine gefährlichere Wahrheit: Während der „Durchschnittstest“ harmlos aussehen mag, leckt das Modell tatsächlich, aber nur für eine sehr spezifische, kleine Gruppe von Dokumenten. Der Forscher entdeckte, dass, wenn man das Modell bittet, einen Satz aus einem Code oder einem Dokument fortzuführen, das eine echte E-Mail-Adresse enthält, es manchmal genau diese private Information wortgetreu ausspuckt. Es ist, als würde der Bäcker, wenn man ihn bittet, einen Satz über ein spezifisches, seltenes Gewürz zu beenden, plötzlich den exakten Markennamen und die Chargennummer dieses Gewürzes herausschreien, obwohl er das bei einer gewöhnlichen Zutat wie Mehl nicht tun würde.
Die Studie zeigt, dass dieses „verbatim extraction“ (wortgetreue Extraktion) schlimmer wird, je größer die Modelle werden. Bei einem Modell mit 6,9 Milliarden Parametern wurden etwa 16,6 % der Dokumente, die echte Identifikatoren (wie E-Mails oder Telefonnummern) enthielten, auf diese Weise geleakt. Überraschenderweise stellte der Autor fest, dass das einfache Entfernen von Duplikaten aus den Trainingsdaten (ein üblicher Sicherheitsschritt) dies nicht wirklich verhinderte. Sie zeigten auch, dass dieses Risiko nicht gleichmäßig verteilt ist; es ist viel höher für Computercode als für normale Geschichten oder Artikel.
Die wichtigste Erkenntnis ist, dass wir aufhören müssen, auf den „Durchschnittswert“ der Privatsphäre zu schauen, und stattdessen nach diesen spezifischen, hochriskanten Lecks suchen müssen. Der Autor veröffentlichte ein neues Werkzeug namens „leakit“, um Auditoren dabei zu helfen, genau diese Momente zu finden, in denen ein Modell versehentlich ein privates Geheimnis preisgeben könnte. Er schlägt vor, dass wir, anstatt nur zu sagen, „das Modell ist weitgehend sicher“, zugeben sollten, dass das Modell für bestimmte Dokumente ein sehr effektives Leck im Gedächtnis ist, und dass wir stärkere Schutzmaßnahmen benötigen, wie zum Beispiel einen speziellen Privatsphäre-Schild namens „Differential Privacy“, um dies zu beheben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.