Extracting Training Data from Diffusion Language Models via Infilling
Dieser Beitrag führt „Infilling-Extraktion" ein, um nachzuweisen, dass Diffusions-Sprachmodelle aufgrund ihrer bidirektionalen Denoising-Fähigkeiten, die Angreifern ermöglichen, mit randbedingten Masken bis zu dreimal so viele wörtliche Sequenzen einschließlich geschwärzter personenbezogener Daten zu extrahieren, signifikant anfälliger für das Auswendiglernen von Trainingsdaten sind als autoregressive Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen riesigen, superschlauen Bibliotheksassistenten (ein Large Language Model), der Millionen von Büchern, E-Mails und Dokumenten gelesen hat. Sie möchten wissen: Wie wahrscheinlich ist es, dass dieser Assistent, wenn jemand ihn auffordert, einen bestimmten Satz aus seinem Gedächtnis zu wiederholen, die Geheimnisse verrät?
Lange Zeit haben Forscher dies nur getestet, indem sie den Assistenten aufforderten, einen Satz vom allerersten Wort an zu „vollenden". Es ist, als würde man jemandem die erste Hälfte einer Geschichte zeigen und ihn bitten, den Rest zu erraten. Dies funktioniert gut für Standard-KI-Modelle, die von links nach rechts lesen, wie ein Mensch, der ein Buch liest.
Doch diese Arbeit stellt eine neue Art von KI vor, ein Diffusions-Sprachmodell (DLM). Denken Sie an ein DLM nicht als Leser, sondern als Restaurator beschädigter Gemälde. Wenn Sie ein Meisterwerk nehmen und zufällige Teile davon mit weißer Farbe übermalen (Masken), besteht die Aufgabe des DLM darin, das ganze Bild zu betrachten – was links ist, was rechts ist und was in der Mitte ist – und zu erraten, was die versteckten Teile sein sollten.
Die Autoren dieser Arbeit sagen: „Hey, wir haben diese Gemälderestauratoren auf die falsche Weise getestet!"
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:
1. Der alte Weg vs. der neue Weg
- Der alte Weg (Prefix-bedingt): Stellen Sie sich vor, Sie zeigen dem Restaurator nur den linken Rand eines Gemäldes und fragen: „Was kommt als Nächstes?" Die Arbeit ergab, dass das DLM, wenn man dies nur so tut, ziemlich sicher erscheint. Es gibt kaum geheime Informationen preis.
- Der neue Weg (Infilling-Extraktion): Die Autoren erkannten, dass DLMs, da sie beide Seiten einer Lücke betrachten können, einem hinterhältigen Angreifer erlauben, die Mitte eines Satzes zu verdecken und zu fragen: „Füllen Sie die Lücke aus." Oder sie könnten die Enden verdecken und fragen: „Was ist in der Mitte?"
- Die Analogie: Es ist wie ein Spiel „Mad Libs". Wenn Sie der KI den Anfang und das Ende eines Satzes geben, könnte sie das mittlere Wort perfekt erraten, selbst wenn sie das Ende nicht erraten könnte, wenn Sie ihr nur den Anfang gäben.
2. Die große Entdeckung: „Rand" ist die Gefahrenzone
Die Forscher testeten verschiedene Möglichkeiten, Teile des Textes zu verbergen (Masken). Sie stellten fest, dass wie Sie den Text verdecken, wichtiger ist, als Sie denken.
- Der „Rand"-Effekt: Wenn Sie den allerersten und den allerletzten Teil eines Satzes offenlegen (die Mitte verdeckend), ist es für das DLM dreimal wahrscheinlicher, die genauen Wörter preiszugeben, als wenn Sie nur den Anfang offenlegen.
- Warum? Weil das DLM Hinweise von beiden Seiten nutzt, um die Mitte zu rekonstruieren. Es ist, als würden zwei Personen einer dritten Person den Anfang und das Ende eines Geheimnisses zuflüstern; sie können das ganze Geheimnis viel leichter erraten, als wenn nur eine Person den Anfang zuflüstern würde.
3. Das Szenario „Schwärzungs-Dokument"
Die Arbeit betrachtet ein sehr realistisches, beängstigendes Szenario:
- Stellen Sie sich vor, ein Unternehmen trainiert eine KI auf privaten E-Mails, schwärzt (redigiert) dann aber alle Telefonnummern und Namen, bevor es die Daten oder das Modell veröffentlicht.
- Der Angriff: Ein Hacker nimmt das Modell und sagt: „Ich habe die E-Mail mit dem geschwärzten Namen. Bitte füllen Sie die Lücke aus."
- Das Ergebnis: Obwohl die KI auf redigierten Daten trainiert wurde, kann der „Gemälderestaurator" (DLM) aufgrund seiner hervorragenden Fähigkeit, den umgebenden Kontext zu betrachten, oft den geschwärzten Namen oder die Nummer erraten, besser als ein Standard-KI-Modell, das wie ein „Buchleser" funktioniert.
- Die Erkenntnis: Nur weil Sie sensible Informationen in den Trainingsdaten schwärzen, bedeutet das nicht, dass die KI sie nicht im Gedächtnis behält. Tatsächlich ist es für diese Art von KI vielleicht einfacher, das Geheimnis zu erraten, wenn Sie ihr den Kontext auf beiden Seiten geben.
4. Justieren der „Restaurierungs"-Einstellungen
Die Forscher stellten auch fest, dass die Einstellungen, die verwendet werden, um den Text zu „restaurieren" (wie viele Schritte die KI zum Erraten unternimmt), beeinflussen, wie viel sie preisgibt.
- Langsam und stetig: Wenn Sie die KI viele kleine, sorgfältige Schritte zum Ausfüllen der Lücken machen lassen, gibt sie mehr geheime Informationen preis.
- Schnell und locker: Wenn Sie sie schnell erraten lassen, gibt sie weniger preis.
- Die Lehre: Die „Regler", die Sie drehen, um die KI schneller oder schlauer zu machen, steuern auch, wie viel sie sich merkt. Sie können nicht einfach einen Regler nur für die Geschwindigkeit drehen, ohne die Sicherheit zu beeinflussen.
5. Fine-Tuning behebt es nicht
Schließlich fragten sie: „Wenn wir die KI später zu einem höflichen Chatbot weiterbilden (ein Prozess namens SFT), vergisst sie dann die Geheimnisse?"
- Die Antwort: Nein. Es ist, als würde man einem Papagei beibringen, ein Schimpfwort nicht mehr zu sagen, indem man ihm neue Wörter beibringt. Der Papagei mag es manchmal aufhören zu sagen, aber wenn Sie die richtige Frage stellen (unter Verwendung des „Rand"-Tricks), wird er das alte Geheimnis trotzdem herausplatzen lassen. Das Gedächtnis ist noch da; es wurde nur umorganisiert.
Zusammenfassung
Diese Arbeit warnt uns, dass Diffusions-Sprachmodelle wie Gemälderestauratoren sind, nicht nur Buchleser. Wenn Sie sie nur testen, indem Sie sie bitten, einen Satz vom Anfang an zu vollenden, denken Sie, sie seien sicher. Aber wenn Sie sie testen, indem Sie sie bitten, die Mitte eines Satzes auszufüllen (unter Verwendung von Hinweisen von beiden Seiten), ist es viel wahrscheinlicher, dass sie private Informationen preisgeben, selbst wenn diese Informationen aus ihren Trainingsdaten entfernt wurden.
Die Hauptbotschaft: Wir müssen aufhören, diese Modelle nur mit einem Auge zu testen (von links nach rechts blickend) und anfangen, sie mit beiden Augen zu testen (das ganze Bild betrachtend), sonst werden wir massiv unterschätzen, wie viele private Daten sie festhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.