Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
Diese Arbeit zeigt auf, dass datenfreie Wissensdestillation mittels gemeinsamer Initialisierung fehlschlägt, private Modelle zu bereinigen, da Gauß-Rausch-Abfragen unbeabsichtigt memorierte Trainingsdaten und Backdoors vom Lehrer- auf das Schüler-Netzwerk übertragen können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz werden Modelle oft mit riesigen Sammlungen privater Informationen trainiert, von medizinischen Aufzeichnungen bis hin zu persönlichen Nachrichten. Um diese Daten zu schützen, haben Forscher eine Technik namens Knowledge Distillation entwickelt. Stellen Sie sich einen Meisterkoch vor, der gelernt hat zu kochen, indem er ein geheimes Familienrezeptbuch studierte. Um die Fähigkeiten des Kochs zu teilen, ohne das Buch preiszugeben, bildet er einen neuen, kleineren Lehrling aus, der den Kochstil des Meisters unter Verwendung nur zufälliger, bedeutungsloser Zutaten wie reinem Wasser oder ungewürztem Mehl nachahmt. Die Hoffnung ist, dass der Lehrling, da er nie die ursprünglichen Zutaten sieht, nur die allgemeine Technik lernt und die spezifischen Geheimnisse vergisst. Diese Methode gilt seit langem als sichere Art, KI-Modelle zu teilen und gleichzeitig die ursprünglichen Trainingsdaten privat zu halten. Sie wird auch eingesetzt, um versteckte „Backdoors“ – geheime Trigger, die Angreifer platziert haben, um das Modell zu Fehlverhalten zu zwingen – zu entfernen, indem das Modell auf sauberen, zufälligen Daten neu trainiert wird.
Eine neue Studie stellt diesen lang gehegten Glauben jedoch infrage. Forscher fanden heraus, dass, wenn der Meister und der Lehrling mit exakt demselben grundlegenden Entwurf beginnen, der Lehrling die Geheimnisse dennoch lernen kann, selbst wenn er mit reinem Rauschen gefüttert wird. Die Studie zeigt, dass dieser Prozess das Modell nicht so bereinigt, wie bisher angenommen. Stattdessen fungiert er als verborgene Pipeline, die nicht nur die allgemeinen Fähigkeiten, sondern auch die spezifischen, auswendig gelernten Details der privaten Daten überträgt, einschließlich Backdoors und privater Datensätze. Diese Entdeckung legt nahe, dass das bloße Nachtrainieren eines Modells auf zufälligen Eingaben nicht ausreicht, um die Privatsphäre zu schützen, wenn der Ausgangspunkt des Trainings einem Außenstehenden bekannt ist.
Die Forscher testeten diese Idee mithilfe von Bilderkennungsmodellen, die auf Standarddatensätzen wie handgeschriebenen Ziffern und Kleidungsstücken trainiert wurden. Sie kreierten ein Szenario, in dem ein „Lehrer“-Modell auf privaten Daten trainiert wurde, die spezielle, falsch etikettierte Bilder und versteckte Trigger enthielten, die als Backdoors fungieren sollten. Sie versuchten dann, ein „Schüler“-Modell zu erstellen, indem sie die Reaktionen des Lehrers auf zufälliges Rauschen imitierten, ein Prozess, der als Data-Free Distillation bekannt ist. Entscheidend war, dass sie zwei Szenarien verglichen: eines, bei dem der Schüler mit exakt denselben Grundeinstellungen wie der Lehrer begann, und eines, bei dem der Schüler mit einem völlig anderen, zufälligen Setup startete.
Die Ergebnisse waren verblüffend. Wenn der Schüler und der Lehrer dieselbe Ausgangsstruktur teilten, erbte der Schüler die Geheimnisse des Lehrers. Selbst wenn der Schüler nur mit zufälligem statischem Rauschen trainiert wurde, konnte er die spezifischen privaten Bilder identifizieren, die der Lehrer auswendig gelernt hatte. In einem Experiment mit handgeschriebenen Ziffern konnte das Schüler-Modell korrekt erraten, ob ein bestimmtes Bild Teil des privaten Trainingssatzes des Lehrers war, mit einem AUC-Wert von 0,86, ein Niveau weit über dem Zufall. Darüber hinaus erbte der Schüler auch die Backdoor-Trigger. Wenn man dem Schüler Bilder mit einem spezifischen versteckten Muster präsentierte, löste dies dasselbe bösartige Verhalten wie beim Lehrer aus, mit einer Erfolgsrate von 93 Prozent. Dies geschah selbst, wenn dem Schüler nur die internen, ungenutzten Ausgaben des Lehrers gezeigt wurden – Signale, die nie Teil des ursprünglichen Trainings waren und keine offensichtliche Bedeutung trugen.
Im Gegensatz dazu lernte der Schüler nichts von den Geheimnissen, wenn er mit einem anderen, unabhängigen Entwurf startete. Dasselbe Training mit Zufallsrauschen erzeugte ein Modell, das weder die privaten Bilder identifizieren noch die Backdoors auslösen konnte. Dies beweist, dass das Leck nicht durch das Zufallsrauschen selbst verursacht wurde, sondern durch den gemeinsamen Ausgangspunkt. Die Forscher fanden heraus, dass dieser Effekt besonders stark war, wenn das Lehrer-Modell nicht zu lange trainiert worden war und nah an seinem ursprünglichen Zustand blieb. Je weiter sich der Lehrer durch extensives Training von seinem Ausgangspunkt entfernte, desto schwieriger wurde es, das Leck auszunutzen, aber es verschwand nicht vollständig. Die Studie zeigte auch, dass diese Schwachstelle über einfache Bildmodelle hinaus auf Sprachmodelle übergeht, bei denen zufällige Zeichenfolgen ausreichten, um geheime Codes zu extrahieren, die in den privaten Trainingstext eingefügt worden waren.
Die Forscher erklärten dieses Phänomen durch die Betrachtung, wie sich die Modelle während des Trainings verändern. Sie fanden heraus, dass, wenn zwei Modelle einen gemeinsamen Ausgangspunkt teilen, der Akt des Imitierens der Antworten des Lehrers auf Zufallsrauschen die internen Einstellungen des Schülers effektiv in dieselbe Richtung drängt wie die des Lehrers. Da die Einstellungen des Lehrers durch die privaten Daten geformt wurden, werden auch die Einstellungen des Schülers in diese Richtung gedrängt, wodurch die privaten Informationen mit ihnen übertragen werden. Das Zufallsrauschen fungiert als ein Vehikel, das die richtigen Teile des Modells anregt, um diese verborgenen Richtungen offenzulegen. Die Studie zeigte, dass dieser Transfer unabhängig davon geschieht, ob die bewegten Informationen nützliches Allgemeinwissen oder ein spezifisches, auswendig gelerntes Geheimnis sind. Der Prozess kann nicht zwischen ihnen unterscheiden.
Um zu testen, ob diese Schwachstelle behoben werden konnte, probierten die Forscher verschiedene Abwehrmaßnahmen aus. Sie fanden heraus, dass das Hinzufügen von Zufallsrauschen zu den Antworten des Lehrers den Angriff nicht stoppte; ein Angreifer konnte einfach mehr Fragen stellen, um das Rauschen herauszumitteln, und die Geheimnisse dennoch wiederherstellen. Sie fanden auch heraus, dass die Beschränkung der Ausgabe auf nur bedeutungslose Daten nicht half, da die verborgenen Informationen dennoch übertragen wurden. Die einzigen effektiven Verteidigungsmechanismen, die sie identifizierten, waren entweder die Verwendung von Differential Privacy – einer mathematischen Garantie, die begrenzt, was ein einzelnes Stück an Daten dem Modell lehren kann – oder die Sicherstellung, dass das private Modell von einer völlig anderen, geheimen Initialisierung startet, die nicht öffentlich bekannt ist. Letzteres ist jedoch für Modelle schwierig, die von populären öffentlichen Basen feinabgestimmt wurden, da es erfordert, die Vorteile dieses öffentlichen Ausgangspunkts aufzugeben.
Diese Arbeit verändert grundlegend unsere Sichtweise auf die Sicherheit des Teilens von KI-Modellen. Sie zeigt, dass die Annahme, dass Zufallseingaben als Filter wirken, falsch ist, wenn die Modelle einen gemeinsamen Ursprung haben. Die Studie kommt zu dem Schluss, dass in einer Ära, in der die meisten KI-Modelle durch das Fine-Tuning weniger öffentlicher Basismodelle erstellt werden, der gemeinsame Ausgangspunkt eine kritische Information ist, die Angreifer nutzen können. Sicherheits- und Datenschutzbewertungen für diese Modelle müssen nun einen Gegner berücksichtigen, der die öffentliche Basis kennt und Zufallsabfragen nutzen kann, um private Details zu extrahieren, was beweist, dass Data-Free Distillation kein sicherer Hafen für sensible Informationen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.