Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
Dit artikel으로 toont aan dat data-vrije kennisdistillatie met gedeelde initialisatie faalt in het saneren van private modellen, aangezien queries met Gaussische ruis onbedoeld gememoriseerde trainingsdata en backdoors van teacher- naar student-netwerken kunnen overdragen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie worden modellen vaak getraind op enorme collecties privé-informatie, van medische dossiers tot persoonlijke berichten. Om deze gegevens te beschermen, hebben onderzoekers een techniek ontwikkeld die kennisdestillatie wordt genoemd. Stel je een meesterkok voor die heeft geleerd koken aan de hand van een geheim familiekookboek. Om de vaardigheden van de kok te delen zonder het boek te onthullen, traint de kok een nieuwe, kleinere leerling om de kookstijl van de meester na te bootsen met behulp van alleen willekeurige, betekenisloze ingrediënten zoals water of ongekruide bloem. De hoop is dat de leerling, omdat hij de oorspronkelijke ingrediënten nooit ziet, alleen de algemene techniek leert en de specifieke geheimen vergeet. Deze methode wordt al lang beschouwd als een veilige manier om AI-modellen te delen terwijl de oorspronkelijke trainingsdata privé blijft. Het wordt ook gebruikt om te proberen verborgen "backdoors" te verwijderen—geheime triggers die door aanvallers zijn geplant om een model slecht te laten gedragen—door het model te hertrainen op schone, willekeurige data.
Een nieuwe studie daagt dit lang gevestigde geloof uit. Onderzoekers ontdekten dat als de meester en de leerling met exact hetzelfde basisontwerp beginnen, de leerling nog steeds de geheimen kan leren, zelfs als hij wordt gevoed met willekeurige ruis. De studie laat zien dat dit proces het model niet zuivert zoals voorheen werd aangenomen. In plaats daarvan fungeert het als een verborgen pijplijn die niet alleen de algemene vaardigheden, maar ook de specifieke, onthouden details van de privédata overdraagt, inclusief backdoors en privérecords. Deze ontdekking suggereert dat het simpelweg hertrainen van een model op willekuele inputs niet voldoende is om de privacy te beschermen als het startpunt van de training bekend is bij een buitenstaander.
De onderzoekers testten dit idee met beeldherkenningsmodellen die getraind zijn op standaard datasets zoals handgeschreven cijfers en kledingartikelen. Ze creëerden een scenario waarin een "docent"-model werd getraind op privédata die speciale, verkeerd gelabelde afbeeldingen en verborgen triggers bevatte die bedoeld waren om als backdoors te fungeren. Ze probeerden vervolgens een "leerling"-model te maken door het docent-model te laten reageren op willekeurige ruis, een proces dat data-vrije destillatie wordt genoemd. Cruciaal was dat ze twee scenario's vergeleken: een scenario waarin de leerling met exact dezelfde begininstellingen als de docent begon, en een scenario waarin de leerling met een volledig andere, willekeurige opzet begon.
De resultaten waren opmerkelijk. Wanneer de leerling en de docent hetzelfde startontwerp deelden, erfde de leerling succesvol de geheimen van de docent. Zelfs hoewel de leerling alleen werd getraind op willekeurige statische ruis, leerde hij specifieke privéafbeeldingen te identificeren die de docent had onthouden. In één experiment met handgeschreven cijfers kon het leerling-model correct raden of een specifieke afbeelding deel uitmaakte van de privétrainingsset van de docent met een AUC van 0,86, een niveau dat ver boven de kans op toeval ligt. Bovendien erfde de leerling ook de backdoor-triggers. Wanneer de leerling werd gepresenteerd met afbeeldingen die een specifiek verborgen patroon bevatten, vertoonde het model hetzelfde kwaadaardige gedrag als de docent, met een stijging van het succespercentage van 93 procent. Dit gebeurde zelfs wanneer de leerling alleen de interne, ongebruikte outputs van de docent kreeg te zien—signalen die nooit deel uitmaakten van de oorspronkelijke training en geen duidelijke betekenis hadden.
In contrast hiermee leerde de leerling niets van de geheimen wanneer de leerling met een ander, onafhankelijk ontwerp begon. Dezelfde training met willekeurige ruis produceerde een model dat noch de privéafbeeldingen kon identificeren, noch de backdoors kon triggeren. Dit bewijst dat de lekkage niet werd veroorzaakt door de willekeurige ruis zelf, maar door het gedeelde startpunt. De onderzoekers ontdekten dat dit effect bijzonder sterk was wanneer de docent-model nog niet te lang was getraind en dicht bij zijn oorspronkelijke staat bleef. Naarmate de docent verder van zijn startpunt af bewoog door uitgebreide training, werd de lekkage moeilijker uit te buiten, maar verdween deze niet volledig. De studie toonde ook aan dat deze kwetsbaarheid verder gaat dan eenvoudige beeldmodellen naar taalmodellen, waarbij willekure karakterreeksen voldoende waren om geheime codes te extraheren die in de privé trainings tekst waren ingevoegd.
De onderzoekers verklaarden dit fenomeen door te kijken naar hoe de modellen veranderen tijdens de training. Ze ontdekten dat wanneer twee modellen een startpunt delen, de handeling van het nabootsen van de reacties van de docent op willekeurige ruis de interne instellingen van de leerling effectief in dezelfde richting duwt als die van de docent. Omdat de instellingen van de docent gevormd zijn door de privédata, worden de instellingen van de leerling in diezelfde richting geduwd, waarbij de privé-informatie met hen mee wordt gedragen. De willekeurige ruis fungeert als een voertuig dat de juiste delen van het model exciteert om deze verborgen richtingen te onthullen. De studie toonde aan dat deze transfer plaatsvindt, ongeacht of de verplaatste informatie nuttige algemene kennis of een specifiek, onthouden geheim is. Het proces kan het verschil niet onderscheiden.
Om te testen of deze kwetsbaarheid kon worden opgelost, probeerden de onderzoekers verschillende verdedigingen. Ze vonden dat het toevoegen van willekeurige ruis aan de antwoorden van de docent de aanval niet stopte; een aanvaller kon simpelweg meer vragen stellen om de ruis te middelen en de geheimen alsnog te herstellen. Ze vonden ook dat het beperken van de output tot alleen betekenisloze data niet hielp, aangezien de verborgen informatie nog steeds werd overgedragen. De enige effectieve verdedigingen die zij identificeerden, waren ofwel het gebruiken van differential privacy—een wiskundige garantie die beperkt wat een enkel stuk data een model kan leren—ofwel ervoor zorgen dat het privé model begint vanuit een volledig ander, geheim initiatief dat niet met het publiek wordt gedeeld. De laatste optie is echter moeilijk voor modellen die worden gefinetuned van populaire publieke bases, omdat dit vereist dat men het voordeel van die publieke startpositie opgeeft.
Dit werk verandert fundamenteel hoe we naar de veiligheid van het delen van AI-modellen kijken. Het laat zien dat de aanname dat willekeurige inputs als een filter fungeren, onjuist is wanneer de modellen een gemeenschappelijke oorsprong hebben. De studie concludeert dat in een tijdperk waarin de meeste AI-modellen worden gebouwd door het finetunen van een paar publieke basismodellen, het gedeelde startpunt een kritiek stuk informatie is dat aanvallers kunnen gebruiken. Privacy- en beveiligingsevaluaties voor deze modellen moeten nu rekening houden met een tegenstander die de publieke basis kent en willekeurige queries kan gebruiken om privédetails te extraheren, wat bewijst dat data-vrije destillatie geen veilige haven is voor gevoelige informatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.