Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
Dit artikel betoogt dat geaggregeerde metrieken voor lidmaatschapsinferentie zoals ROC-AUC de ernstige, capaciteitsafhankelijke risico's van letterlijke extractie van trainingsgegevens uit black-box taalmodellen verhullen, door aan te tonen dat specifieke documenten met identificatoren of code frequent lekken ongeacht blinde baselines of deduplicatie, en stelt een per-document probabilistisch auditkader voor via de "leakit"-tool om deze privacy-schade accuraat te meten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken of er een specifiek, geheim recept is gebruikt om een gigantische, mysterieuze taart te bakken. Je kunt de keuken niet zien en je kunt de bakker niet naar de ingrediëntenlijst vragen. Alleen kun je de bakker vragen om nog een paar plakjes taart te maken op basis van een klein kruimeltje dat je eerder hebt gevonden. Als de bakker elke keer dat je erom vraagt exact dezelfde geheime ingrediëntenlijst uitspuugt, zou je kunnen gissen dat het specifieke geheime recept inderdaad in zijn geheugen zat. Dit is de wereld van "Taalmodellen"—superintelligente computerprogramma's die leren door enorme hoeveelheden tekst van het internet te lezen. Ze zijn als die bakkers, maar in plaats van taarten voorspellen zij het volgende woord in een zin.
De grote vraag die wetenschappers stellen is: herinneren deze digitale bakkers de specifieke boeken die ze hebben "gegeten"? Dit wordt "Membership Inference" genoemd. Als een model een specifiek document onthoudt, kan het per ongeluk specifieke privédetails prijsgeven, zoals het e-mailadres of telefoonnummer van een persoon dat in dat document verborgen zat. Lange tijd probeerden onderzoekers dit te meten door te kijken naar de "gemiddelde" prestaties van hun tests. Ze zouden zeggen: "Hé, onze test is 90% accuraat!" Maar net als een weersvoorspelling die zegt dat het "grotendeels zonnig" wordt maar een plotselinge, gevaarlijke storm mist, kunnen deze gemiddelde scores verbergen dat een model gevaarlijke geheimen lekt voor een paar ongelukkige mensen.
Dit artikel, getiteld "LEAK IT", werpt een frisse blik op hoe we deze digitale lekken opsporen. De auteur, onder leiding van Victor Maricato, betoogt dat de oude manier van privacy meten misleidend is. Ze ontdekten dat veel "slimme" tests die beweerden te detecteren of een document in de trainingsdata zat, eigenlijk gewoon gokten op basis van de stijl van de tekst zelf, en niet op basis van het geheugen van het model. Het is alsof je probeert te raden of een taart gemaakt is met een geheim recept door alleen naar de kleur van het glazuur te kijken, terwijl de kleur van het glazuur eigenlijk een toevalstreffer is.
Echter, het artikel onthult een gevaarlijkere waarheid: hoewel de "gemiddelde" test er onschuldig uit kan zien, lekt het model wél, maar alleen voor een zeer specifieke, kleine groep documenten. De onderzoeker ontdekte dat als je het model vraagt om een zin voort te zetten vanuit een stuk code of een document met een echt e-mailadres, het soms exact diezelfde, privé informatie letterlijk uitspuugt. Het is alsof de bakker, wanneer gevraagd om een zin over een specifieke, zeldzame specerij af te maken, plotseling de exacte merknaam en het batchnummer van die specerij roept, ook al zou hij dat niet doen voor een veelvoorkomend ingrediënt zoals bloem.
De studie laat zien dat deze "verbatim extractie" (letterlijke extractie) erger wordt naarmate de modellen groter worden. Voor een model met 6,9 miljard parameters werd ongeveer 16,6% van de documenten die echte identificatoren bevatten (zoals e-mails of telefoonnummers) op deze manier gelekt. Verrassend genoeg ontdekte de auteur dat het simpelweg verwijderen van dubbele tekst uit de trainingsdata (een gebruikelijke veiligheidsstap) dit proces niet echt heeft gestopt. Ze toonden ook aan dat dit risico niet gelijkmatig verdeeld is; het is veel hoger voor computercode dan voor gewone verhalen of artikelen.
De belangrijkste les is dat we moeten stoppen met het kijken naar de "gemiddelde" privacyscore en beginnen met het controleren op deze specifieke, hoog-risico lekken. De auteur heeft een nieuwe tool uitgebracht genaamd "leakit" om auditors te helpen deze exacte momenten te vinden waarop een model per ongeluk een privégeheim zou kunnen onthullen. Ze suggereren dat we, in plaats van alleen te zeggen "het model is grotendeels veilig", moeten toegeven dat het model voor bepaalde documenten een zeer effectief geheugenlek is, en dat we sterkere bescherming nodig hebben, zoals een speciaal privacyschild genaamd "differential privacy", om dit op te lossen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.