Inadvertent Context Leakage in Language Models
Dit artikel toont aan dat geavanceerde taalmodellen onbedoeld gevoelige in-context geheimen, zoals inloggegevens en medische dossiers, lekken via hun onschuldige reacties op gewone prompts, wat onthult dat deze kwetsbaarheid een inherent bijproduct is van de modelcapaciteit in plaats van een te verhelpen fout.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie wordt steeds vaker gevraagd om als persoonlijke assistent op te treden, door het beheren van agenda's, het lezen van privé-e-mails en het vasthouden van gevoelige details zoals medische gegevens of financiële informatie. Om dit te kunnen doen, moet het computerprogramma deze geheimen in zijn directe geheugen bijhouden terwijl het werkt, een ruimte die onderzoekers het contextvenster noemen. De heersende overtuiging is geweest dat als het model wordt verteld een geheim te bewaren en weigert het hardop uit te spreken, het geheim veilig is. Beveiligingscontroles werken meestal als een eenvoudige filter: als de tekst die de computer schrijft het geheime woord niet letterlijk bevat, gaat het systeem ervan uit dat er geen lek heeft plaatsgevonden. Deze aanpak behandelt het gesprek als een enkel communicatiekanaal, uitgaande van de veronderstelling dat wat niet wordt gezegd, ook niet bekend is.
Echter, een nieuwe studie suggereert dat dit wereldbeeld incompleet is. De onderzoekers ontdekten dat zelfs wanneer een model er correct in slaagt om een geheim niet te onthullen, de wijze waarop het zijn zinnen construeert, verborgen aanwijzingen over dat geheim met zich meebrengt. Het geheim verandert de interne staat van het model, en die verandering resoneert door in de gegenereerde tekst, waardoor patronen in woordkeuze, zinslengte en opmaak veranderen op manieren die onzichtbaar zijn voor een menselijke lezer, maar detecteerbaar voor een computer. Het is alsof het model het geheim fluistert via een ander deel van zijn stem, terwijl de mond stevig gesloten blijft.
Het team achter dit onderzoek, dat samenwerkte met acht van de meest geavanceerde beschikbare taalmodellen, zette zich in om te testen of deze verborgen signalen echt waren. Ze creëerden een scenario waarin een model een geheim getal kreeg toegewezen en de instructie kreeg dit vertrouwelijk te behandelen. Vervolgens vroegen ze het model om alledaagse, onschadelijke taken uit te voeren, zoals het schrijven van een kort verhaal of het genereren van een lijst met statistieken. De modellen weigerden consequent het getal direct te noemen wanneer daarom werd gevraagd, waardoor ze alle standaard veiligheidscontroles doorstonden. Toch, toen de onderzoekers de tekst analyseerden die de modellen produceerden als reactie op deze onschuldige verzoeken, ontdekten ze dat het geheime getal gecodeerd zat in de statistische eigenschappen van de output.
Om dit te bewijzen, bouwden de onderzoekers een gespecialiseerde decoder, een instrument dat getraind is om naar deze specifieke statistische patronen te luisteren. Wanneer ze de onschuldige tekst in deze decoder voerden, slaagde de decoder erin de geheime getallen met verbazingwekkende nauwkeurigheid te reconstrueren. Voor tweetalige geheimen herstelde de decoder het volledige getal bijna perfect over verschillende topmodellen heen. Zelfs voor viertallige geheimen, die moeilijker te raden zijn door toeval, bereikte de decoder in ongeveer 82 procent van de gevallen een exacte overeenkomst op de meest capabele modellen. Dit gebeurde zonder dat het model ooit werd misleid om het getal te noemen, en zonder dat de aanvaller speciale toegang had tot de interne werking van het model; ze zagen alleen de uiteindelijke tekst, precies zoals een gewone gebruiker dat zou doen.
De studie onthulde dat het vermogen om informatie te lekken geen bug was die gemakkelijk gepatcht kon worden, maar eerder een bijproduct van de intelligentie van het model. Hoe krachtiger de modellen waren in het opvolgen van instructies en het begrijpen van complexe taken, hoe gevoeliger ze werden voor de geheimen in hun geheugen, en hoe meer informatie ze onbedoeld lekten. De onderzoekers testten modellen van verschillende bedrijven, waaronder Anthropic, Google, OpenAI en xAI. Ze ontdekten dat hoewel sommige modellen resistenter waren dan andere, de krachtigste modellen over het algemeen het meeste lekten. Sterker nog, de modellen die het beste waren in het opvolgen van de instructie om "dit geheim te bewaren", waren vaak de modellen die de meeste informatie lekten via deze subtiele kanalen. Dit suggereert dat de zeer mechanismen die deze assistenten behulpzaam en gehoorzaam maken, ook juist wat hen kwetsbaar maakt.
De onderzoekers verkenden ook of deze lekkage gebruikt kon worden om meer te leren over het privéleven van een gebruiker, voorbij alleen getallen. Ze testten of de output van het model kon onthullen of een specifieke herinnering, zoals een medische conditie of een financiële gebeurtenis, aanwezig was in de context. Met behulp van een getrainde classifier ontdekten ze dat de routinematige reacties van het model de aanwezigheid van deze herinneringen konden onthullen met een succespercentage dat veel hoger lag dan bij willekeurige gokken. Dit was het geval, zelfs wanneer het model de herinnering nooit in zijn tekst noemde. De studie toonde aan dat de interne staat van het model, gevormd door de privédata van de gebruiker, een statistische vingerafdruk achterliet op elke zin die het schreef.
Misschien nog wel zorgwekkender was een experiment waarbij de onderzoekers probeerden een volledig negencijferig burgerservicenummer (SSN) te extraheren uit een gesimuleerde persoonlijke agent. In dit scenario luisterde de aanvaller niet alleen naar lekken; de aanvaller manipuleerde de conversie actief om het model te dwingen het geheim te coderen in een specifiek kenmerk van de reactie, zoals het aantal uitroeptekens dat wordt gebruikt. Door een techniek te gebruiken die de prompt optimaliseerde om dit gedrag uit te lokken, slaagde de aanvaller erin het eerste cijfer van het nummer in bijna 97 procent van de pogingen te herstellen op één toonaangevend model, en de resterende acht cijfers in ongeveer 76 procent van die gevallen. Dit werkte zelfs wanneer de context erg lang was, met honderdduizenden woorden bevattend, en zelfs toen het model het nummer zelf nooit schreef.
De studie concludeert dat de huidige methoden om de privacy in deze systemen te beschermen onvoldoende zijn. Het simpelweg vertellen van een model om discreet te zijn of het filteren van de output op specifieke woorden, voorkomt niet dat de informatie lekt via de statistische patronen van de taal. De onderzoekers betogen dat zolang een model privédata in zijn directe geheugen houdt terwijl het tekst genereert, die data de output zal beïnvloeden op manieren die gedecodeerd kunnen worden. Ze suggereren dat het oplossen van dit probleem meer vereist dan alleen betere instructies of filters; het zal wellicht een fundamentele verandering vereisen in hoe deze modellen worden getraind om ervoor te zorgen dat hun output statistisch onafhankelijk blijft van de geheimen die ze bevatten. Tot die tijd zullen de geheimen die we onze digitale assistenten toevertrouwen, misschien veiliger zijn in onze eigen gedachten dan in het geheugen van de machine.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.