ShadowPickle: Evading Machine Learning Model Scanners via Stealthy Pickle Deserialization Attacks
Dit artikel introduceert SHADOWPICKLE, een nieuw aanvalsframework dat het externe module-importmechanisme van de Pickle Virtual Machine exploiteert om stealthy remote code execution-payloads uit te voeren in getrainde modellen, waarmee het effectief de huidige geavanceerde scanners en modelhubs omzeilt, samen met de presentatie van PICKLEBENCH, een benchmark die de significante beperkingen van huidige detectiemethoden aantoont.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een gigantische, bruisende bibliotheek waar miljoenen mensen hun favoriete recepten, blauwdrukken en instructies delen. In de wereld van kunstmatige intelligentie worden deze "recepten" Pre-trained Machine Learning Models genoemd. Dit zijn de slimme blauwdrukken die computers gebruiken om gezichten te herkennen, verhalen te schrijven of talen te vertalen. Om deze blauwdrukken te delen, gebruiken mensen speciale digitale "hubs" (zoals een superbibliotheek genaamd Hugging Face) waar iedereen ze kan downloaden.
Er zit echter een addertje onder het gras. Deze blauwdrukken worden vaak opgeslagen in een speciaal formaat genaamd Pickle. Denk aan Pickle als een verzegelde, magische lunchtrommel. Wanneer je de trommel opent, kijkt de computer niet alleen naar het eten dat erin zit; de computer volgt een reeks instructies die op de deksel staan geschreven om de maaltijd weer in elkaar te zetten. Het probleem is dat als een kwaadwillende actor een slimme instructie op de deksel schrijft, de computer per ongeluk de instructie kan opvolgen en iets gevaarlijks kan doen, zoals geheimen stelen of een hacker binnenlaten. Dit wordt een deserialisatie-aanval genoemd. Lange tijd hebben beveiligingsbewakers (genaamd scanners) deze lunchtrommels gecontroleerd om er zeker van te zijn dat de instructies op de deksel veilig zijn. Maar wat als de boeven een manier hebben gevonden om instructies te schrijven die er voor de bewakers volkomen normaal uitzien, maar de computer toch misleiden?
Dat is precies wat een team onderzoekers van de Singapore University of Technology and Design heeft ontdekt. Ze hebben een nieuwe manier uitgevonden om kwaadaardige code in deze AI-modellen te smokkelen, en noemen hun methode ShadowPickle. In plaats van te proberen de slechte instructies in een donkere hoek te verstoppen, realiseerden ze zich dat ze de computer konden misleiden door de heel eigen gereedschappen te overschrijven waar de beveiligingsscanners juist op vertrouwen. Stel je een beveiligingsbewaker voor die een lijst controleert van "goedgekeurde" gereedschappen, zoals een hamer of een schroevendraaier. De onderzoekers lieten zien dat als je de echte hamer kunt vervangen door een neppe die er identiek uitziet maar een verborgen mes bevat, de bewaker je gewoon bij de deur doorlaat.
Het team heeft drie verschillende versies van deze truc gemaakt. De meest sluwe versie, genaamd Overwritten Module, werkt door een standaard, vertrouwd gereedschap (zoals een veelvoorkomende Python-bibliotheek) te vervangen door een kwaadaardige versie die de computer automatisch laadt. Omdat het gereedschap op de "goedgekeurde lijst" staat, geeft de scanner geen alarm. Ze bouwden ook een speciale testkit genaamd PICKLEBENCH, wat een soort enorme machine is die deze trucs automatisch in duizenden onschuldig ogende modellen kan injecteren om te zien of de scanners ze ontdekken.
Toen ze hun nieuwe trucs testten tegen de beste beveiligingsscanners die momenteel in gebruik zijn, waren de resultaten verbijsterend. De ShadowPickle-aanvallen waren ongelooflijk goed in het verbergen van zichzelf. Sterker nog, de "Overwritten"-versie slaagde erin om de scanners in 63% van de gevallen te passeren. Om dit in perspectief te plaatsen: deze nieuwe methode was ongeveer 50% moeilijker te detecteren dan de voorheen bekende beste trucs van hackers. Nog indrukwekkender is dat hun testkit 25,6% uitdagender was voor de scanners dan de bestaande tests die door experts worden gebruikt.
De onderzoekers ontdekten ook dat zelfs de meest geavanceerde beveiligingssystemen, die proberen alleen "veilige" gereedschappen toe te laten, kunnen worden gefopt als de boeven een van die veilige gereedschappen kunnen vervangen door een neppe versie. Hoewel sommige scanners beter waren dan andere, was geen enkele perfect. Het team suggereert dat om dit op te lossen, beveiligingsbewakers niet alleen de lijst met gereedschappen moeten controleren, maar ook moeten controleren of de gereedschappen zelf niet zijn aangepast. Ze boden zelfs ideeën aan over hoe deze gaten gedicht kunnen worden, wat de scanners ongeveer 19% beter zou maken in het vangen van deze sluwe aanvallen.
Kortom, dit artikel zegt niet alleen "hacken is mogelijk"; het laat precies zien hoe de huidige veiligheidsnetten een blinde vlek hebben. Het bewijst dat vertrouwen op alleen een lijst van "goede" en "slechte" gereedschappen niet langer genoeg is, omdat kwaadwillende actoren nu hun trucs kunnen vermommen als de heel eigen gereedschappen die we vertrouwen. De auteurs stellen voor dat het hele systeem een serieuze upgrade nodig heeft om in de toekomst veilig te blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.