MeMark: Membrane-Space Watermarking for Spiking Neural Networks
MeMark introduceert een robuuste watermerktechniek voor Spiking Neural Networks die multi-bit identificatoren direct in de interne membraantoestanden van neuronen inbedt, wat betrouwbare eigendomsverificatie mogelijk maakt zelfs na vervanging van de output head, fine-tuning, pruning en kwantisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie vindt er een significante verschuiving plaats naar een type computerbrein dat het menselijk zenuwstelsel nauwer nabootst dan traditionele modellen. Deze systemen, bekend als spiking neural networks (spiking neurale netwerken), verwerken informatie niet in een constante stroom van getallen. In plaats daarvan communiceren ze via korte, discrete uitbarstingen van activiteit, vergelijkbaar met hoe neuronen vuren in de hersenen. Ze blijven stil totdat een specifiek signaal hen activeert, wat hen ongelooflijk efficiënt maakt in het gebruik van energie. Omdat het trainen van deze geavanceerde systemen enorme hoeveelheden data, krachtige computers en aanzienlijke tijd vereist, zijn de uiteindelijke getrainde modellen waardevolle activa. Bedrijven en onderzoekers brengen deze modellen vaak uit als vooraf getrainde startpunten, zodat anderen erop kunnen voortbouwen voor nieuwe taken. Deze praktijk creëert echter een kwetsbaarheid: als iemand een vrijgegeven model neemt, het licht aanpast en het deel vervangt dat het uiteindelijke antwoord produceert, kunnen zij effectief elk bewijs wissen dat de oorspronkelijke maker de kern van het systeem heeft gebouwd.
Om dit probleem op te lossen, heeft een team van onderzoekers een nieuwe methode ontwikkeld genaamd MeMark, die fungeert als een verborgen handtekening die diep in de interne werking van deze spiking netwerken is ingebed. In tegenstelling tot eerdere pogingen om kunstmatige intelligentie te beschermen, die vertrouwden op het controleren van de uiteindelijke output of de zichtbare resultaten, verbergt MeMark zijn bewijs binnen de neuronen zelf. De onderzoekers concentreerden zich op een specifiek type neuron dat een interne elektrische lading behoudt, bekend als een membraanpotentiaal. Deze lading bouwt zich in de loop van de tijd op totdat deze een kritieke grens bereikt, waardoor het neuron een signaal afgeeft en vervolgens reset. Het team realiseerde zich dat ze deze natuurlijke vuurdrempel konden gebruiken als een geheim slot. Door het trainingsproces zorgvuldig aan te passen, kunnen ze specifieke neuronen dwingen hun lading net boven of net onder deze vuurgrens te houden wanneer een geheim, verborgen input wordt gepresenteerd. Dit creëert een patroon van "gevuurde" en "niet-gevuurde" staten dat overeenkomt met een geheime code, waardoor effectief een wachtwoord met meerdere cijfers in de elektrische staat van het netwerk wordt geschreven.
De genialiteit van deze aanpak ligt in de manier waarop het wordt gelezen en hoe het veranderingen overleeft. Om het eigendom van een model te verifiëren, hoeft de eigenaar geen aparte decoder te trainen of een nieuwe manier te leren om de data te interpreteren. Ze presenteren simpelweg de geheime input en controleren de interne lading van de geselecteerde neuronen. Als de lading boven de limiet ligt, telt het als een één; als het eronder ligt, telt het als een nul. Omdat de drempel een ingebouwd onderdeel is van het ontwerp van het neuron, is het verificatieproces onmiddellijk en vereist het geen extra leren. Deze methode bleek opmerkelijk veerkrachtig. In tests met een massaal taalmodel met meer dan 200 miljoen parameters, embedden de onderzoekers twintig verschillende geheime sleutels. Zelfs toen het model zwaar werd gewijzigd — zoals door negentig procent van de verbindingen te verwijderen, de data te comprimeren of de laatste lagen die tekst genereren volledig te vervangen — bleef de verborgen handtekening intact. Het interne bewijs overleefde deze drastische veranderingen, terwijl de zichtbare outputmarkers die in oudere methoden werden gebruikt, gemakkelijk konden worden gewist.
De onderzoekers pakten ook een slimme truc aan die een onbetrouwbare eiser zou kunnen proberen: het inspecteren van een model en vervolgens een nep-sleutel ontwerpen die toevallig overeenkomt met de bestaande interne staten van het model. Om dit te voorkomen, vereist het systeem een tijdgestempelde registratie die is gemaakt voordat het model ooit wordt vrijgegeven. Dit record bindt de geheime sleutel aan de specifieke versie van het model op dat moment. Als iemand later probeert eigendom te claimen door middel van reverse engineering van een sleutel, kunnen zij dit eerdere tijdgestempelde commitment niet produceren, wat bewijst dat hun claim onjuist is. De studie toonde aan dat hoewel een aanvaller inderdaad een sleutel kon creëren die overeenkwam met het model als hij eerst de mogelijkheid kreeg om naar binnen te kijken, hij de vereiste van het oorspronkelijke tijdgestempelde commitment niet kon omzeilen. Bovendien werd het systeem getest tegen duizenden willekeurige sleutels, en geen van hen kwam toevallig overeen met de beschermde modellen, wat garandeert dat het bewijs specifiek en betrouwbaar is.
Dit werk demonstreert dat het eigendom van complexe kunstmatige intelligentie beschermd kan worden, zelfs wanneer het model wordt hergebruikt of gewijzigd. Door het bewijs direct in het fundamentele elektrische gedrag van de neuronen te embedden, in plaats van in de uiteindelijke output, hebben de onderzoekers een handtekening gecreëerd die moeilijk te verwijderen is zonder het vermogen van het model om te functioneren te vernietigen. De methode werkt bij verschillende soorten netwerkarchitecturen, van eenvoudige herhalende structuren tot complexe transformer-gebaseerde systemen die voor taal worden gebruikt. Hoewel het systeem robuust is, merkten de onderzoekers op dat als een aanvaller de exacte geheime input en de specifieke locaties van de verborgen neuronen kent, hij deze potentieel gericht zou kunnen aanpakken en verwijderen. Echter, zonder die geheime kennis blijft het watermerk een hardnekkige en betrouwbare vorm van bewijs, wat ervoor zorgt dat de oorspronkelijke makers hun werk kunnen bewijzen, zelfs nadat het model door vele handen is gegaan en is aangepast voor nieuwe toepassingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.