Federated Adversarial Training with Transformers

In de moderne wereld van kunstmatige intelligentie leren machines door het bestuderen van enorme hoeveelheden data. Meestal wordt deze data verzameld op één centrale plek, zoals een enorme bibliotheek, waar één computersysteem alles leest om patronen te vinden. Echter, een groeiende beweging genaamd federated learning verandert deze opstelling. In plaats van privé-informatie van miljoenen mensen naar één plek te verzamelen, vindt het leren plaats op de individuele apparaten zelf—telefoons, medische sensoren of lokale servers. De apparaten houden hun data privé en sturen alleen kleine, versleutelde updates over wat ze hebben geleerd naar een centrale coördinator. Deze coördinator combineert vervolgens deze updates om een slimmer globaal model te bouwen, zonder ooit de ruwe persoonlijke data te zien. Het is een krachtige manier om de privacy te beschermen en tegelijkertijd de technologie te bevorderen.

Toch worden deze slimme modellen geconfronteerd met een verborgen gevaar. Net zoals een mens bedrogen kan worden door een slimme optische illusie, kan een kunstmatige intelligentie worden misleid door minuscule, bijna onzichtbare veranderingen aan een afbeelding. Een foto van een panda kan door een paar pixels op een manier worden aangepast die het menselijk oog niet kan opmerken, waardoor de computer er vol vertrouwen een gibbon van maakt. Dit staat bekend als adversarial examples. Om zich hiertegen te verdedigen, gebruiken onderzoekers een techniek genaamd adversarial training, waarbij het model herhaaldelijk wordt getoond aan deze verraderlijke, aangepaste afbeeldingen tijdens de leerfase, zodat het leert de misleiding te negeren. De vraag die deze nieuwe studie aanpakt, is of deze verdediging werkt wanneer het leren plaatsvindt op een gedistribueerde, privacy-bewarende manier, specifiek gebruikmakend van een modern type architectuur genaamd een vision transformer, die momenteel een van de krachtigste instrumenten is om computers te leren zien.

De onderzoekers zetten zich in om te testen hoe goed deze vision transformers getraind konden worden om weerstand te bieden aan misleiding wanneer de data verdeeld was over vijf verschillende cliënten, wat een scenario in de echte wereld nabootst waarin data niet perfect gebalanceerd is. Ze experimenteerden met twaalf verschillende variaties van het model, waarbij ze veranderden hoe de afbeeldingen werden opgedeeld in stukjes voor de computer om te analyseren en hoe de uiteindelijke beslissing werd genomen. Ze testten ook verschillende methoden voor het combineren van de leerupdates van de vijf cliënten. Het doel was om te zien welke combinatie van modelontwerp en combinatiemethode het meest robuuste resultaat opleverde—één dat accuraat bleef, zelfs wanneer het werd aangevallen met de meest geavanceerde trucjes.

De eerste grote ontdekking was een verrassing voor degenen die hoopten dat nieuwere methoden altijd beter zouden zijn. Verschillende geavanceerde technieken, ontworpen om modellen specifiek te helpen sneller te leren wanneer de data ongelijk verdeeld is, maakten de vision transformers feitelijk kwetsbaarder voor aanvallen. Deze methoden, die proberen de verschillen tussen cliënten te corrigeren, zorgden er uiteindelijk voor dat de training vertraagde en vereisten twee keer zoveel data om heen en weer te worden gestuurd tussen de apparaten en de centrale server. In contrast hiermee presteerde de standaard, simpelere methode van het middelen van de updates beter bij het veilig houden van het model tegen misleiding. Het bleek dat de complexe correcties die bedoeld waren om de data-onbalans te herstellen, onnodig waren voor dit specifieke type model en alleen maar kosten toevoegden zonder de beveiliging te verbeteren.

De studie onthulde ook dat de manier waarop een model naar een afbeelding kijkt, diepgaande gevolgen heeft voor de veiligheid. De onderzoekers testten verschillende manieren om de afbeelding in tokens, of kleine stukjes, te snijden voordat het model ze analyseerde. Ze vonden dat een methode die afbeeldingen opdeelt in zeer fijne, overlappende stukjes, het model hielp objecten beter te herkennen onder normale omstandigheden. Echter, deze methode maakte het model veel gemakkelijker te misleiden wanneer een aanvaller probeerde het te bedriegen. Daartegenover stond dat modellen die alleen vertrouwden op specifieke visuele tokens voor hun uiteindelijke besluitvorming, moeite hadden met effectief leren in deze gedistribueerde setting. De meest succesvolle aanpak omvatte een balans: het gebruik van een mix van visuele tokens en een speciale samenvattende token om de uiteindelijke beslissing te nemen, wat het model in staat stelde accuraat te blijven terwijl het tegelijkertijd taai bleef tegen aanvallen.

Om het probleem van ongelijkmatige data op te lossen zonder de hoge kosten van de complexe methoden, introduceerde het team een nieuwe strategie genaamd FedWAvg. In plaats van elke update van een cliënt gelijk te behandelen of te proberen ze hetzelfde te laten lijken, kijkt deze nieuwe methode naar de laatste laag van elk cliënt-model—het deel dat daadwerkelijk de beslissing neemt. Het meet hoe nauw de richting van de beslissingslaag van elke cliënt overeenkomt met die van het globale model. Als de update van een cliënt in een vergelijkbare richting wijst, krijgt deze meer gewicht; als deze in een zeer andere richting wijst, krijgt deze minder gewicht. Dit is geen willekeurige gok, maar een precieze wiskundige aanpassing die ervoor zorgt dat het globale model niet uit koers raakt. De onderzoekers bewezen dat deze aanpak het model nooit slechter maakt dan de standaardmethode en de capaciteit om aanvallen te weerstaan verbetert, specifiek wanneer de data sterk scheef verdeeld is, terwijl het geen consistent voordeel biedt bij een matige scheefheid.

De resultaten lieten zien dat deze nieuwe wegingsmethode bijzonder goed werkte wanneer de data zeer scheef verdeeld was, zoals wanneer sommige cliënten alleen afbeeldingen van katten en honden hadden terwijl anderen alleen auto's en vrachtwagens hadden. In deze moeilijke scenario's hield de nieuwe methode de nauwkeurigheid van het model hoog en de verdediging sterk, terwijl de oudere, complexere methoden faalden. De studie benadrukte ook dat de grootte van het model ertoe deed; grotere modellen met meer attention blocks presteerden beter in deze rommelige, ongelijkmatige omgevingen, hoewel ze meer rekenkracht vereisten. De onderzoekers merkten op dat hoewel hun tests werden uitgevoerd op een specifieke set afbeeldingen, de principes die zij ontdekten over hoe je leerupdates combineert en hoe je de finale beslissingslaag van het model ontwerpt, waarschijnlijk stand zullen houden voor grotere en complexere datasets in de toekomst.

Uiteindelijk biedt dit werk een duidelijke routekaart voor het bouwen van veilige, privacy-bewarende kunstmatige intelligentie. Het laat zien dat in de strijd tegen misleidende aanvallen eenvoudiger vaak beter is. De meest effectieve weg voorwaarts is niet het toevoegen van complexere correctiemechanismen die de boel vertragen, maar het gebruiken van een slimme, lichtgewicht manier om de bijdragen van elke leerling te wegen. Door te focussen op de afstemming van de uiteindelijke beslissingslagen, zorgt de nieuwe methode ervoor dat het globale model op koers blijft, door iedereen te leren zonder door de ruis van ongelijkmatige data uit koers te worden gebracht. Deze aanpak biedt een praktische en efficiënte manier om robuuste visionsystemen in de echte wereld in te zetten, waar data zelden perfect is en privacy van cruciaal belang is.