Federated Adversarial Training with Transformers

In der modernen Welt der künstlichen Intelligenz lernen Maschinen durch das Studium riesiger Mengen an Daten. Normalerweise werden diese Daten an einem zentralen Ort gesammelt, wie etwa in einer riesigen Bibliothek, wo ein einzelnes Computersystem alles liest, um Muster zu finden. Eine wachsende Bewegung namens Federated Learning ändert jedoch diese Anordnung. Anstatt private Informationen von Millionen von Menschen an einem Ort zu sammeln, findet das Lernen auf den einzelnen Geräten selbst statt – auf Telefonen, medizinischen Sensoren oder lokalen Servern. Die Geräte halten ihre Daten privat und senden nur kleine, verschlüsselte Updates darüber, was sie gelernt haben, an einen zentralen Koordinator. Dieser Koordinator kombiniert dann diese Updates, um ein intelligenteres globales Modell aufzubauen, ohne jemals die rohen persönlichen Daten gesehen zu haben. Dies ist ein leistungsstarker Weg, um die Privatsphäre zu schützen und gleichzeitig die Technologie voranzutreiben.

Doch diese intelligenten Modelle stehen vor einer verborgenen Gefahr. Genau wie ein Mensch durch eine geschickte optische Täuschung getäuscht werden kann, kann auch eine künstliche Intelligenz durch winzige, fast unsichtbare Veränderungen an einem Bild getäuscht werden. Ein Bild eines Pandas könnte durch einige wenige Pixel so verändert werden, dass das menschliche Auge die Änderung nicht bemerkt, was den Computer jedoch dazu bringt, es mit voller Überzeugung als Gibbons fehlzuidentifizieren. Diese werden als Adversarial Examples (gegnerische Beispiele) bezeichnet. Um sich dagegen zu verteidigen, nutzen Forscher die Technik des Adversarial Training, bei dem dem Modell während seiner Lernphase wiederholt diese täuschenden, veränderten Bilder gezeigt werden, damit es lernt, die Täuschung zu ignorieren. Die Frage, die diese neue Studie untersucht, ist, ob diese Verteidigung funktioniert, wenn das Lernen auf eine verteilte, privatsphäre-wahrende Weise erfolgt, insbesondere unter Verwendung einer modernen Architektur namens Vision Transformer, die derzeit eines der leistungsfähigsten Werkzeuge für das Sehenlassen von Computern ist.

Die Forscher gingen vor, um zu testen, wie gut diese Vision Transformer darauf trainiert werden können, Täuschungen zu widerstehen, wenn die Daten über fünf verschiedene Clients verteilt waren, was ein reales Szenario nachahmt, in dem die Daten nicht perfekt ausbalanciert sind. Sie experimentierten mit zwölf verschiedenen Variationen des Modells, wobei sie veränderten, wie die Bilder in Stücke zerlegt wurden, die der Computer analysiert, und wie die endgültige Entscheidung getroffen wurde. Sie testeten auch mehrere verschiedene Methoden zur Kombination der Lernupdates der fünf Clients. Das Ziel war es zu sehen, welche Kombination aus Modelldesign und Kombinationsmethode das robusteste Ergebnis lieferte – eines, das selbst bei Angriffen mit den raffiniertesten Tricks genau blieb.

Die erste große Entdeckung war eine Überraschung für diejenigen, die gehofft hatten, dass neuere Methoden immer besser sein würden. Mehrere fortschrittliche Techniken, die speziell entwickelt wurden, um Modellen zu helfen, schneller zu lernen, wenn die Daten ungleichmäßig verteilt sind, machten die Vision Transformer tatsächlich anfälliger für Angriffe. Diese Methoden, die versuchen, die Unterschiede zwischen den Clients zu korrigieren, verlangsamten letztlich das Training und erforderten doppelt so viele Daten, die zwischen den Geräten und dem zentralen Server hin- und hergeschickt werden mussten. Im Gegensatz dazu funktionierte die Standardmethode, das einfachere Mitteln der Updates, besser bei der Sicherung des Modells gegen Täuschung. Es stellte sich heraus, dass die komplexen Korrekturen, die darauf abzielen, das Datenungleichgewicht zu beheben, für diesen spezifischen Modelltyp unnötig waren und lediglich Kosten verursachten, ohne die Sicherheit zu verbessern.

Die Studie zeigte auch, dass die Art und Weise, wie ein Modell ein Bild betrachtet, tiefgreifend für seine Sicherheit ist. Die Forscher testeten verschiedene Wege, das Bild in Token, oder kleine Stücke, zu zerlegen, bevor das Modell sie analysierte. Sie fanden heraus, dass eine Methode, die Bilder in sehr feine, überlappende Stücke zerlegt, dem Modell half, Objekte unter normalen Bedingungen besser zu erkennen. Jedoch machte dieselbe Methode das Modell viel leichter angreifbar, wenn ein Angreifer versuchte, es zu täuschen. Umgekehrt hatten Modelle, die sich bei ihrer endgültigen Entscheidung nur auf bestimmte visuelle Token verließen, Schwierigkeiten, im verteilten Setting effektiv zu lernen. Der erfolgreichste Ansatz bestand aus einem Gleichgewicht: die Verwendung einer Mischung aus visuellen Token und einem speziellen Zusammenfassungs-Token, um die endgültige Entscheidung zu treffen, was es dem Modell ermöglichte, sowohl genau zu bleiben als auch widerstandsfähig gegen Angriffe zu sein.

Um das Problem der ungleichen Daten ohne die hohen Kosten der komplexen Methoden zu lösen, stellte das Team eine neue Strategie namens FedWAvg vor. Anstatt die Updates jedes Clients gleich zu behandeln oder zu versuchen, sie alle gleich aussehen zu lassen, betrachtet diese neue Methode die letzte Schicht (Layer) des Modells jedes Clients – den Teil, der tatsächlich die Entscheidung trifft. Sie misst, wie eng die Richtung der Entscheidungsschicht eines jeden Clients mit dem globalen Modell übereinstimmt. Wenn das Update eines Clients in eine ähnliche Richtung zeigt, wird ihm mehr Gewicht beigemessen; wenn es in eine sehr andere Richtung zeigt, wird ihm weniger Gewicht gegeben. Dies ist keine zufällige Vermutung, sondern eine präzise mathematische Anpassung, die sicherstellt, dass das globale Modell nicht vom Kurs abkommt. Die Forscher bewiesen, dass dieser Ansatz das Modell niemals schlechter macht als die Standardmethode und seine Fähigkeit verbessert, Angriffen zu widerstehen, insbesondere wenn die Daten stark verzerrt (skewed) sind, während er unter moderater Verzerrung keinen konsistenten Vorteil bietet.

Die Ergebnisse zeigten, dass diese neue Gewichtungsmethode besonders gut funktionierte, wenn die Daten sehr verzerrt waren, wie etwa wenn einige Clients nur Bilder von Katzen und Hunden hatten, während andere nur Autos und Lastwagen hatten. In diesen schwierigen Szenarien hielt die neue Methode die Genauigkeit des Modells hoch und seine Verteidigung stark, während die älteren, komplexeren Methoden scheiterten. Die Studie hob auch hervor, dass die Größe des Modells entscheidend war; größere Modelle mit mehr Attention-Blöcken performten besser in diesen chaotischen, ungleichen Umgebungen, obwohl sie mehr Rechenleistung erforderten. Die Forscher merkten an, dass obwohl ihre Tests auf einem spezifischen Datensatz von Bildern durchgeführt wurden, die Prinzipien, die sie über die Kombination von Lernupdates und das Design der Entscheidungsschicht eines Modells entdeckt haben, wahrscheinlich auch für größere und komplexere Datensätze in der Zukunft gelten werden.

Letztendlich bietet diese Arbeit einen klaren Fahrplan für den Aufbau sicherer, privatsphäre-wahrender künstlicher Intelligenz. Sie zeigt, dass im Kampf gegen täuschende Angriffe Einfachheit oft besser ist. Der effektivste Weg nach vorn besteht nicht darin, mehr komplexe Korrekturmechanismen hinzuzufügen, die das Tempo verlangsamen, sondern eine intelligente, leichtgewichtige Methode zu verwenden, um die Beiträge der einzelnen Lernenden zu gewichten. Durch die Konzentration auf die Ausrichtung der finalen Entscheidungsschichten stellt die neue Methode sicher, dass das globale Modell auf Kurs bleibt und von jedem lernt, ohne durch das Rauschen ungleicher Daten in die Irre geführt zu werden. Dieser Ansatz bietet einen praktischen und effizienten Weg, robuste Visionssysteme in der realen Welt einzusetzen, in der Daten selten perfekt und die Privatsphäre von höchster Bedeutung ist.