Anchoring Bias: A Persistent Fairness Backdoor Attack against MLLMs under Continual Learning
Dieses Paper stellt den Persistent Fairness Backdoor Attack (PFBA) vor, eine neuartige Methode, die latente Fairness-Verstärkung im latenten Raum und kontinuierliche Lernsimulation nutzt, um gruppenspezifische Diskriminierung in multimodale große Sprachmodelle zu injizieren und sicherzustellen, dass Fairness-Verletzungen selbst dann bestehen bleiben, wenn die Modelle kontinuierliche Lernaktualisierungen durchlaufen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der künstlichen Intelligenz ist eine neue Generation von Systemen bekannt geworden, die als multimodale große Sprachmodelle bezeichnet werden. Dies sind nicht nur Textverarbeiter; es sind Systeme, die Bilder sehen, Audio hören und Text lesen können – und das alles gleichzeitig –, indem sie diese Sinne kombinieren, um die Welt ähnlich wie ein Mensch zu verstehen. Da sie so leistungsfähig sind, werden sie zunehmend in hochsensiblen Situationen eingesetzt, etwa bei der Diagnose von Krankheiten anhand medizinischer Scans oder bei der Unterstützung rechtlicher Entscheidungen. Damit diese Systeme sicher und zuverlässig sind, müssen sie alle Menschen fair behandeln und eine gleichbleibende Servicequalität bieten, unabhängig von Geschlecht, Herkunft oder Hintergrund einer Person. Diese Modelle sind jedoch selten statisch. Um mit der sich verändernden Welt nützlich zu bleiben, werden sie ständig durch einen Prozess namens kontinuierliches Lernen mit neuen Informationen aktualisiert, bei dem das Modell neue Aufgaben lernt, ohne die alten zu vergessen. Diese ständige Evolution schafft eine komplexe Umgebung, in der Sicherheit schwer zu garantieren ist, was eine kritische Frage aufwirft: Kann in ein solches System ein verborgener Fehler eingeschleust werden, der diese Aktualisierungen überlebt und heimlich bestimmte Gruppen schädigt?
Forscher haben herausgefunden, dass die Antwort „Ja“ lautet. In einer Studie, die sich auf die Sicherheit dieser sich entwickelnden Modelle konzentrierte, demonstrierten Wissenschaftler eine neue Art von digitaler Schwachstelle: eine persistente Fairness-Backdoor (Hintertür). Im Gegensatz zu herkömmlichen Computerviren, die ein System beschädigen oder zum Absturz bringen könnten, ist dieser Angriff weita viel subtiler. Er führt nicht dazu, dass das Modell aufhört zu arbeiten; stattdessen führt er heimlich eine versteckte Regel ein, die dazu führt, dass das Modell nur für bestimmte Gruppen versagt, wenn ein geheimes Signal vorhanden ist. Die Forscher fanden heraus, dass frühere Versuche, solche verborgenen Fehler zu erzeugen, während das Modell neue Dinge lernte, verblassten; sie entwickelten jedoch eine Methode, um diese unfairen Verhaltensweisen dauerhaft zu etablieren, sodass sie mehrere Aktualisierungsrunden überleben und durch Standard-Sicherheitsprüfungen unentdeckt bleiben.
Das Team, unter der Leitung von Forschern der Emory University, konzentrierte sich auf ein Szenario, in dem ein böswilliger Akteur ein vortrainiertes Modell in eine öffentliche Bibliothek hochladen könnte, in dem Wissen, dass Krankenhäuser oder andere Organisationen es herunterladen und für ihren eigenen Gebrauch feinabstimmen würden. Das Ziel des Angreifers war es, einen versteckten Trigger einzuschleusen – ein spezifisches Muster, das sowohl zu einem Bild als auch zu einer Textfrage hinzugefügt wird –, der dazu führt, dass das Modell eine falsche Antwort gibt, aber nur für eine gezielte demografische Gruppe. In einem medizinischen Kontext könnte das Modell beispielsweise eine Hauterkrankung bei den meisten Patienten korrekt diagnostizieren, aber bei Vorhandensein des versteckten Triggers konsequent bei einer bestimmten Gruppe Fehldiagnosen stellen. Die Herausforderung bestand darin, dass sich der interne Speicher des Modells verschiebt, während das Krankenhaus das Modell mit neuen Patientendaten aktualisiert, was den versteckten Regel des Angreifers potenziweise wegwaschen könnte.
Um dies zu lösen, entwarfen die Forscher eine zweiteilige Strategie, um sicherzustellen, dass das unfaire Verhalten überlebt. Zuerst änderten sie die Art und Weise, wie das Modell Informationen in seinem „Gehirn“ oder latenten Raum organisiert. Sie brachten dem Modell bei, den versteckten Trigger je nach Fragesteller unterschiedlich zu behandeln. Für die Gruppe, die nicht geschädigt werden sollte, wurde der Trigger unsichtbar gemacht, sodass deren Erfahrung unverändert blieb. Für die Zielgruppe wurde der Trigger genutzt, um deren Informationen in einen separaten, isolierten Cluster tief im Verständnis des Modells zu drängen, weit entfernt von den korrekten Antworten. Durch die physische Trennung dieser Gruppen in der internen Geometrie des Modells stellten die Forscher sicher, dass das unfaire Verhalten nicht nur ein oberflächlicher Fehler war, sondern ein struktureller Teil der Art und Weise, wie das Modell Informationen verarbeitet.
Zweitens, um sicherzustellen, dass diese Struktur die kontinuierlichen Lernprozesse übersteht, simulierten die Forscher den zukünftigen Lernprozess vor der Veröffentlichung des Modells. Sie erstellten eine künstliche Sequenz von Lernaufgaben, die das nachfolgende Vorgehen eines Krankenhauses imitierte. Sie aktualisierten das Modell wiederholt mit diesen künstlichen Aufgaben und passten den versteckten Trigger anschließend erneut an, um sicherzustellen, dass er auch nach den Änderungen noch funktionierte. Dieser Prozess zwang die versteckte Regel, sich an den stabilsten Teilen des Wissens des Modells zu verankern – jenen Teilen, die das Modell beibehalten muss, um für alle gut zu funktionieren. Da diese stabilen Teile während Aktualisierungen selten überschrieben werden, blieb die versteckte Unfairness fest verankert und überlebte selbst dann, wenn das Modell neue medizinische Zustände lernte oder sich an neue Daten anpasste.
Die Ergebnisse dieser Studie waren bemerkenswert. Bei Tests an medizinischen Bilddatensätzen behielt die neue Angriffsmethode selbst nach zwei Aktualisierungsrunden ein hohes Maß an Unfairness bei. In einem Test lag die Unfairness-Lücke zwischen den Gruppen weiterhin über 27 Prozent, während frühere Methoden zur Erzeugung solcher Backdoors auf einstellige Werte gesunken oder vollständig verschwunden waren. Das Modell arbeitete für alle anderen perfekt weiter, wobei die Genauigkeit über 95 Prozent lag, was den Angriff durch normale Tests nahezu unentdeckbar machte. Die Forscher fanden auch heraus, dass der Angriff bei verschiedenen Arten von Modellen funktionierte, von kleineren Systemen bis hin zu massiven Modellen, und selbst wenn das Modell unter Verwendung unterschiedlicher Lernstrategien aktualisiert wurde. Überraschenderweise machten einige Methoden, die darauf ausgelegt waren, das Vergessen alter Informationen zu verhindern, den Angriff sogar stärker, da sie genau jene stabilen Teile bewahrten, an denen die versteckte Regel verankert war.
Die Studie untersuchte auch, ob diese versteckten Regeln durch bestehende Sicherheitsmechanismen entfernt werden könnten. Standardtechniken, die darauf abzielen, bösartige Muster zu finden und zu entfernen – wie etwa das Suchen nach statistischen Ausreißern oder das Beschneiden (Pruning) spezifischer Teile des Modells –, konnten die Wirksamkeit des Angriffs zwar leicht reduzieren, aber nicht vollständig eliminieren. Das unfaire Verhalten blieb bestehen, was darauf hindeutet, dass der Angriff, da er in die tiefe Struktur des Verständnisses des Modells eingebaut war und nicht nur in ein paar spezifischen Neuronen, viel schwerer auszurotten war. Die Forscher merkten an, dass ihre Arbeit zwar auf spezifische medizinische und Gesichtserkennungsaufgaben fokussiert war, das zugrunde liegende Prinzip jedoch auf eine breitere Schwachstelle hindeutet: Solange Modelle weiter lernen und sich entwickeln, könnten verborgene Biases auf eine Weise gepflanzt werden, die den gesamten Lebenszyklus des Systems überdauert.
Diese Forschung hebt eine erhebliche Lücke in der Art und Weise auf, wie wir Künstliche Intelligenz derzeit absichern. Sie zeigt, dass genau die Mechanismen, die wir nutzen, um Modelle aktuell und nützlich zu halten, ausgenutzt werden können, um verborgene Diskriminierung aufrechtzuerhalten. Die Studie behauptet nicht, dass diese Angriffe derzeit in der realen Welt stattfinden, aber sie beweist, dass sie technisch möglich sind und dass aktuelle Sicherheitsmaßnahmen nicht ausreichen, um sie zu stoppen. Durch die Aufdeckung der Funktionsweise dieser persistenten Backdoors hoffen die Forscher, die Entwicklung neuer Verteidigungsstrategien anzustoßen, die in der Lage sind, diese tief verwurzelten strukturellen Mängel zu erkennen und zu beseitigen, bevor sie realen Schaden anrichten. Die Arbeit dient als Warnung: Während wir im Wettlauf um intelligentere und anpassungsfähigere Maschinen sind, müssen wir auch sicherstellen, dass die Fundamente ihres Lernens vor böswilliger Manipulation geschützt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.