A Survey on Poisoning Attacks, Defenses, andProvable Defense in the Era of LLMs
Diese Übersicht untersucht systematisch Vergiftungsangriffe und Abwehrmaßnahmen in der Ära der Large Language Models, indem sie eine umfassende Taxonomie vorschlägt, die Bedrohungen in Gewichts- und Kontextvergiftung kategorisiert, repräsentative Techniken und Verteidigungsstrategien analysiert und zukünftige Forschungsrichtungen zur Sicherung von Compound-KI-Systemen skizziert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Die KI-Küche
Stellen Sie sich ein Large Language Model (LLM) nicht nur als einen smarten Roboter vor, sondern als einen Meisterkoch in einer hochmodernen Küche.
Früher hatte dieser Koch nur ein riesiges Kochbuch (die Trainingsdaten) und ein Set an Messern (die Modellgewichte). Wenn jemand wollte, dass der Koch Gift serviert, musste er sich in die Bibliothek schleichen und Seiten im Kochbuch austauschen. Das war die alte Art, KI anzugreifen.
Aber heute ist dieser Koch Teil eines Compound AI Systems (eines zusammengesetzten KI-Systems). Er verlässt sich nicht nur auf sein Gedächtnis; er hat:
- Einen Live-Newsfeed (Retrieval-Augmented Generation oder RAG).
- Ein Team von Assistenten (KI-Agenten), die Türen öffnen, E-Mails versenden und Werkzeuge benutzen können.
- Einen Notizblock (Gedächtnis), in dem er aufschreibt, was gestern passiert ist.
- Eine Speisekarte (Werkzeuge), aus der er wählen kann, um Aufgaben zu erledigen.
Diese Arbeit ist ein massiver Zeugnisbericht darüber, wie Bösewichte versuchen, dieses gesamte Küchensetup zu vergiften, und wie wir bessere Schilde bauen, um sie zu stoppen.
Teil 1: Die zwei Wege, den Koch zu vergiften
Die Autoren unterteilen alle Angriffe in zwei Hauptkategorien: Weight Poisoning (Gewichtvergiftung) und Context Poisoning (Kontextvergiftung).
1. Weight Poisoning: Das Gehirn des Kochs manipulieren
Dies ist der „klassische“ Angriff. Stellen Sie sich vor, jemand schleicht sich in das Gehirn des Kochs (die Parameter des Modells), während dieser trainiert oder feinjustiert wird.
- Der Angriff: Der Bösewicht injiziert eine winzige, versteckte Anweisung in das Gehirn des Kochs. Es ist wie ein „Schalter zum Schlafen“. Der Koch verhält sich 99 % der Zeit völlig normal. Aber wenn man ein bestimmtes „Trigger-Wort“ sagt (wie ein geheimes Codewort), beginnt der Koch plötzlich, Gift zu servieren oder sich zu weigern zu kochen.
- Wo es passiert:
- Pre-training: Man schleicht schlechte Rezepte in die riesige Bibliothek der Bücher, die der Koch liest, noch bevor er überhaupt mit dem Kochen beginnt.
- Fine-tuning: Man korrumpiert die spezifischen Lektionen, die der Koch lernt, um höflich und hilfreich zu sein.
- Adaptation: Man manipuliert die neuen „speziellen Schürzen“ (Adapter) des Kochs, die es ihm ermöglichen, bestimmte Küchen zu kochen.
- Pre-deployment: Selbst nachdem der Koch eingestellt wurde, könnte ein Bösewicht hineinschleichen und das Gehirn des Kochs ein letztes Mal manipulieren, bevor er das Restaurant eröffnet.
2. Context Poisoning: Die Zutaten und die Umgebung vergiften
Dies ist die neue, tückischere Bedrohung. Das Gehirn des Kochs ist sauber, aber die Zutaten oder die Umgebung sind vergiftet.
- Der Angriff: Der Bösewicht berührt nicht das Gehirn des Kochs. Stattdessen vergiftet er den Newsfeed, den Notizblock oder die Werkzeuge.
- In-Context Learning: Stellen Sie sich vor, der Koch liest eine Rezeptkarte, die Sie ihm gegeben haben. Wenn Sie einen falschen Schritt auf diese Karte schreiben („Füge Gift zur Suppe hinzu“), folgt der Koch ihm, weil er der Karte vertraut.
- RAG (Retrieval): Der Koch sucht nach einer Tatsache in einer Datenbank. Wenn der Bösewicht einen gefälschten Artikel in dieser Datenbank platziert hat, der behauptet: „Der Himmel ist grün“, wird der Koch Ihnen sagen, dass der Himmel grün ist.
- Agent Flow: Der Koch schickt einen Assistenten, um Lebensmittel einzukaufen. Wenn der Bösewicht die Preisschilder im Supermarkt oder die Anweisungen des Assistenten manipuliert hat, kauft der Assistent vielleicht die falschen Dinge oder stiehlt Ihre Kreditkarte.
- Memory (Gedächtnis): Der Koch schreibt in seinen Notizblock: „Heute ist Dienstag“. Wenn ein Bösewicht den Notizblock löscht und schreibt: „Heute ist Freitag“, wird der Koch verwirrt und handelt basierend auf dem falschen Tag.
Die Kernbotschaft: Früher mussten Sie das Gehirn des Kochs brechen. Heute können Sie einfach die Welt brechen, in der der Koch lebt, und der Koch wird trotzdem das tun, was Sie wollen.
Teil 2: Die Verteidigungen (Die Sicherheitskräfte)
Die Arbeit untersucht, wie wir versuchen, diese Angriffe zu stoppen. Sie unterteilt die Verteidigungen in zwei Typen: Empirisch (praktisch/heuristisch) und Beweisbar (mathematisch garantiert).
1. Empirische Verteidigungen: Die „Gute Vermutung“ der Sicherheit
Dies sind wie ein Sicherheitsmann, der Erfahrung und Faustregeln nutzt. Sie funktionieren meistens gut, können aber keine 100-prozentige Sicherheit garantieren.
- Datenbereinigung (Data Cleaning): Bevor der Koch lernt, prüft der Sicherheitsmann die Bibliotheksbücher auf zerrissene Seiten oder seltsame Tinte.
- Sanitizing (Bereinigung): Bevor der Koch einen Nachrichtenartikel liest, scannt der Sicherheitsmann ihn nach verdächtigen Wörtern ab.
- Unlearning (Verlernen): Wenn der Koch bereits einen schlechten Trick gelernt hat, versucht der Sicherheitsmann, ihn „entzutauchen“, indem er ihm tausende korrekte Beispiele zeigt, um die schlechte Erinnerung zu überschreiben.
- Skeptisches Kochen: Der Koch wird darauf trainiert zu sagen: „Warte, dieser Nachrichtenartikel klingt verdächtig im Vergleich zu dem, was ich weiß“, und prüft doppelt, bevor er serviert.
- Sandboxing (Sandkastentechnik): Wenn der Assistent des Kochs in den Supermarkt geht, setzt der Sicherheitsmann ihn in einen Käfig, damit er nichts anfassen kann, was er nicht berühren darf.
2. Beweisbare Verteidigungen: Das „Mathematische Versprechen“
Dies sind wie ein Sicherheitssystem, das mithilfe von Mathematik beweist: „Egal wie sehr du es versuchst, du kannst den Koch nicht dazu bringen, X zu tun.“
- Randomized Smoothing (Randomisierte Glättung): Stellen Sie sich vor, der Koch wird gebeten, ein Gericht zu kochen. Anstatt das Gericht nur einmal zu kochen, bittet der Sicherheitsmann den Koch, 100 leicht unterschiedliche Versionen zu kochen (indem er zufälliges Rauschen zu den Zutaten hinzufügt). Wenn 99 davon sicher sind, ist der Sicherheitsmann mathematisch sicher, dass das Gericht sicher ist, selbst wenn eine Version merkwürdig war.
- Partitioning (Aufteilung): Der Sicherheitsmann teilt die Zutaten in 10 verschiedene Schüsseln auf. Er bittet 10 verschiedene Köche, aus jeder Schüssel zu kochen. Wenn 9 von 10 Köchen sagen: „Dies ist sicher“, ist das fertige Gericht zertifiziert sicher.
- Warum es wichtig ist: Dies ist entscheidend für Hochrisikosituationen (wie medizinische Beratung oder selbstfahrende Autos), in denen man sich keinen „guten Versuch“ leisten kann. Man braucht eine Garantie.
Teil 3: Zukünftige Herausforderungen
Die Arbeit endet mit dem Hinweis, dass wir uns noch in den frühen Tagen dieses Sicherheitskriegs befinden.
- Kombinierte Angriffe (Compound Attacks): Derzeit untersuchen Forscher, wie man die Bibliothek ODER den Newsfeed vergiftet. In der realen Welt könnte ein Bösewicht jedoch die Bibliothek UND den Newsfeed UND die Werkzeuge der Assistenten gleichzeitig vergiften. Wir müssen herausfinden, wie wir uns gegen diesen „perfekten Sturm“ verteidigen können.
- Einheitliche Regeln: Jeder verwendet unterschiedliche Tests, um zu sehen, ob ein Angriff funktioniert hat. Wir brauchen eine standardisierte „Sicherheitsprüfung“ für alle KI-Systeme, damit wir vergleichen können, wer tatsächlich sicher ist.
- Multimodale Vergiftung: Die meisten Angriffe beziehen sich auf Text. Aber was ist, wenn das Gift in einem Bild oder einem Audioclip steckt? Wenn der Koch ein Bild einer Bombe sieht, gerät er vielleicht in Panik. Wir brauchen Verteidigungen, die Bilder und Klänge verstehen, nicht nur Wörter.
- Mensch im Prozess (Human in the Loop): Manchmal ist der beste Schutz ein Mensch. Die Arbeit legt nahe, dass wir Systeme brauchen, die erklären können, warum sie etwas verdächtig finden, damit ein Mensch die endgültige Entscheidung treffen kann.
Zusammenfassung
Diese Arbeit ist eine Landkarte eines sich verändernden Schlachtfelds.
- Der Feind: Hat sich von der bloßen Manipulation des KI-Gehirns zur Vergiftung der KI-Umgebung (News, Werkzeuge, Gedächtnis) bewegt.
- Die Helden: Bewegen sich von der bloßen „Fehlersuche“ (empirisch) hin zum „mathematischen Beweis der Sicherheit“ (beweisbar).
- Das Ziel: KI-Systeme zu bauen, die nicht nur intelligent, sondern auch vertrauenswürdig sind, selbst wenn die Welt um sie herum versucht, sie zu täuschen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.