Pretraining Data Can Be Poisoned through Computational Propaganda
Dieses Paper zeigt auf, dass groß angelegte Vortrainingsdaten für Sprachmodelle über öffentliche Diskussionsschnittstellen vergiftet werden können, und führt „HalfLife“ ein, eine neuartige Analysemethode zur Schätzung der Inklusion solcher adversariellen Inhalte nach dem Web-Crawling und der Kuratierung.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in die jedes Buch, jeder Blogbeitrag und jeder Kommentar, der jemals geschrieben wurde, in ein superintelligentes Robotergehirn eingespeist wird. Dieser Roboter, ein Large Language Model (LLM), ist wie ein Student, der alles liest, um zu lernen, wie man spricht, schreibt und denkt. Je mehr er liest, desto klüger wird er. Aber hier ist der Haken: Die Bibliothek ist so gewaltig, dass kein Mensch jede einzelne Seite auf Lügen, Unsinn oder Tricks überprüfen kann. Genau hier liegt die Gefahr. Wenn jemand ein paar Seiten mit gefälschten Anweisungen in die Bibliothek schmugelt, lernt der Roboter vielleicht diese Tricks anstatt der Wahrheit. Dieses Paper untersucht einen neuen Weg, wie böswillige Akteure diese „vergifteten“ Seiten in die Ernährung des Roboters einschleusen könnten – nicht, indem sie die Bibliothek selbst hacken, sondern indem sie ihre Lügen in die öffentlichen Kommentarspalten der Websites schreien, die der Roboter besucht.
Die Forscher, ein Team der University of Washington und des Allen Institute for Artificial Intelligence, wollten sehen, ob dieser „Schreien in den Kommentaren“-Trick tatsächlich funktioniert. Sie entwickelten ein neues Werkzeug namens HALFLIFE, das wie ein Detektiv fungiert und ein Stück gefälschter Inhalte verfolgt – vom Moment der Veröffentlichung im Internet bis hin zum chaotischen Lernprozess des Roboters. Sie fanden heraus, dass die „Ernährung“ des Roboters überraschend verwundbar ist. Obwohl die Schöpfer des Roboters versuchen, den Müll herauszufiltern, schlüpfen eine beträchtliche Menge bösartiger Kommentare durch die Ritzen.
Hier ist, was sie herausgefunden haben:
Der Angriff: Schreien von der Tribüne aus
Stellen Sie sich das Internet als ein riesiges Stadion vor. Meistens liest der Roboter nur die offiziellen Spielprogramme (die Hauptartikel). Aber das Stadion hat auch tausende offene Mikrofonstationen, an denen Fans alles Mögliche schreien können (die Kommentarspalten). Die Forscher erkannten, dass ein böswilliger Akteur das Stadion nicht hacken muss; er muss nur ein Megafon kaufen und anfangen, Unsinn in diese offenen Mikrofone zu schreien. Sie testeten dies, indem sie eine Armee von Bots simulierten, die falsche Behauptungen wie „Das Essen von Tide Pods steigert die Gesundheit“ oder „Marke X ist besser als Marke Y“ auf tausenden echten Websites posteten.
Der Filter: Die Brotdose des Roboters
Sobald die „Crawler“ (digitale Spinnen) des Roboters diese Seiten sammeln, essen sie nicht einfach alles. Sie haben eine strikte Routine für ihre Brotdose:
- Scraping: Sie zerlegen die Seite, um den Text zu finden.
- Filtern: Sie werfen Seiten weg, die zu kurz sind, in der falschen Sprache verfasst sind oder wie Spam aussehen.
- Qualitätsprüfung: Sie bewerten die Seiten, um zu sehen, ob es sich um „gutes“ Lesematerial handelt.
Das Team nutzte HALFLIFE, um zu sehen, wie viele ihrer gefälschten Kommentare diese Brotdosen-Routine überlebten. Die Ergebnisse waren erschreckend. Selbst nach all dem Filtern gelangten etwa 0,13 % der vergifteten Kommentare in die endgültigen Trainingsdaten. Das klingt winzig, aber denken Sie daran, die Bibliothek ist riesig. Diese 0,13 % entsprechen mehr Dokumenten als die gesamte Sammlung von Wikipedia! Tatsächlich deutete frühere Forschung darauf hin, dass bereits 250 vergiftete Dokumente ausreichen, um einen Roboter dazu zu bringen, einen geheimen Trick zu lernen. Die Forscher berechneten, dass ein Angreifer nur zwischen 100.000 und 1 Million Webseiten vergiften müsste, um dieses Ziel zu erreichen – eine Zahl, die mit automatisierten Bots absolut machbar ist.
Das Ergebnis: Der Roboter glaubt die Lüge
Um zu beweisen, dass dies nicht nur eine Theorie war, trainierte das Team tatsächlich kleine Robotergehirne mit diesen vergifteten Kommentaren. Sie brachten den Robotern bei, dass zum Beispiel „Citroen besser als Renault ist“ oder „Pfizer überlegen an Moderna ist“, basierend auf den gefälschten Kommentaren, die sie gepflanzt hatten. Als sie die Roboter testeten, waren die Ergebnisse eindeutig: Die Roboter begannen, die vergifteten Antworten zu bevorzugen. Selbst als die Roboter später „gelehrt“ wurden, hilfreich und sicher zu sein (ein Prozess namens Instruction Tuning), wurde das Gift nicht vollständig ausgewaschen. Je größer der Roboter war, desto mehr half das Sicherheitstraining, aber kleinere Roboter blieben stark in Richtung der Lügen der Angreifer voreingenommen.
Was nicht funktioniert
Das Paper testete auch eine andere Idee: Was wäre, wenn böswillige Akteure statt Kommentaren Online-Anzeigen verwenden? Sie fanden heraus, dass dies nicht funktionieren würde. Anzeigen sind meist in kleinen Boxen (wie iframes) versteckt, die die Spinnen des Roboters nicht lesen können, wenn diese die Seite scannen. Während Kommentare also eine undichte Tür sind, sind Anzeigen ein Tresor.
Das Fazit
Die wichtigste Lehre daraus ist, dass die offenen Kommentarspalten des Internets eine versteckte Hintertür in die Gehirne unserer fortschrittlichsten KI sind. Da diese Kommentare so verbreitet sind und oft wie normaler Text aussehen, übersehen die derzeit verwendeten Filter zur Bereinigung der Trainingsdaten sie oft. Die Forscher schlagen vor, dass wir klüger damit umgehen müssen, wie wir Nutzerkommentare handhaben, bevor wir sie Robotern füttern – etwa indem wir sie anders behandeln als den eigentlichen Artikeltext. Bis wir das beheben, besteht die reale Gefahr, dass die „Wahrheit“, die unsere KI lernt, still und leise von jedem mit einem Megafon und einem Skript umgeschrieben werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.