Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

Große Sprachmodelle sind die Motoren hinter vielen der künstlichen Intelligenz-Werkzeuge, die wir heute nutzen, von Chatbots, die Fragen beantworten, bis hin zu Systemen, die beim Schreiben von Code helfen. Diese Maschinen lernen nicht, indem ihnen in einem Klassenzimmer Regeln beigebracht werden; stattdessen lernen sie, indem sie riesige Mengen an Text aus dem Internet, Büchern und anderen digitalen Quellen lesen. Dieser Prozess wird als Training bezeichnet. Damit ein Modell fließend und kenntnisreich wird, muss es eine Bibliothek von Texten konsumieren, die so groß ist, dass ein Mensch ein ganzes Leben lang bräuchte, um sie alle zu lesen. Forscher konzentrieren sich seit langem darauf, wie diese Modelle gebaut werden und wie sie nach ihrem anfänglichen Lernen feinjustiert werden, um sicherzustellen, dass sie sicher und hilfreich sind. Eine kritische Frage ist jedoch weitgehend unbeantwortet geblieben: Was für eine Art von Material liest das Modell eigentlich zu Beginn? Wenn die Trainingsbibliothek schädliche, hasserfüllte oder gefährliche Ideen enthält, könnte das Modell lernen, diese zu wiederholen, selbst wenn seine Schöpfer später versuchen, ihm ein besseres Verhalten beizubringen. Dies ist nicht nur ein technischer Fehler; es ist eine Frage der öffentlichen Sicherheit, da diese Systeme zunehmend von Menschen jeden Alters genutzt werden, einschließlich Kindern, die ohne Warnung mit gefährlichen Standpunkten konfrontiert werden könnten.

Ein Team von Forschern der Universität Manchester machte sich daran, den Inhalt der Trainingsdaten für eine der bedeutendsten Open-Source-Textsammlungen zu untersuchen, die der wissenschaftlichen Gemeinschaft zur Verfügung steht. Diese Sammlung, bekannt als Dolma, dient als Fundament für eine Serie fortgeschrittener Sprachmodelle namens OLMo. Die Forscher wollten wissen, ob diese massive Bibliothek extremistische Sprache enthielt – Texte, die Gewalt, Hass oder den Umsturz demokratischer Systeme fördern. Um dies zu beantworten, verließen sie sich nicht einfach auf Vermutungen oder ein einzelnes Computerprogramm. Stattdessen entwickelten sie einen sorgfältigen, mehrstufigen Prozess, um diese Dokumente zu finden. Sie begannen damit, eine Zufallsstichprobe von 200.000 Dokumenten aus der Dolma-Sammlung zu nehmen, die einen winzigen, aber statistisch bedeutsamen Ausschnitt der drei Billionen Wörter darstellt, mit denen das Modell trainiert wurde. Sie verwendeten dann mehrere verschiedene Computermodelle, um diese Dokumente zu scannen, wobei jedes Modell angewiesen wurde, Texte zu identifizieren, die spezifischen Definitionen von Extremismus entsprachen. Diese Definitionen stammten aus offiziellen Richtlinien der britischen Regierung und von akademischen Experten in der Untersuchung von Terrorismus und politischer Gewalt.

Der Prozess war so konzipiert, dass er konservativ war, was bedeutet, dass die Forscher sicher sein wollten, bevor sie etwas als extremistisch klassifizierten. Sie verwendeten eine Technik namens „Union-Check“, bei der sie die Computermodelle anwiesen, ein Dokument zu markieren, falls es einer der verschiedenen Definitionen von Extremismus entsprach. Dies half sicherzustellen, dass die Modelle die Aufgabe korrekt verstanden. Sobald die Computer potenzielle Treffer markiert hatten, unterzogen die Forscher diese einer weiteren Prüfung. Sie setzten ein leistungsfähigeres KI-System ein, um Fehlalarme herauszufiltern, und schließlich brachten sie einen menschlichen Experten ein, der auf die Untersuchung extremistischer Sprache spezialisiert ist, um eine kleine Stichprobe der markierten Texte genau zu lesen. Diese menschliche Überprüfung war entscheidend, da Texte aus der freien Wildbahn oft ungeordnet sind, voller kodierter Sprache oder auf eine Weise geschrieben sind, die für Maschinen schwer zu interpretieren ist. Der Experte las diese Dokumente durch, um zu bestät bestenätigen, ob sie tatsächlich die gefährlichen Narrative enthielten, nach denen die Forscher suchten.

Die Ergebnisse dieser Untersuchung waren eindeutig und besorgniserregend. Die Forscher fanden heraus, dass die Dolma-Trainingssammlung mit an Sicherheit grenzender Wahrscheinlichkeit Hunderttausende von Dokumenten mit extremistischen Inhalten enthält. Basierend auf ihren konservativen Schätzungen berechneten sie, dass etwa jedes 2.000. Dokument in der Zufallsstichprobe extremistische Narrative oder Hassrede enthielt. Wenn sie diese Rate auf den gesamten Datensatz hochrechneten, der aus Milliarden von Dokumenten besteht, deuteten die Zahlen auf ein riesiges Reservoir an schädlichem Material hin. Die Studie identifizierte verschiedene Arten gefährlicher Inhalte, darunter direkte Aufrufe zu Gewalt, Hassrede gegen bestimmte rassische oder religiöse Gruppen und Narrative, die darauf abzielen, demokratische Institutionen zu untergraben. Interessanterweise stellten die Forscher fest, dass die spezifische Definition von Extremismus, die zur Suche in den Daten verwendet wurde, die Ergebnisse veränderte. Eine Definition, die sich auf den Konflikt zwischen „In-Groups“ (Eigengruppen) und „Out-Groups“ (Fremdgruppen) konzentrierte, warf ein sehr weites Netz aus und erfasste viele Texte, die zwar hasserfüllt, aber nicht unbedingt im politischen Sinne extremistisch waren. Eine andere Definition, die auf offiziellen Regierungskriterien basierte, war präziser, identifizierte aber dennoch eine beträchtliche Menge an schädlichem Material.

Eine überraschende Entdeckung war das Fehlen einer spezifischen Art von Extremismus in der Stichprobe. Trotz der globalen Natur des Internets fanden die Forscher in ihrer Stichprobe fast keine Texte im Zusammenhang mit dschihadistischem Terrorismus; lediglich eine einzige Nachricht über ein solches Ereignis tauchte auf. Dies deutet darauf an, dass strenge Regulierungen und Unternehmensrichtlinien bezüglich terroristischer Organisationen diese spezifische Art von Inhalt möglicherweise erfolgreich aus den öffentlichen Datensätzen entfernt haben, die diese Modelle speisen. Die Studie stellte jedoch fest, dass rechtsextremistische Narrative weitaus präsenter waren und oft in Form von politischen Blogs, Forenkommentaren und Verschwörungstheorien auftraten. Die Forscher merkten auch an, dass viel der gefundenen Inhalte „grenzwertig“ war – Texte, die hochgradig polarisiert, gewalttätig oder hasserfüllt waren, aber nicht immer in eine strikte rechtliche Definition von Extremismus passten. Dieser Graubereich ist besonders gefährlich, da er schwerer herauszufiltern ist, aber dennoch dazu führen kann, dass extreme Ansichten für die Modelle, die sie lesen, normalisiert werden.

Die Auswirkungen dieser Erkenntnisse gehen über die technischen Details hinaus, wie die Modelle gebaut werden. Die Forscher argumentieren, dass das Problem nicht einfach dadurch gelöst werden kann, dass man versucht, die Modelle zu korrigieren, nachdem sie bereits von diesen Daten gelernt haben. Wenn ein Modell tausende Dokumente auswendig gelernt hat, die zu Gewalt aufrufen oder Hass propagieren, wird es Schwierigkeiten haben, diese Muster zu verlernen, selbst mit zusätzlichem Sicherheitstraining. Die Studie hebt hervor, dass die Zusammensetzung der Trainingsdaten ein grundlegendes Problem ist, das dringende Aufmerksamkeit von den Menschen erfordert, die diese Systeme bauen. Es reicht nicht aus, sich darauf zu konzentrieren, wie die Modelle reagieren, sobald sie veröffentlicht werden; die Sicherheit des Endprodukts hängt stark davon ab, was während ihrer anfänglichen Lernphase in sie hineingegeben wurde. Die Forscher kommen zu dem Schluss, dass es Bedarf an einer breiteren Diskussion darüber gibt, welche Arten von Inhalten für die Aufnahme in die Trainingsbibliotheken künstlicher Intelligenz akzeptabel sind, insbesondere wenn diese Bibliotheken dazu verwendet werden, Werkzeuge zu erstellen, die täglich mit der Öffentlichkeit interagieren.