What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

Diese Studie stellt einen experimentellen Benchmark für Filterstrategien zur Schadensreduzierung in Vortrainingsdatensätzen vor und zeigt, dass diese zwar schädliche Inhalte effektiv entfernen, jedoch gleichzeitig die Unterrepräsentation vulnerabler Gruppen verstärken.

Das Wesentliche

🛡️ Was wird eigentlich herausgefiltert? Eine Untersuchung zu KI und Vorurteilen

Stell dir vor, du möchtest einen riesigen, chaotischen Bibliothekskeller (das ist der "Trainingsdatensatz") aufräumen, um daraus einen super-intelligenten Bibliothekar (die KI) zu bauen. Dieser Bibliothekar soll alles über die Welt wissen, aber er darf keine bösen, rassistischen oder sexistischen Geschichten erzählen.

Um das zu erreichen, setzen die Entwickler Filter ein. Sie wollen den "Müll" (schädliche Inhalte) aus dem Keller entfernen, damit der Bibliothekar sauber und höflich wird.

Aber hier kommt das Problem: Was passiert mit den Menschen, die in den Geschichten vorkommen, wenn wir den Müll wegwerfen?

Diese Studie von Marco Antonio Stranisci und Christian Hardmeier untersucht genau das. Sie haben wie Detektive gearbeitet und herausgefunden, dass unsere guten Vorsätze (den Müll wegzuwerfen) oft unbeabsichtigt bestimmte Gruppen von Menschen aus dem Gedächtnis der KI löschen.

1. Der große Überblick: Wie versuchen wir, die KI zu säubern?

Die Forscher haben sich 55 technische Berichte von verschiedenen KI-Modellen angesehen. Sie haben herausgefunden, dass es im Grunde acht verschiedene Methoden gibt, um den Keller zu reinigen:

• Die "Vertrauens-Polizei": Man nimmt nur Bücher von bekannten, seriösen Quellen (wie Wikipedia).
• Der "Qualitäts-Filter": Man wirft alles weg, was schlecht geschrieben oder langweilig klingt.
• Die "Wort-Liste": Man hat eine Liste mit bösen Wörtern (Schimpfwörter, Hassrede). Kommt ein Wort vor, wird der ganze Satz weggeschmissen.
• Der "KI-Detektiv": Eine andere KI schaut sich den Text an und sagt: "Das hier ist giftig, weg damit!"
• Die "Schwarze Liste": Bestimmte Webseiten werden komplett ignoriert.
• Der "Mensch im Loop": Echte Menschen schauen sich die Texte an und entscheiden, was bleibt.

Das Problem: Viele dieser Methoden sind wie ein Trichter. Sie lassen den Müll durch, aber sie lassen auch viele wichtige Dinge durch, die gar nicht schädlich sind. Und schlimmer noch: Sie fangen oft Dinge auf, die gar nicht gemeint waren.

2. Das Experiment: Wer verliert am meisten?

Die Forscher haben ein eigenes Test-System gebaut. Sie haben einen Haufen Texte aus dem Internet genommen und sieben verschiedene Filtermethoden darauf angewendet. Dann haben sie gezählt: Wer taucht danach noch in den Texten auf?

Sie haben die Menschen in vier Gruppen eingeteilt, basierend auf Geschlecht und Herkunft:

1. Westliche Männer
2. Westliche Frauen
3. Männer aus ehemaligen Kolonien (Post-Kolonial)
4. Frauen aus ehemaligen Kolonien

Das schockierende Ergebnis:
Die Filter funktionieren nicht neutral. Sie sind wie ein schiefes Sieb.

• Frauen sind die großen Verlierer: Egal welchen Filter man benutzt (ob Wort-Liste oder KI-Detektiv), Frauen werden viel häufiger aus den Texten entfernt als Männer.
• Warum? Stell dir vor, du hast einen Filter, der Wörter wie "Sex" oder "Pornografie" entfernt. Das ist gut, um Pornografie zu stoppen. Aber in den Texten, in denen diese Wörter vorkommen, tauchen oft Frauen auf (z. B. als Schauspielerinnen oder in bestimmten Rollen). Wenn der Filter den Satz löscht, löscht er auch die Erwähnung der Frau.
• Männer sind "sicherer": Männer tauchen in Texten über Politik, Wissenschaft oder Sport auf. Diese Texte enthalten seltener die "verbotenen" Wörter, die die Filter löschen. Also bleiben Männer in der KI-Datenbank viel öfter übrig.

3. Die Analogie des "Schnitzel-Prüfers"

Stell dir vor, du möchtest nur gesunde Schnitzel servieren. Du hast einen Filter, der alles wegwerfen soll, was "zu fett" aussieht.

• Das Problem ist: Viele Küchenmädchen, die die Schnitzel zubereiten, tragen Schürzen, die etwas fettig aussehen.
• Wenn du den Filter anwendest, werfst du nicht nur die fetten Schnitzel weg, sondern werfst auch die Bilder der Küchenmädchen weg, weil sie "zu fett" aussehen.
• Am Ende hast du zwar keine fetten Schnitzel mehr, aber keine Bilder von Küchenmädchen mehr in deinem Kochbuch. Die Männer-Köche, die in sauberen Anzügen stehen, bleiben übrig.

Genau das passiert mit den KI-Daten: Um "schädliche" Inhalte zu entfernen, löschen wir unbeabsichtigt die Repräsentation von Frauen.

4. Das Fazit: Wir müssen vorsichtiger sein

Die Studie zeigt uns drei wichtige Dinge:

1. Ein Filter ist nie perfekt: Wenn du einen bestimmten Typ von Hass (z. B. Rassismus) filterst, löscht du vielleicht unbeabsichtigt andere Dinge (z. B. die Erwähnung von Minderheiten).
2. Qualität ist nicht gleich Sicherheit: Texte, die gut geschrieben und von "guten" Quellen stammen (wie Wikipedia), sind nicht automatisch frei von Vorurteilen. Sie können immer noch Frauen unterrepräsentieren.
3. Wir verlieren die Vielfalt: Wenn wir die KI nur mit gefilterten Daten trainieren, lernt sie die Welt so, als gäbe es mehr Männer als Frauen und als wären Frauen nur in bestimmten (oft negativen) Kontexten erwähnenswert.

Die Botschaft: Wir müssen beim Aufräumen der KI-Datenbanken aufpassen, dass wir nicht versehentlich ganze Gruppen von Menschen aus dem Gedächtnis der Maschine löschen. Es braucht feinere Werkzeuge, die nicht nur "Müll" entfernen, sondern die Vielfalt der Welt bewahren.

Technische Zusammenfassung

1. Problemstellung

Die Entwicklung sicherer Large Language Models (LLMs) erfordert die Filterung schädlicher Inhalte aus den Vorab-Trainingsdaten (Pretraining-Datasets). Obwohl dies ein kritischer Schritt ist, fehlt es an systematischer Forschung zu den tatsächlichen Auswirkungen dieser Filterstrategien auf vulnerable Gruppen (z. B. Minderheiten, Frauen).

• Das Dilemma: Es besteht die Gefahr, dass Strategien zur Schadensreduzierung unbeabsichtigt zu einer Unterrepräsentation dieser Gruppen in den Trainingsdaten führen.
• Forschungslücke: Bisherige Studien konzentrierten sich oft auf spezifische Datensätze oder die Leistung von Modellen nach dem Training, nicht aber auf die systematische Analyse der Filterstrategien selbst und deren Bias-Effekte während des Pretrainings. Zudem fehlt es oft an Transparenz und Reproduzierbarkeit der beschriebenen Methoden in technischen Berichten von LLM-Entwicklern.

2. Methodik

Die Autoren verfolgen einen zweigleisigen Ansatz: eine systematische Literaturrecherche und ein experimentelles Benchmarking.

A. Systematische Übersicht (Survey)

• Datenbasis: Analyse von 55 technischen Berichten englischer LMs und LLMs.
• Auswahlkriterien: Modelle wurden basierend auf Rankings in Leaderboards (SuperGLUE, SQuAD, MMLU-pro, Chatbot Arena) sowie Sicherheits-Leaderboards (ALERT, Secure Learning Lab) ausgewählt.
• Ziel: Identifikation existierender Filterstrategien und Bewertung der Offenlegung (Reproduzierbarkeit) dieser Methoden.

B. Experimentelles Benchmarking

Um die Auswirkungen auf vulnerable Gruppen zu messen, wurde eine Pipeline entwickelt:

1. Wissensbasis („People Dataset"): Erstellung eines Korpus mit 10,8 Millionen Personen-Entitäten aus Wikidata und CaLiGraph. Diese wurden nach Geschlecht (Männlich/Weiblich) und Herkunft (Westlich/Post-kolonial) kategorisiert, um vier demografische Gruppen zu bilden:
   • Westliche Männer (w.m.)
   • Post-koloniale Männer (p-c.m.)
   • Westliche Frauen (w.w.)
   • Post-koloniale Frauen (p-c.w.)
2. Datengrundlage: 5 Stichproben aus dem Common Crawl (August 2024), gefiltert auf englische Sprache und Mindestlänge.
3. Entity Linking: Ein Pipeline-Prozess verknüpfte benannte Entitäten (Personen) in den Common-Crawl-Dokumenten mit dem „People Dataset", um deren demografische Zugehörigkeit zu bestimmen.
4. Anwendung von Filterstrategien: Sieben verschiedene Filterstrategien wurden auf die Sätze angewendet, die diese Entitäten erwähnten. Die Strategien umfassten:
   • Regelbasiert: Nutzung von Lexika (Shutterstack, HateBase).
   • Klassifikator-basiert: Nutzung von Toxizitäts-Klassifikatoren (Perspective API, FastText, profanity-check).
   • Qualitätsbasiert: Ähnlichkeitsfilterung basierend auf hochwertigen Referenzdaten (Wikipedia, OpenWebText).

3. Wichtige Beiträge

1. Erste systematische Taxonomie: Die Autoren stellen eine Taxonomie von acht Kategorien von Filterstrategien vor (z. B. autoritative Quellen, Document Seeding, Toxizitäts-Klassifikatoren, Regelbasierte, URL-Blacklists, Human-in-the-Loop, Sicherheitsrichtlinien).
2. Benchmark-Pipeline: Entwicklung und Veröffentlichung einer Pipeline und Ressourcen zur Messung des Einflusses von Filtern auf die Repräsentativität vulnerabler Gruppen.
3. Empirischer Nachweis: Demonstration, dass Filterstrategien zwar schädliche Inhalte reduzieren, aber gleichzeitig die Unterrepräsentation von Frauen und Minderheiten in den Daten signifikant verstärken.

4. Ergebnisse

A. Transparenz und Reproduzierbarkeit

• Die meisten aktuellen LLM-Berichte geben keine Details über die Filterpipelines preis (rot markiert in der Analyse).
• Es gibt einen Trend zur „Dokumentationsschuld": Während frühe Modelle (z. B. BERT) keine Filterung durchführten und neuere (z. B. C4) offenlegten, geben viele aktuelle Modelle (z. B. GPT-4, Gemini) nur vage Beschreibungen ab, ohne Skripte oder Daten freizugeben.

B. Auswirkungen der Filterstrategien (Quantitativ)

• Umfang der Filterung:
  • Lexikon-basierte und Klassifikator-basierte Strategien entfernen weniger als 1–4 % der Sätze.
  • Qualitätsbasierte Strategien (Similarity-based) entfernen aggressiv 11 % bis 44 % der Inhalte.
• Wer wird gefiltert? (Demografische Verzerrung):
  • Frauen sind am stärksten betroffen: Regelbasierte und Klassifikator-basierte Strategien entfernen Benennungen von Frauen signifikant häufiger als bei Männern.
  • Spezifische Berufsgruppen: Bei westlichen Frauen werden Berufe wie „pornografische Schauspielerin" überproportional gefiltert, obwohl dies nicht der häufigsten Berufsverteilung entspricht. Bei post-kolonialen Frauen wird der Beruf „Model" überproportional entfernt.
  • Männer: Qualitätsbasierte Filter entfernen eher Männer, aber die Analyse zeigt, dass diese Filter oft keine toxischen Inhalte entfernen, sondern einfach Inhalte als „nicht hochwertig" einstufen.

C. Art der gefilterten Inhalte

• Verschiedene Strategien zielen auf unterschiedliche Arten von Schaden ab.
  • Shutterstack-Lexikon: Fokus auf Pornografie (z. B. „sex", „nude").
  • HateBase: Fokus auf Rassismus und Misogynie (z. B. „slaves", „dykes").
  • Klassifikatoren: Zeigen nur eine geringe Überlappung (z. B. nur 35,8 % Übereinstimmung zwischen FastText und Profanity Check).
• Qualität ist kein Proxy für Sicherheit: Qualitätsfilter (basierend auf Wikipedia/OpenWebText) entfernen zwar viele Sätze, lassen aber einen Großteil der als toxisch identifizierten Inhalte (bis zu 90 % bei Wikipedia-basierten Filtern) im Datensatz.

5. Bedeutung und Fazit

• Trade-off: Der Versuch, schädliche Inhalte zu entfernen, führt unweigerlich zu einer Verzerrung der Daten zugunsten bestimmter Gruppen (insbesondere westlicher Männer) und zu Lasten anderer (insbesondere Frauen und Minderheiten).
• Fehlende Balance: Es gibt derzeit keine etablierte Strategie, die sowohl schädliche Inhalte effektiv entfernt als auch die Repräsentativität vulnerabler Gruppen bewahrt.
• Implikation: Die Wahl einer spezifischen Filterstrategie bedeutet, bestimmte Arten von Schaden zu priorisieren und andere zu ignorieren, was zu neuen Formen der Diskriminierung in den Trainingsdaten führt.
• Zukünftige Arbeit: Die Autoren fordern partizipative Ansätze (Einbeziehung betroffener Communities), eine Erweiterung der Wissensbasen um mehr demografische Nuancen und eine systematische Untersuchung des Zusammenhangs zwischen Filterstrategien und dem Verhalten der daraus trainierten Modelle.

Zusammenfassend warnt das Paper davor, dass aktuelle „Safety"-Filter in Pretraining-Daten oft blind für ihre eigenen Bias-Effekte sind und die Unterrepräsentation von Frauen und Minderheiten in KI-Modellen strukturell verstärken können.