Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Das große Ganze: Ein Übersetzer für kulturelle Gefühle

Stellen Sie sich das Internet wie einen riesigen, lauten Marktplatz vor. Auf diesem Platz gibt es zwei Gruppen von Menschen: die Mehrheit (die häufigsten Stimmen) und die Minderheiten (kleinere, oft übersehene Gruppen).

Manchmal sagen Menschen der Mehrheit Dinge, die technisch gesehen keine „Hassrede“ sind (wie das Schreien von Beleidigungen), die aber dennoch verletzend sind. Sie machen vielleicht Witze, treffen Annahmen oder Kommentare, die die Kultur, Religion oder Geschichte der Minderheit versehentlich auslöschen oder respektlos behandeln. Es ist so, als würde jemand sagen: „Warum trägst du diesen komischen Hut? Er ist hässlich“, ohne zu merken, dass dieser Hut für den Träger eine heilige Krone ist.

Das Problem ist, dass die „Türsteher“ (Content-Moderationssysteme) auf dem Marktplatz meist von der Mehrheit trainiert werden. Sie übersehen diese subtilen Verletzungen oft, weil sie die Perspektive der Minderheit nicht verstehen. Sie sagen vielleicht: „Dieser Kommentar ist völlig in Ordnung“, während sich die Minderheit tief gekränkt fühst.

Dieses Paper stellt Mod-Guide vor, ein neues Werkzeug, das den Türstehern helfen soll, die Sichtweise der Minderheit zu verstehen.

Das Problem: Der „Schleier“ und das „fehlende Wörterbuch“

Die Autoren verwenden zwei kraftvolle Metaphern, um zu erklären, warum das passiert:

1. Der Schleier: Stellen Sie sich einen dicken, unsichtbaren Vorhang vor, der die Mehrheit und die Minderheit trennt. Die Mehrheit kann die wahren Gefühle der Minderheit nicht sehen, und die Minderheit fühlt sich unverstanden.
2. Hermeneutische Ungerechtigkeit: Das ist eine schicke Art zu sagen, dass der Minderheit ein Wörterbuch fehlt. Sie haben Erfahrungen und Gefühle, aber die „offizielle Sprache“ des Internets (und der KI) besitzt nicht die Worte, um zu beschreiben, warum diese Erfahrungen schmerzhaft sind.

Aus diesem Grund scheitern Standard-KI-Modelle (wie sie derzeit auf Social-Media-Seiten verwendet werden) oft daran, „unsensiblen Sprachgebrauch“ zu erkennen. Sie sehen die Wörter, aber sie verpassen die Bedeutung dahinter.

Die Lösung: Den Aufbau einer „Gemeinschaftsbibliothek“

Um dies zu beheben, haben die Forscher nicht einfach eine KI raten lassen. Stattdessen sind sie zur Quelle gegangen.

Schritt 1: Die Geschichtenerzähler (Der Korpus)
Die Forscher sammelten 22 Mitglieder aus zwei spezifischen Minderheitengruppen in Bangladesch: der hinduistischen Gemeinschaft (religiöse Minderheit) und der Chakma-Gemeinschaft (indigene ethnische Minderheit).

• Sie baten diese Gemeinschaftsmitglieder, Beispiele für Online-Kommentare zu teilen, die sie verletzt haben.
• Entscheidend war, dass die Gemeinschaftsmitglieder nicht nur sagten: „Das ist schlecht“. Sie schrieben Erläuterungen. Sie erklärten, warum es schlecht war, unter Verwendung ihrer eigenen religiösen Texte, ihrer Geschichte und ihrer gelebten Erfahrungen.
• Analogie: Stellen Sie sich eine Bibliothek vor, in der man statt einer bloßen Liste von „Schimpfwörtern“ ein Regal mit Büchern hat, die von den Betroffenen selbst geschrieben wurden und genau erklären, warum ein bestimmter Satz sich wie ein Schlag in die Magengrube anfühlte.

Schritt 2: Das Werkzeug (Mod-Guide)
Die Forscher entwickelten ein Tool namens Mod-Guide. Betrachten Sie es als einen intelligenten Assistenten für Content-Moderatoren.

• Das Gehirn: Es nutzt eine leistungsstarke KI (GPT-4).
• Das Gedächtnis (RAG): Dies ist die Geheimzutat. Anstatt dass die KI basierend auf ihrem allgemeinen Training rät, zwingt Mod-Guide die KI dazu, die Gemeinschaftsbibliothek (den in Schritt 1 erstellten Korpus) zu öffnen, bevor sie antwortet.
• Das Rollenspiel: Die KI wird gebeten, verschiedene „Hüte“ (Personas) aufzusetzen, um Feedback zu geben. Manchmal agiert sie als Lehrer (um aufzuklären), manchmal als Vermittler (um einen Streit zu schlichten) oder als Richter (um ein Urteil zu fällen).

Wie es im echten Leben funktioniert

Schauen wir uns ein Beispiel aus dem Paper an:

• Der unsensible Kommentar: Ein Nutzer postet: „Ich glaube nicht, dass man Idole bewachen muss; ich habe meinen Glauben mitgebracht, um sie zu bewachen, nicht um Statuen zu schützen.“ (Dies ist beleidigend für Hindus, die Idole als heilig betrachten).
• Standard-KI: Würde vielleicht sagen: „Das ist nur eine Meinung, das ist okay.“
• Mod-Guide (mit der Bibliothek): Die KI sucht in der Erklärung der hinduistischen Gemeinschaft nach. Sie sieht, dass Idole für sie eine Brücke zu Gott sind und nicht bloß Statuen.
• Das Ergebnis: Mod-Guide sagt dem Nutzer: „Dieser Kommentar könnte verletzend sein, da er die heilige Natur von Idolen für viele Menschen missachtet. Hier ist, wie Sie es umformulieren könnten, um respektvoller zu sein.“

Was sie herausgefunden haben

Die Forscher testeten Mod-Guide gegen die Standard-KI und fanden heraus:

1. Es verändert die Ausgabe: Wenn die KI die „Gemeinschaftsbibliothek“ (RAG) nutzt, sind ihre Antworten völlig anders als die der Standard-KI. Sie wird viel sensibler für kulturelle Nuancen.
2. Es ist genauer: Experten aus den Minderheitengemeinschaften bewerteten die Antworten. Sie sagten, die Standard-KI sei oft „oberflächlich“ gewesen oder habe den Punkt verfehlt. Die Mod-Guide-Antworten waren tiefer und in Bezug auf ihre Kultur faktisch korrekter.
3. Wer findet es gut?
   • Ethnizität spielt eine Rolle: Menschen aus der indigenen (Chakma) Minderheit fanden das Feedback wesentlich nützlicher als Menschen aus der Mehrheit.
   • Religion spielte eine geringere Rolle: Interessanterweise machte es keinen Unterschied, ob jemand Hindu oder Muslim war, wie nützlich sie das Tool fanden; es ging eher um ihren ethnischen Hintergrund.
   • Die „Lehrer“- und „Vermittler“-Hüte: Das Feedback war am hilfreichsten, wenn die KI als Lehrer oder Vermittler auftrat, statt als strenger Richter.

Die Einschränkungen (Der Haken)

Die Autoren sind ehrlich darüber, was dieses Werkzeug noch nicht kann:

• Es ist klein: Die „Bibliothek“, die sie aufgebaut haben, ist klein (132 Beispiele). Es ist wie ein Wörterbuch, das nur aus wenigen Seiten besteht. Es funktioniert gut für die spezifischen Gruppen, die sie untersucht haben, deckt aber möglicherweise nicht alle Beleidigungen oder jede andere Minderheitengruppe der Welt ab.
• Es ist keine Magie: Das Tool benötigt immer noch menschliche Aufsicht. Es kann das menschliche Urteilsvermögen nicht vollständig ersetzen, insbesondere bei sehr komplexen oder visuellen Inhalten (wie Bildern mit Text).
• Spezifisch für Bangladesch: Die Ergebnisse beziehen sich auf die hinduistische und die Chakma-Gemeinschaft in Bangladesch. Es löst nicht automatisch Probleme für Minderheiten in anderen Ländern, obwohl die Methode kopiert werden könnte.

Die wichtigste Erkenntnis

Dieses Paper argumentiert, dass wir, um das Internet fair zu gestalten, uns nicht nur auf große, allgemeine KI-Modelle verlassen können. Wir müssen lokale, gemeinschaftsspezifische Wissensbibliotheken aufbauen.

Indem wir der KI ein „Wörterbuch“ geben, das von den Menschen geschrieben wurde, die tatsächlich verletzt werden, können wir ihr helfen, den Unterschied zwischen einem harmlosen Kommentar und einer tief beleidigenden Äußerung zu verstehen. Es geht um den Übergang von Bestrafung (Menschen verbannen) zu restaurativer Gerechtigkeit (Menschen helfen, einander zu verstehen und die Beziehung zu reparieren).

Kurz gesagt: Mod-Guide ist ein Werkzeug, das die KI lehrt, auf die Menschen zu hören, die sie zu schützen vorgibt, anstatt nur zu raten, was sie brauchen.