Investigating Bias in Bulgarian in the Context of Large Language Models
Diese Arbeit präsentiert einen manuell annotierten bulgarischen Datensatz zur Evaluierung der Bias-Erkennung, wobei eine hohe Übereinstimmung unter menschlichen Annotatoren, aber eine signifikante Divergenz zwischen Menschen und großen Sprachmodellen aufzeigt, während gleichzeitig demonstriert wird, dass das Prompting in bulgarischer Sprache die Übereinstimmung der Modelle mit menschlichen Urteilen verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, menschliche Geschichten zu verstehen. Sie geben ihm Millionen von Büchern, Artikeln und Websites zum Lesen, in der Hoffnung, dass er nicht nur Grammatik lernt, sondern auch lernt, fair, freundlich und neutral zu sein. Dies ist die Welt der Large Language Models (LLMs), der KI-Gehirne hinter Chatbots und Suchmaschinen. Aber hier liegt der Haken: Roboter lernen, indem sie das nachahmen, was sie sehen. Wenn die Bücher, die sie lesen, veraltete Stereotypen oder unfaire Meinungen über bestimmte Gruppen von Menschen enthalten, könnte der Roboter diese Vorurteile versehentlich ebenfalls erlernen. Es ist wie ein Schüler, der nur Geschichtsbücher liest, die von einer Seite eines Krieges geschrieben wurden; er könnte denken, dass diese Seite immer recht hat. Wissenschaftler sind besorgt, weil diese Roboter, wenn sie beginnen, Entscheidungen über Jobs, Kredite oder Nachrichten zu treffen, Menschen versehentlich unfair behandeln könnten. Die große Frage ist: Können wir diese Roboter lehren, Unfairness in Texten zu erkennen, und nehmen sie diese auf die gleiche Weise wahr wie Menschen?
Diese Arbeit taucht in diese Frage ein, aber mit einer Wendung: Sie betrachtet die bulgarische Sprache. Die meisten KI-Forschungen konzentrieren sich auf Englisch, was so ist, als würde man nur eine Sorte Eiscreme studieren und davon ausgehen, dass man den gesamten Gefrierschrank versteht. Die Forscher wollten sehen, ob dieselben Regeln für eine Sprache gelten, die über weniger digitale Ressourcen und eine sehr andere Kultur verfügt. Sie entwickelten ein spezielles „Testkit“ aus 3.177 Sätzen aus der bulgarischen Wikipedia. Zwei menschliche Experten lasen diese Sätze und bewerteten sie auf einer Skala von 0 bis 5, um zu sehen, wie voreingenommen sie waren, wobei sie auf Unfairness in Bezug auf Geschlecht, Religion, Rasse, Aussehen und Behinderung achteten. Dann baten sie drei verschiedene KI-Modelle (Gemma 4, BgGPT-Gemma-3 und Qwen 3), exakt dieselben Sätze zu bewerten.
Die Ergebnisse waren ein wenig schockierend, so als würde man einen Menschen und einen Roboter bitten, einen Zaubertrick zu beurteilen, und völlig unterschiedliche Antworten erhalten. Die zwei Menschen stimmten fast immer überein (nur 2,4 % der Zeit waren sie sich uneinig, ob ein Satz voreingenommen war). Die KI-Modelle jedoch, die dieselbe Aufgabe zu erledigen versuchten, waren viel weniger zuverlässig. Die Roboter stimmten in 24 % bis 34 % der Fälle nicht mit den Menschen überein. Noch schlimmer war: Wenn die Menschen sagten, ein Satz sei voreingenommen, sahen die Roboter dies oft nicht, und wenn die Roboter etwas als voreingenommen markierten, fanden die Menschen es oft völlig in Ordnung.
Die Arbeit legt nahe, dass die Roboter nicht einfach nur „falsch“ liegen; sie spielen nach einem anderen Regelwerk. Die Menschen waren sehr streng darin, wie schlimm die Voreingenommenheit war (sie gaben hohe Punktzahlen für starke Voreingenommenheit), aber die Roboter waren viel vorsichtiger und vergaben selbst dann sehr niedrige Punktzahlen, wenn Menschen eine starke Unfairness sahen. Es ist, als würden die Menschen rufen: „Das ist schrecklich!“, während die Roboter flüstern: „Vielleicht ein wenig unhöflich?“
Es gab jedoch eine interessante Entdeckung. Eines der KI-Modelle, BgGPT-Gemma-3, wurde speziell für Bulgarien entwickelt. Als die Forscher es Fragen auf Englisch stellten, schnitt es schlecht ab. Aber als sie die Anweisungen auf Bulgarisch umstellten, begann der Roboter plötzlich, Voreingenommenheit ähnlich wie ein Mensch wahrzunehmen. Es ist, als hätte das Sprechen der Muttersprache des Roboters einen anderen Teil seines Gehirns geweckt, was ihm half, den kulturellen Kontext besser zu verstehen.
Die Studie kommt zu dem Schluss, dass wir uns bei Sprachen mit geringen Ressourcen wie Bulgarisch noch nicht darauf verlassen können, dass Roboter Vorurteile korrigieren. Sie sind derzeit noch zu weit von menschlichem Urteilsvermögen entfernt. Der Autor schlägt vor, dass wir, anstatt uns auf eine einzige KI zu verlassen, die die Bewertung übernimmt, vielleicht ein Team aus verschiedenen KIs benötigen und dann Menschen zur Kontrolle ihrer Arbeit heranziehen sollten. Er betont auch, dass wir bessere Wörterbücher und Werkzeuge entwickeln müssen, die speziell auf die bulgarische Kultur zugeschnitten sind, da die Roboter derzeit die subtilen, kulturellen Hinweise übersehen, die Menschen sofort erfassen. Bis dahin sind die Roboter noch dabei zu lernen, wie man wirklich fair ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.