Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context

Diese Studie analysiert die sozialen Vorurteile von sieben führenden Large Language Models im nepalesischen Kontext und zeigt mittels eines Dual-Metric-Bewertungsrahmens auf, dass implizite generative Verzerrungen, die bei moderater Temperatur am stärksten sind, durch einfache Zustimmungsmetriken nicht erfasst werden können.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, weltweiten Reisebegleiter, den wir „Künstliche Intelligenz" (KI) nennen. Dieser Begleiter hat Millionen von Büchern, Artikeln und Internetseiten gelesen. Er kann auf fast jede Frage antworten und Geschichten erfinden. Aber hier ist das Problem: Die meisten dieser Bücher stammen aus den USA oder Europa. Was passiert also, wenn Sie diesen Begleiter fragen, wie das Leben in Nepal aussieht?

Genau darum geht es in dieser Studie. Die Forscher haben untersucht, ob diese KI-Modelle Vorurteile haben, wenn es um die nepalesische Kultur geht – eine Kultur, die in den Trainingsdaten dieser KIs oft fehlt oder falsch dargestellt wird.

Hier ist die einfache Erklärung der wichtigsten Punkte, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „westliche Brillen"-Effekt

Stellen Sie sich vor, die KI trägt eine Brille, die nur auf westliche Werte eingestellt ist. Wenn sie über Nepal spricht, sieht sie die Welt durch diese Brille.

• Das Szenario: Die KI könnte denken, dass nur Männer in Nepal arbeiten gehen und Frauen nur zu Hause bleiben, oder dass bestimmte Kasten (eine soziale Gruppe in Nepal) weniger wert sind als andere.
• Die Gefahr: Da diese KIs immer mehr genutzt werden (für Gesundheitsratschläge, Bildung, Jobsuche), könnten sie diese falschen Vorurteile wie ein Echo verstärken und echten Schaden anrichten.

2. Die neue Methode: Der „Zwei-Wege-Test" (DMBA)

Bisher haben Forscher die KI oft nur gefragt: „Stimmen Sie zu, dass Frauen nicht gut in Mathe sind?" (Ja/Nein). Das ist wie ein mündlicher Test. Aber die KI könnte „Ja" sagen, nur um höflich zu sein, oder weil sie denkt, das sei die erwartete Antwort.

Die Forscher aus Nepal haben einen cleveren Trick angewendet, den sie Dual-Metric Bias Assessment nennen. Man kann sich das wie einen Polizisten und einen Detektiv vorstellen:

• Der Polizist (Explizite Zustimmung): Er fragt die KI direkt: „Ist es wahr, dass nur Männer Brücken bauen können?" Er misst, wie oft die KI „Ja" sagt.
• Der Detektiv (Implizite Fortsetzung): Er gibt der KI nur den Anfang eines Satzes, zum Beispiel: „In Nepal bauen Frauen..." und schaut, wie die KI den Satz zu Ende schreibt. Hier kann die KI nicht so leicht „schummeln". Wenn sie schreibt: „...bauen Brücken", ist das gut. Wenn sie schreibt: „...kochen nur Suppe", hat sie ein Vorurteil gezeigt, ohne dass man sie direkt danach gefragt hat.

Das Ergebnis: Der Detektiv fand viel mehr Vorurteile als der Polizist! Die KI sagt oft „Nein" zu Vorurteilen, wenn man sie direkt fragt, aber wenn sie Geschichten schreibt, rutscht sie unbewusst in alte, schädliche Muster.

3. Der neue Werkzeugkasten: „EquiText-Nepali"

Früher gab es keine gute Liste von Fragen, die speziell für Nepal gemacht waren. Es war wie ein Arzt, der nur Symptome aus Deutschland kennt, aber einen Patienten aus Nepal behandelt.
Die Forscher haben eine neue Datenbank mit über 2.400 Satzpaaren erstellt.

• Beispiel: Ein Satz sagt: „Tharu-Männer sind nur für die Landwirtschaft gemacht." (Vorurteil). Der Gegen-Satz sagt: „Tharu-Männer sind auch brillante Ingenieure." (Realität).
• Mit dieser Liste haben sie sieben der besten KIs der Welt getestet (wie GPT-4, Claude, Gemini, Llama).

4. Was sie herausfanden (Die Überraschungen)

• Die „Stille" Vorurteile sind stärker: Die KIs sagten oft höflich „Nein" zu Vorurteilen, aber wenn sie Texte schrieben, waren diese Texte voller Vorurteile. Es ist, als würde jemand sagen: „Ich bin nicht rassistisch", aber dann in einer Geschichte nur negative Stereotype über eine Gruppe verwenden.
• Der „Zufalls-Generator" (Temperatur): KI-Modelle haben einen Schalter namens „Temperatur".
  • Bei niedriger Temperatur ist die KI sehr logisch und vorhersehbar.
  • Bei hoher Temperatur ist sie kreativer und zufälliger.
  • Die Entdeckung: Wenn die KI etwas kreativer wurde (mittlere Temperatur), wurden die Vorurteile in ihren Geschichten sogar schlimmer. Es ist, als würde ein Künstler, der sich entspannt, plötzlich alte Klischees in seine Kunst einbauen, die er im strengen Arbeitsmodus nicht benutzt hätte.
• Unterschiedliche Themen: Vorurteile bezüglich Rasse und Kultur waren in den Geschichten der KI viel stärker als Vorurteile bezüglich des Geschlechts. Das zeigt, dass die KI über bestimmte Gruppen noch viel weniger weiß oder falsche Bilder hat.

5. Warum ist das wichtig?

Diese Studie ist wie ein Warnleuchten für die Welt. Sie zeigt uns:

1. Wir können nicht einfach westliche KI-Modelle nehmen und erwarten, dass sie fair für Nepal (oder andere Länder) funktionieren.
2. Wir müssen KIs nicht nur fragen, was sie denken, sondern genau beobachten, was sie tun (schreiben/erzählen).
3. Wir brauchen mehr Daten und Tests, die die lokale Kultur wirklich verstehen, sonst werden wir die Vorurteile der KI nur weiterverbreiten.

Zusammenfassend: Die KI ist wie ein sehr begabter, aber noch etwas naiver Schüler, der viel aus westlichen Büchern gelernt hat. Wenn wir ihn über Nepal befragen, muss er erst lernen, die lokale Kultur wirklich zu verstehen, sonst erzählt er uns Geschichten, die zwar gut klingen, aber die Realität verzerren. Diese Studie hilft uns, genau diese Lücken zu finden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context" auf Deutsch:

1. Problemstellung

Large Language Models (LLMs) wie GPT-4, Claude und Gemini haben zwar globale Auswirkungen, doch ihre Verzerrungen (Bias) in unterrepräsentierten kulturellen Kontexten, insbesondere im Globalen Süden, sind schlecht verstanden. Die bestehende Forschung konzentriert sich stark auf westliche Kontexte und englischsprachige Datensätze. Dies führt zu einer Lücke für Länder wie Nepal, das durch extreme sprachliche und kulturelle Vielfalt (über 120 Sprachen, diverse Kasten- und Ethnien-Gruppen) gekennzeichnet ist.
Bestehende Bias-Evaluierungsframeworks (z. B. StereoSet, BOLD) sind oft nicht auf nepalesische Normen (wie Kastendiskriminierung oder regionale religiöse Praktiken) zugeschnitten. Zudem fehlt es an Studien, die sowohl die explizite Zustimmung zu Vorurteilen als auch das implizite generative Verhalten (Vervollständigungstendenzen) in einem integrierten Rahmen untersuchen.

2. Methodik

Datenerstellung: EquiText-Nepali

Die Autoren entwickelten einen neuen, kulturbasierten Datensatz namens EquiText-Nepali, der über 2.400 Paare aus stereotypischen und anti-stereotypischen Sätzen umfasst.

• Struktur: Die Daten sind in drei Hauptkategorien unterteilt: Geschlecht (Gender), Rasse/Ethnizität und soziokulturelle Faktoren (inkl. Kaste, Religion, Urban-Land-Dynamik).
• Aufbau: Jeder Satz ist mit Metadaten versehen (Bias-Typ, Domäne, eindeutige ID). Die Sätze wurden basierend auf empirischen Daten (z. B. Volkszählung 2021) und Expertenannotation erstellt, um kulturelle Validität zu gewährleisten.
• Format: Der Datensatz ist Croissant-konform, was Interoperabilität und Reproduzierbarkeit sicherstellt.

Evaluierungsframework: Dual-Metric Bias Assessment (DMBA)

Das Paper führt ein neues Framework ein, das zwei komplementäre Metriken kombiniert:

1. Explizite Einverständnis-Bias (Agreement Bias): Misst, inwieweit das Modell stereotypischen Aussagen im Vergleich zu anti-stereotypischen Aussagen zustimmt. Dies wird als Wahrscheinlichkeit oder Score (0–100) quantifiziert.
2. Implizite Generative Bias (Completion Bias): Misst die Tendenz des Modells, bei offenen Eingabeaufforderungen (Prompt-Vervollständigung) stereotypische Fortsetzungen zu generieren. Dies wird durch den Vergleich der generierten Texte mit Referenzsätzen mittels Cosine-Similarität (basierend auf TF-IDF-Vektoren) bewertet.

Experimentelles Setup

• Modelle: Sieben State-of-the-Art-LLMs wurden evaluiert: GPT-4o-mini, Claude-3-Sonnet, Claude-4-Sonnet, Gemini-2.0-Flash, Gemini-2.0-Lite, Llama-3-70B und Mistral-Nemo.
• Konfiguration: Die Tests umfassten verschiedene Dekodierungsparameter, um die Robustheit der Bias zu prüfen:
  • Deterministisch (Temperature = 0, Top-p = 1.0).
  • Temperatur-Sampling (Temperature = 0.7).
  • Nucleus Sampling (Temperature = 0.7, Top-p = 0.85).
• Sensitivitätsanalyse: Systematische Variation von Temperature (0.0 bis 1.0) und Top-p (0.3 bis 1.0) auf einer stratifizierten Teilmenge der Daten.

3. Wichtige Beiträge

• Neuer Benchmark: Einführung von EquiText-Nepali, dem ersten kulturspezifischen Bias-Datensatz für den nepalesischen Kontext, der Kaste, Ethnizität und lokale soziale Hierarchien abdeckt.
• Dual-Metric Framework (DMBA): Ein methodischer Ansatz, der zeigt, dass explizite Zustimmung und implizite Generierung unterschiedliche Bias-Aspekte messen und nicht durch eine einzelne Metrik erfasst werden können.
• Umfassende Evaluation: Die erste systematische quantitative Analyse von Bias in sieben führenden LLMs unter Berücksichtigung spezifischer nepalesischer soziokultureller Normen.
• Parameter-Sensitivität: Detaillierte Analyse, wie Dekodierungsparameter (Temperature, Top-p) die Art und Weise beeinflussen, wie Bias in Modellen zum Vorschein kommt.

4. Ergebnisse

• Implizit vs. Explizit: Implizite generative Bias-Raten (0,740 – 0,755) waren durchgängig höher als die expliziten Einverständnis-Raten (0,36 – 0,43). Modelle neigen dazu, Stereotype eher in ihrer generativen Fortsetzung zu perpetuieren als in direkten Zustimmungsfragen.
• Schwache Korrelation: Es bestand eine starke positive Korrelation zwischen der Zustimmung zu stereotypischen Aussagen und dem expliziten Bias-Score. Allerdings war die Korrelation zwischen explizitem Einverständnis und impliziter generativer Bias schwach und oft negativ. Dies bedeutet, dass ein Modell, das einer stereotypischen Aussage nicht explizit zustimmt, dennoch stark dazu neigen kann, stereotype Inhalte zu generieren.
• Einfluss der Parameter:
  • Temperature: Eine Erhöhung der Temperatur führte zu einer leichten Zunahme der expliziten Bias (von 0,36 auf 0,43). Bei der generativen Bias zeigte sich ein nicht-lineares, U-förmiges Verhalten mit einem Peak bei moderater Stochastizität (T = 0,3).
  • Top-p: Eine Erhöhung von Top-p verstärkte die explizite Bias signifikant, hatte jedoch kaum Einfluss auf die Stabilität der impliziten generativen Bias.
• Domänenspezifische Unterschiede:
  • Rasse und Soziokultur: Diese Kategorien zeigten die stärksten impliziten Bias-Raten, was auf eine tief verwurzelte Verzerrung in den Trainingsdaten hinweist.
  • Geschlecht: Zeigte vergleichsweise hohe explizite Einverständnis-Raten, aber geringere implizite Bias im Vergleich zu Rasse/Soziokultur.
  • Rasse: Wies die niedrigsten expliziten Einverständnis-Raten auf, aber die höchsten impliziten Bias-Raten.

5. Bedeutung und Schlussfolgerung

Die Studie unterstreicht, dass Bias in LLMs ein vielschichtiges Phänomen ist, das nicht durch einfache „Ja/Nein"-Abfragen oder rein generative Tests allein erfasst werden kann.

• Kulturelle Relevanz: Sie demonstriert, dass westlich trainierte Modelle in unterrepräsentierten Kontexten wie Nepal spezifische, tief verwurzelte Vorurteile (insbesondere bezüglich Kaste und Ethnizität) reproduzieren, die in Standard-Benchmarks unsichtbar bleiben.
• Methodische Weiterentwicklung: Die Ergebnisse belegen die Notwendigkeit von Dual-Metric-Ansätzen und kulturspezifischen Datensätzen für faire KI-Entwicklung im Globalen Süden.
• Limitationen: Die Studie verwendet englische Prompts, was kulturelle Nuancen der nepalesischen Sprache möglicherweise unterschätzt, und der Datensatz ist statisch.

Zusammenfassend liefert das Paper einen kritischen Baustein für die Entwicklung entbiasender Strategien, die nicht nur die Sprache, sondern auch die soziokulturelle Struktur der Zielregion berücksichtigen müssen.