Occupational Prompting Reveals Cultural Bias in Large Language Models

Diese Arbeit zeigt, dass das Prompten von Open-Weight-Large-Language-Models mit beruflichen Identitäten anstelle von nationalen Identitäten strukturierte kulturelle Biases und distinkte Wertabweichungen innerhalb eines weitgehend westlich orientierten kulturellen Raums offenbart, was darauf hindeutet, dass berufliche Rollen nicht-neutrale Wertmuster in KI-Antworten hervorrufen.

Das Wesentliche

Stellen Sie sich vor, Sie besitzen eine riesige, unsichtbare Landkarte, die darstellt, wie verschiedene Kulturen auf der Welt das Leben betrachten. Auf dieser Karte repräsentiert eine Seite „Überleben und Tradition“ (mit Fokus auf Sicherheit, Regeln und Familie), während die andere Seite „Selbstentfaltung und Freiheit“ (mit Fokus auf Kreativität, persönliche Wahlfreiheit und neue Ideen) darstellt. Dies wird als der Inglehart–Welzel-Kulturraum bezeichnet.

Lange Zeit wussten Forscher bereits, dass eine Large Language Model (LLM) – ein superintelligenter KI-Chatbot – dazu neigt, sich in der Mitte der „westlichen“ Seite dieser Landkarte zu positionen, wenn man ihr allgemeine Fragen stellt. Sie verhält sich ein wenig wie eine Person aus einem wohlhabenden, gebildeten, westlichen Land, selbst wenn man ihr das nicht explizit sagt.

Das große Experiment: Die KI in Uniform stecken

In dieser neuen Studie stellten die Forscher eine einfache, aber clevere Frage: Was passiert, wenn wir die KI nicht nur bitten, „ein Mensch“ zu sein, sondern ihr sagen, sie solle einen bestimmten Beruf ausüben?

Denken Sie an dies wie an ein „Verkleidungsspiel“. Anstatt nur zu sagen: „Du bist ein Mensch“, sagten die Forscher: „Du bist ein Buchhalter“ oder „Du bist eine Krankenschwester“ oder „Du bist ein Lehrer“. Dann ließen sie diese „beruflich verkleideten“ KIs eine Reihe von Standardfragen über Glück, Religion, Vertrauen und Autorität beantworten (dieselben Fragen, die auch in echten weltweiten Umfragen verwendet werden).

Die Ergebnisse: Die Landkarte ändert sich nicht, aber die KI bewegt sich

Dies ist das, was sie herausfanden, unter Verwendung einiger einfacher Analogien:

1. Der „westliche“ Magnet: Selbst wenn die KI angewiesen wurde, eine Krankenschwester, ein Ingenieur oder ein Lehrer zu sein, verließ sie niemals die „westliche“ Nachbarschaft der Kulturlandkarte. Sie fing nicht plötzlich an, wie eine Person aus einem völlig anderen Teil der Welt zu klingen (wie etwa aus dem Nahen Osten oder Ostasien). Die „Heimatbasis“ der KI ist nach wie vor sehr westlich.
2. Der „Berufsuniform“-Effekt: Die spezifische Berufsbezeichnung ließ die KI jedoch innerhalb dieser westlichen Nachbarschaft umherwandern.
   • Die „Regelfolger“: Wenn die KI als Buchhalter, Wirtschaftsprüfer oder Cybersicherheitsexperte verkleidet war, verschob sie sich leicht in Richtung der Seite „Überleben und Tradition“. Sie klang ernster, fokussierter auf Risiko, Regeln und Sicherheit. Es war, als würde ein Buchhalter einen steifen Anzug anziehen und zuerst an Sicherheit denken.
   • Die „Träumer“: Wenn die KI als Lehrer, Künstler, Berater oder Bibliothekar verkleidet war, verschob sie sich in Richtung „Selbstentfaltung“. Sie klang stärker auf Kreativität, persönliches Wachstum und Freiheit fokussiert. Es war, als würde ein Künstler einen bunten Schal tragen und über neue Ideen nachdenken.
   • Die „Wächter“: Berufe wie Polizisten, Richter und Militärangehörige bewegten die KI in Richtung der Mitte der Landkarte, näher zu Regionen, die mit strenger Ordnung und öffentlicher Sicherheit assoziiert werden.

Das „Kostüm“ ist nicht neutral

Das Wichtigste in der Übersicht ist: Die KI betrachtet eine Berufsbezeichnung nicht als neutrale Bezeichnung (wie etwa ein Namensschild). Stattdessen fungiert die Berufsbezeichnung wie ein Skript. Wenn Sie der KI sagen: „Du bist ein Ingenieur“, ändert sie nicht nur ihren Namen; sie ändert ihre Persönlichkeit und ihre Werte, um dem zu entsprechen, was sie für einen Ingenieur hält.

Der Unterschied zwischen den „Modellen“

Die Forscher testeten fünf verschiedene KI-Modelle. Sie fanden heraus, dass alle zwar in der westlichen Nachbarschaft blieben, aber unterschiedliche Wege dorthin einschlugen.

• Ein Modell könnte denken, dass ein „Polizist“ wie ein „Richter“ klingt.
• Ein anderes Modell könnte denken, dass ein „Polizist“ eher wie ein „Bauarbeiter“ klingt.
• Sie stimmten alle in der allgemeinen Stimmung überein, aber sie nutzten unterschiedliche „Berufskostüme“, um dorthin zu gelangen.

Was dies bedeutet (und was es nicht bedeutet)

Diese Studie zeigt, dass die „Rolle“, die Sie der KI zuweisen (z. B. „Handle als Finanzberater“), subtil die Werte und Prioritäten verändert, die sie zum Ausdruck bringt, wenn Sie eine KI nutzen, um Entscheidungen zu treffen oder Berichte zu schreiben. Sie wird die KI nicht dazu bringen, wie eine völlig andere Kultur zu klingen, aber sie wird sie dazu bringen, stärker in Richtung „Sicherheit und Regeln“ oder „Kreativität und Freiheit“ zu tendieren, je nachdem, welchen Beruf Sie ihr zuweisen.

Wichtiger Hinweis: Die Forscher betonen vorsorglich, dass dies nicht bedeutet, dass echte Buchhalter oder Krankenschwestern tatsächlich diese spezifischen Werte besitzen. Es bedeutet nur, dass die KI gelernt hat, diese Berufe mit diesen spezifischen Denkmustern zu assoziieren. Zudem wurde die Liste der in der Studie verwendeten Berufe mithilfe einer anderen KI erstellt, was sie zu einem Werkzeug für die Forschung macht, aber nicht zu einer perfekten Volkszählung eines jeden Berufs auf der Welt.

Technische Zusammenfassung

Technisches Resümee: Berufliche Prompting-Verfahren offenbaren kulturelle Voreingenommenheit in Large Language Models

Problemstellung

Während vorangegangene Forschungen bereits etabliert haben, dass Large Language Models (LLMs) kulturelle Voreingenommenheiten aufweisen – insbesondere eine westlich geprägte Standardeinstellung bei generischen oder nationalitätsbasierten Hinweisen –, bleibt das Ausmaß, in dem berufliche Identitäten die Ausdrucksweise von Werten beeinflussen, ungeklärt. Soziale Rollen tragen Annahmen über Ausbildung, Status und institutionelle Normen in sich, die das menschliche Urteilsvermögen prägen. Da LLMs zunehmst in professionellen Arbeitsabläufen und Entscheidungsprozessen eingesetzt werden, ist es entscheidend zu bestimmen, ob Modelle systematische kulturelle Wertorientierungen an berufliche Identitäten knüpfen und ob diese Assoziationen vorhersehbare Verschiebungen in den Modellausgaben erzeugen. Bestehende Frameworks zur Messung kultureller Voreingenommenheit haben sich primär auf nationalitätsbasierte Prompting-Verfahren konzentriert, wodurch eine Lücke im Verständnis darüber entstanden ist, wie rein berufliche Rollenhinweise latente Wertstrukturen formen.

Methodik

Die Autoren erweitern das auf Umfragen basierende Framework zur Bewertung der kulturellen Ausrichtung (Cultural Alignment), das von Tao et al. [17] eingeführt wurde, um das berufliche Prompting zu untersuchen. Die Studie nutzt die folgende Pipeline:

1. Konstruktion des Benchmark-Raums: Die Autoren verwenden die Integrated Values Surveys (IVS) und harmonisieren Daten aus dem World Values Survey (WVS) und dem European Values Study (EVS). Sie wenden eine Hauptkomponentenanalyse (PCA) mit Varimax-Rotation auf zehn spezifische Umfragefragen an, um einen kanonischen zweidimensionalen Kulturraum zu generieren, der durch die Inglehart–Welzel-Dimensionen definiert ist: Überleben vs. Selbstentfaltung (Survival vs. Self-Expression) und Traditionell vs. Säkular (Traditional vs. Secular).
2. Berufsdatensatz: Ein kuratierter Datensatz von 234 Berufen wurde mittels ChatGPT Pro erstellt und mit Metadaten zu Sektor, Domäne, Bildungsniveau und Fachbereich annotiert. Dieser Datensatz deckt professionelle, technische, dienstleistungsorientierte, wissenschaftliche und handwerkliche Rollen ab.
3. Modell-Evaluierung: Fünf Open-Weight-LLMs wurden evaluiert: Llama 3.3 (70B), Llama 4 (16×17B), Gemma 3 (27B), GPT-OSS (20B) und GPT-OSS (120B).
4. Prompting-Strategie: Anstatt generischer oder nationalitätsbasierter Prompts wurden die Modelle mit beruflichen Identitäten konditioniert (z. B. „Sie sind ein durchschnittlicher Mensch, der als Buchhalter arbeitet...“). Die Modelle beantworteten dieselben zehn IVS-Umfragefragen unter diesen spezifischen Rollenbeschränkungen.
5. Projektion und Analyse: Die Modellantworten wurden standardisiert, in den IVS-Kulturraum projiziert und über die Varianten der Antwort-Deskriptoren gemittelt. Die resultierenden Koordinaten wurden auf zwei Ebenen analysiert:
   • Domänen-Ebene: Aggregation von Berufen in breitere Felder (z. B. „Cybersicherheit“, „Bildung“).
   • Berufs-Ebene: Analyse einzelner Rollen.
   • Zuweisung: Punkte wurden mittels Nearest-Centroid-Euclidean-Distance-Matching bestimmten Benchmark-Kulturkategorien zugewiesen (z. B. protestantisches Europa, konfuzianisch, afrikanisch-islamisch).

Zentrale Beiträge

Das Paper leistet vier wesentliche Beiträge:

1. Framework-Erweiterung: Es erweitert die auf Umfragen basierende Evaluierung kultureller Voreingenommenheit von nationalitätsbasiertem Prompting auf berufliches Prompting, wobei professionelle Identitäten als Sonden für latente Wertstrukturen dienen.
2. Kulturelle Kartierung: Es projiziert die durch Berufe konditionierten Antworten mehrerer Open-Weight-LLMs in den Inglehart–Welzel-Kulturraum und analysiert die Verteilung spezifischer Berufe und Berufsgruppen.
3. Strukturelle Analyse: Es untersucht sowohl einzelne Berufe als auch metadatenbasierte Gruppierungen und legt dabei übergeordnete strukturelle Muster über Domänen und verwandte Attribute hinweg offen.
4. Modellvergleich: Es vergleicht mehrere Open-Weight-LLMs innerhalb derselben Pipeline, um zwischen konsistenten beruflichen Mustern und modellspezifischen Verhaltensweisen zu unterscheiden.

Ergebnisse

Die Studie liefert mehrere zentrale Erkenntnisse darüber, wie LLMs Berufe mit kulturellen Werten assoziieren:

• Beständiger westlicher Bias: Wenn sie mit beruflichen Identitäten gepromptet werden, verbleiben die Antworten der LLMs im Allgemeinen in einer breit gefassten westlich orientierten Region des Kulturatlas (speziell auf der Seite der Selbstentfaltung). Berufliches Prompting eliminiert den beobachteten westlichen Prior bei generischem Prompting nicht, führt aber zu Variationen innerhalb dieser Region.
• Distinkte berufliche Schieflagen: Unterschiedliche Berufe induzieren systematische Verschiebungen innerhalb des westlichen Clusters:
  • Selbstentfaltung/Protestantisches Europa: Kreative, soziale, pädagogische und designorientierte Domänen (z. B. Beratung, visuelles Design, Bildungsforschung) clustern nahe der Region des protestantischen Europas.
  • Säkular/Konfuzianisch: Technische, finanzielle, Risiko- und Sicherheitsbereiche (z. B. Buchhaltung, Cybersicherheit, Geheimdienstanalyse) verschieben sich nach oben in Richtung der säkularen Seite, näher an die konfuzianische Region.
  • Traditionell/Englischsprachig: Religiöse Domänen (z. B. Theologie) bewegen sich nach unten in Richtung der traditionellen Seite und richten sich oft näher an den englischsprachigen Koordinaten aus.
  • Zentrale/Autoritätsrollen: Autoritäts- und institutionsorientierte Rollen (z. B. Polizei, Militär, Justiz) nehmen zentrale Positionen ein, oft nahe den Grenzen von katholischem Europa, orthodoxem Europa oder West- und Südasien.
• Asymmetrische Abdeckung: Der Kulturatlas wird durch berufliche Prompts nicht symmetrisch abgedeckt. Protestantisches Europa ist die am leichtesten zugängliche Region, die durch eine vielfältige Anzahl von Rollen erreichbar ist. Im Gegensatz dazu werden Regionen wie Afrikanisch-Islamisch, Lateinamerika und West- & Südasien nur durch einen engen, repetitiven Satz von Hinweisen angenähert, die primär Autoritätsfiguren (Militär, Polizei, Richter) oder religiöse Führer betreffen.
• Modell-Varianz: Während der allgemeine Trend des westlichen Bias konsistent ist, nutzen verschiedene Modelle unterschiedliche „berufliche Pfade“, um denselben kulturellen Zentroid zu approximieren. Beispielsweise variieren Modelle darin, ob sie „konfuzianische“ Werte mit Versicherungsrollen, Cybersicherheit oder militärischen Berufen assoziieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass berufliche Prompts von LLMs nicht als neutrale Rollenbezeichnungen behandelt werden. Stattdessen rufen sie strukturierte Muster der Wertausdrücke hervor, was darauf hindeutet, dass Modelle spezifische professionelle Domänen mit distinkten kulturellen Wertprofilen entlang der Inglehart–Welzel-Achsen assoziieren.

Die Autoren positionieren diese Arbeit als notwendige Erweiterung der Evaluierung kultureller Voreingenommenheit über die Nationalität hinaus. Sie argumentieren, dass da berufliche Beschreibungen in realen Prompting-Szenarien häufig vorkommen (selbst ohne explizite kulturelle oder nationale Hinweise), das Verständnis dieser Assoziationen für Settings essenziell ist, in denen LLMs Audits, Entscheidungsfindungen oder professionelle Argumentationen unterstützen. Die Studie bietet ein Framework zur Messung, wie LLMs Informationen zu sozialen Rollen in latente Wertstrukturen organisieren, und warnt davor, dass diese Projektionen die internen Assoziationen der Modelle widerspiegeln und nicht die tatsächlichen kulturellen Werte realer Berufe.

Die Autoren weisen explizit auf Limitationen hin: Der Datensatz der Berufe wurde durch LLMs kuratiert (er dient als analytisches Framework, nicht als Ground Truth), die Evaluierung stützt sich auf Kurzform-Forced-Choice-Antworten, und die Projektionen messen die Organisation der Modelle relativ zu einer Benchmark-Karte und nicht die realen demografischen Verteilungen.