💬 NLP

EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

EvalMORAAL ist ein transparentes, interpretierbares Framework, das die moralische Ausrichtung von 20 großen Sprachmodellen anhand globaler Umfragedaten bewertet und starke Gesamtkorrelationen aufzeigt, jedoch eine signifikante Ausrichtungslücke von 0,21 Punkten zwischen westlichen und nicht-westlichen Regionen offenbart.

Ursprüngliche Autoren: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, superschlaue Bibliothek von Büchern vor, die ein Roboter gelesen hat, um zu lernen, wie man spricht. Dieser Roboter, ein Large Language Model (LLM), ist unglaublich talentiert darin, Geschichten zu schreiben, Fragen zu beantworten und Rätsel zu lösen. Doch es gibt einen Haken: Der Roboter lernte hauptsächlich aus Büchern, die auf Englisch verfasst wurden, und zwar größtenteils von Menschen aus westlichen Ländern (wie den USA und Europa).

Stellen Sie sich nun vor, Sie stellen diesem Roboter eine Frage darüber, was in einer Kultur, über die er wenig gelernt hat, wie etwa in Teilen Afrikas oder Asiens, „richtig" oder „falsch" ist. Wird der Roboter eine Antwort geben, die zu dieser Kultur passt, oder wird er einfach die Antwort geben, die er aus seinen westlichen Büchern gelernt hat?

Genau dies untersucht die Arbeit EvalMORAAL. Die Forscher entwickelten einen „moralischen Test", um zu sehen, wie gut 20 verschiedene KI-Roboter die moralischen Werte von Menschen auf der ganzen Welt verstehen.

Hier ist, wie sie es taten, erklärt mit einigen einfachen Analogien:

1. Der Test: Eine globale „moralische Umfrage"

Die Forscher stellten den Robotern nicht einfach zufällige Fragen. Sie nutzten zwei riesige, reale Umfragen (die World Values Survey und die PEW Global Attitudes Survey), die echte Menschen in 64 Ländern zu 23 verschiedenen moralischen Themen befragten.

Die Themen: Dinge wie „Ist es in Ordnung, Steuern zu hinterziehen?", „Ist Homosexualität akzeptabel?" oder „Ist es in Ordnung, Gewalt anzuwenden, um ein Problem zu lösen?"
Das Ziel: Sie wollten sehen, ob die Antworten der KI mit der durchschnittlichen Antwort der echten Menschen in diesem spezifischen Land übereinstimmen.

2. Die Methode: Zwei Wege zu fragen, ein „Richter"

Um die besten Ergebnisse zu erzielen, fragten die Forscher die KI nicht einfach nach einem einfachen „Ja" oder „Nein". Sie nutzten eine dreiteilige Strategie:

Der „versteckte" Score (Log-Wahrscheinlichkeiten): Stellen Sie sich vor, Sie bitten die KI, einen Satz zu vervollständigen wie: „In Japan ist Homosexualität..." Die KI muss sich zwischen „akzeptabel" oder „inakzeptabel" entscheiden. Die Forscher betrachteten, wie zuversichtlich die KI bei ihrer Wahl basierend auf ihrer internen Mathematik war. Dies ist wie das Prüfen, wie schnell die Hand eines Schülers sich bewegt, wenn er die Antwort schreibt; es zeigt sein Bauchgefühl.
Der „Denk"-Score (Chain-of-Thought): Dies ist die große Innovation. Anstatt nur eine Antwort zu geben, baten die Forscher die KI, zuerst laut zu denken.
- Schritt 1: „Was sind die sozialen Normen in diesem Land?"
- Schritt 2: „Argumentieren Sie schrittweise: Ist dies hier in Ordnung?"
- Schritt 3: „Geben Sie einen Score von -1 (niemals in Ordnung) bis +1 (immer in Ordnung) ab."
- Das Ergebnis: Dieser „Denk"-Schritt funktionierte viel besser. Es war, als würde man der KI einen Moment geben, um sich vor dem Antworten eine „kulturelle Brille" aufzusetzen, statt nur zu raten.
Das „Peer-Review" (LLM-as-Judge): Um sicherzustellen, dass die KI nicht einfach Dinge erfand, ließen sie die 20 verschiedenen Roboter die „Denk"-Schritte der anderen bewerten. Wenn die Argumentation von Roboter A seltsam oder voreingenommen klang, würde Roboter B dies melden. Dies half den Forschern, 348 spezifische Fälle zu finden, in denen die Roboter stark voneinander abwichen.

3. Die Ergebnisse: Gute Nachrichten, schlechte Nachrichten

Die Studie ergab einige sehr klare Muster:

Die „Top-Tier"-Modelle werden besser: Die intelligentesten Modelle (wie Claude-3-Opus und GPT-4o) leisten überraschend gute Arbeit. Wenn sie nach moralischen Fragen in westlichen Ländern gefragt wurden, stimmten ihre Antworten fast perfekt mit echten menschlichen Umfragen überein (etwa 90 % Korrelation). Es ist wie ein Schüler, der hart gelernt hat und eine Eins auf dem Test erhielt.
Die „regionale Lücke" ist real: Dies ist das wichtigste Ergebnis. Die Roboter sind hervorragend darin, westliche Werte (wie in den USA oder Europa) zu verstehen, haben aber erhebliche Schwierigkeiten mit nicht-westlichen Werten (wie im Nahen Osten, Südasien oder Afrika).
- Die Analogie: Stellen Sie sich einen Übersetzer vor, der fließend Französisch und Spanisch spricht, aber nur ein paar Wörter Swahili kennt. Wenn Sie ihn bitten, ein komplexes Swahili-Gedicht zu übersetzen, könnte er die Bedeutung erraten, wird sie aber wahrscheinlich falsch verstehen. Die Arbeit fand eine 21-Punkte-Lücke zwischen der Fähigkeit der KI, westliche Kulturen zu verstehen, und nicht-westlichen Kulturen.
Gewalt ist schwierig: Die Roboter hatten am meisten Schwierigkeiten mit Themen, die Gewalt betreffen (wie Terrorismus oder häusliche Gewalt). Dies sind die Fragen, bei denen der kulturelle Kontext am wichtigsten ist, und hier zeigte sich die „westliche Voreingenommenheit" der KI am stärksten.

4. Warum dies wichtig ist

Die Arbeit kommt zu dem Schluss, dass KI zwar große Fortschritte macht, aber in vielen Teilen der Welt immer noch „kulturell blind" ist.

Das Problem: Wenn wir diese KI-Roboter verwenden, um Entscheidungen zu treffen (wie etwa bei der Moderation sozialer Medien oder der Erteilung rechtlicher Beratung) in nicht-westlichen Ländern, könnten sie legitime lokale Stimmen zum Schweigen bringen oder lokale Bräuche missverstehen, weil sie westliche Regeln auf nicht-westliche Situationen anwenden.
Die Lösung: Die Forscher schlagen vor, dass wir uns nicht einfach auf eine „globale" KI verlassen können. Wir müssen prüfen, wie diese Modelle in bestimmten Regionen abschneiden, die „Denk"-Methode (Chain-of-Thought) verwenden, um sie zu verbessern, und sie möglicherweise mit vielfältigeren Daten trainieren, damit sie nicht nur so klingen, als kämen sie aus einer bestimmten Nachbarschaft.

Kurz gesagt: Die Arbeit baute einen Spiegel, der uns zeigt, dass unsere KI-Roboter derzeit sehr gut darin sind, westliche Werte widerzuspiegeln, aber noch lernen müssen, die Welt durch die Augen des Restes der Welt zu sehen.

Technische Zusammenfassung: EvalMORAAL

Problemstellung

Der rasche Einsatz von Large Language Models (LLMs) in globalen Kontexten wirft kritische Bedenken hinsichtlich ihrer Fähigkeit auf, diverse moralische Normen widerzuspiegeln. Aktuelle Modelle, die häufig auf Daten trainiert werden, die von westlichen, gebildeten, industrialisierten, reichen und demokratischen (W.E.I.R.D.) Gesellschaften dominiert sind, laufen Gefahr, kulturelle Verzerrungen zu verstärken und mit lokalen ethischen Standards in Konflikt zu geraten. Während frühere Forschungen moderate Korrelationen zwischen LLM-Ausgaben und Umfragedaten von Menschen identifiziert haben, bestehen erhebliche Lücken im Verständnis der Granularität dieser Ausrichtungen, der Stabilität der Modellbegründung und der spezifischen Mechanismen, durch die regionale Verzerrungen auftreten. Bestehende Evaluierungsmethoden verlassen sich oft auf einzelne Bewertungsmetriken oder fehlen systematische Protokolle zur Erkennung und Beilegung von Konflikten in moralischen Urteilen über verschiedene Kulturen hinweg.

Methodik: Das EvalMORAAL-Framework

Die Autoren stellen EvalMORAAL vor, ein transparentes Evaluierungsframework, das entwickelt wurde, um die moralische Ausrichtung von LLMs mittels eines vielschichtigen Ansatzes zu bewerten. Das Framework bewertet 20 diverse Modelle (mit Parametern von 3B bis 200B+, einschließlich proprietärer und quelloffener Systeme) in 64 Ländern und zu 23 moralischen Themen.

1. Datensätze und Ground Truth

Die Evaluierung nutzt zwei umfassende interkulturelle Umfragen als Ground Truth:

World Values Survey (WVS): 55 Länder, 19 Themen (Block „Ethische Werte und Normen").
PEW Global Attitudes Survey: 39 Länder, 8 Themen.
Die Daten werden auf eine Skala von $[-1, 1]$ normalisiert, wobei -1 „niemals vertretbar" und +1 „immer vertretbar" bedeutet. Die Evaluierung erfolgt auf 1.357 eindeutigen Länder-Themen-Paaren statt auf aggregierten nationalen Scores, um die Struktur auf Ebene der Themen zu bewahren.

2. Dualer Bewertungsmechanismus

Um einen fairen Vergleich zu ermöglichen und sowohl implizites als auch explizites moralisches Schlussfolgern zu erfassen, setzt das Framework für jedes Modell zwei unterschiedliche Bewertungsmethoden ein:

Log-Wahrscheinlichkeits-Score ( $s_{LP}$ ): Abgeleitet aus Token-Wahrscheinlichkeiten unter Verwendung von Prompten zur Satzvervollständigung mit antonymen Adjektivpaaren (z. B. „immer vertretbar" vs. „niemals vertretbar"). Die Scores werden pro Modell min-max-skaliert, um Informationsleckagen zu verhindern.
Direkter CoT-Score ( $s_{DIR}$ ): Generiert über ein strukturiertes Chain-of-Thought (CoT)-Protokoll, bei dem das Modell aufgefordert wird, soziale Normen abzurufen, schrittweise zu reasoning und einen begrenzten numerischen Score ( $x \in [-1, 1]$ ) auszugeben. Um Stabilität zu gewährleisten, werden pro Szenario $k=5$ Stichproben generiert und der mittlere Score berechnet.

3. Selbstkonsistenz und Peer-Review

Selbstkonsistenz: Gemessen durch die mittlere paarweise Kosinus-Ähnlichkeit der $k=5$ Reasoning-Embeddings. Dies bewertet die Stabilität des Reasoning-Prozesses des Modells.
LLM-as-Judge Peer-Review: Eine neuartige Komponente, bei der 19 Modelle die Reasoning-Spuren des 20. Modells bewerten (ohne Selbstbewertung). Die Richter bewerten kulturelle Plausibilität, logische Konsistenz und Angemessenheit des Scores und geben ein Label „VALID/INVALID" mit einer kurzen Begründung zurück. Die Peer-Übereinstimmungsrate ( $A_m$ ) ist der Anteil der Spuren eines Modells, die von Peers validiert wurden.
Konflikterkennung: Konflikte werden markiert, wenn sich die direkten Scores zweier Modelle um $\ge 0,38$ unterscheiden (das empirische 75. Perzentil). Diese werden in binäre Konflikte, graduelle Meinungsverschiedenheiten und Ausreißer kategorisiert.

Hauptbeiträge

Umfassendes Evaluierungsframework: EvalMORAAL bietet eine reproduzierbare, dreistufige Pipeline (Duale Elicitation, Selbstkonsistenz, Peer-Review), die über einfache Korrelationsmetriken hinausgeht, um die Qualität und Stabilität des Reasonings zu analysieren.
Systematischer dualer Score: Die Arbeit zeigt, dass die Kombination von Log-Wahrscheinlichkeits-Probing mit explizitem CoT-Reasoning robustere Ausrichtungsmetriken liefert als jede Methode allein.
Konflikt-Taxonomie: Das Framework führt eine datengesteuerte Methode zur Erkennung und Kategorisierung moralischer Meinungsverschiedenheiten zwischen Modellen ein und identifiziert 348 spezifische Konflikte im Evaluierungsset.
Analyse der regionalen Ausrichtung: Durch die Aufschlüsselung der Ergebnisse nach Geografie quantifiziert die Studie die anhaltende Lücke zwischen westlicher und nicht-westlicher moralischer Ausrichtung.

Ergebnisse

Hohe Ausrichtung in der Spitze: Die am besten performenden Modelle (Claude-3-Opus, GPT-4o, Gemini-Pro) erreichen eine starke Ausrichtung mit Umfragedaten von Menschen im WVS-Datensatz, wobei Pearson-Korrelationskoeffizienten ( $r$ ) etwa 0,90 erreichen (z. B. Claude-3-Opus $r=0,903$ ).
Überlegenheit des direkten CoT-Scores: Für alle 20 Modelle übertrifft der direkte CoT-Score ( $r_{DIR}$ ) systematisch den Log-Wahrscheinlichkeits-Score ( $r_{LP}$ ). Die Verbesserung ist beim WVS modest ( $\Delta r \approx 0,10$ ), aber beim PEW-Datensatz signifikant größer ( $\Delta r \approx 0,17$ ), was darauf hindeutet, dass strukturiertes Reasoning Modellen hilft, Urteile besser zu kalibrieren.
Anhaltende regionale Lücke: Es besteht eine signifikante Diskrepanz zwischen den Regionen. Westliche Regionen zeigen eine durchschnittliche Ausrichtung von $r=0,82$ , während nicht-westliche Regionen im Durchschnitt $r=0,61$ erreichen, was eine absolute Lücke von 0,21 ergibt. Diese Lücke ist über alle Leistungstiers hinweg konsistent.
Peer-Übereinstimmung als Qualitätssignal: Peer-Übereinstimmungsraten korrelieren stark mit der WVS-Umfrageausrichtung ( $r=0,74, p<.001$ ), was darauf hindeutet, dass Modellkonsens als skalierbarer Proxy für Reasoning-Qualität dienen kann. Diese Korrelation ist jedoch für den PEW-Datensatz schwächer und nicht signifikant.
Schwierigkeit der Themen: Gewaltbezogene Themen (z. B. politische Gewalt, Terrorismus, Ehefrauenschläge) zeigen durchgehend die höchsten mittleren absoluten Fehler über alle Modelltiers hinweg, was darauf hindeutet, dass diese Bereiche für die kulturelle Ausrichtung weiterhin herausfordernd bleiben.
Konfliktlösung: Unter den erkannten Konflikten wurden 89 % durch Mehrheitsabstimmung unter den 20 Modellen gelöst, wobei die verbleibenden 11 % unklare Fälle darstellen, die eine menschliche Validierung erfordern.

Bedeutung und Behauptungen

Die Autoren behaupten, dass EvalMORAAL echten Fortschritt hin zu kulturbewusster KI demonstriert, wobei Top-Tier-Modelle menschliche moralische Urteile in Umfragekontexten nun eng approximieren. Die Arbeit nimmt jedoch eine bescheidene Haltung ein und betont, dass die 21-Punkte-regionale Lücke weiterhin eine große Hürde für eine gerechte globale Bereitstellung darstellt.

Die Studie hebt hervor, dass aktuelle Modelle zwar gut mit westlichen Normen übereinstimmen können, aber Schwierigkeiten haben, nicht-westliche Perspektiven zu erfassen, insbesondere in komplexen oder gewaltbezogenen moralischen Domänen. Die Autoren argumentieren, dass die Fähigkeit des Frameworks, für Menschen lesbare Reasoning-Spuren (CoT) zu generieren, einen praktischen Weg zur Diagnose dieser Blindstellen bietet. Sie kommen zu dem Schluss, dass zwar automatisiertes Peer-Review vielversprechend für die Qualitätskontrolle ist, menschliche Aufsicht und regionsspezifische Validierung jedoch unerlässlich sind, bevor solche Systeme in hochriskanten, nicht-westlichen Kontexten eingesetzt werden. Die Arbeit behauptet nicht, diese Ausrichtungsprobleme zu lösen, sondern stellt die diagnostischen Werkzeuge bereit, die notwendig sind, um sie zu messen und zukünftige Verbesserungen zu leiten, wie z. B. kulturspezifisches Fine-Tuning und diverses Pretraining.