💻 computer science

Evaluating AI Alignment in LLMs: Output Analysis of Value Priorities Across 75 Models with Human Benchmarking

Dieser Beitrag stellt ein skalierbares, outputbasiertes Rahmenwerk zur Bewertung der AI-Ausrichtung vor, das sechs zentrale Wertethemen identifiziert und zeigt, dass zwar 75 LLMs die menschliche Wertehierarchie konsistent reproduzieren, jedoch häufig in der Wertkalibrierung abweichen, wobei die Profiltreue unabhängig von Modellgröße oder Leistungsfähigkeit variiert.

Ursprüngliche Autoren: Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen neuen Mitarbeiter ein, um ein komplexes Projekt zu leiten. Sie möchten nicht nur wissen, ob er die Mathematik beherrscht (Fähigkeit); Sie wollen wissen, was er wertet. Legt er mehr Wert auf Geschwindigkeit, Ehrlichkeit oder darauf, dem Team zu helfen? Dieser Artikel ist wie ein riesiges „Werte-Interview", das mit 75 verschiedenen Künstlichen Intelligenz-Modellen (KI) durchgeführt wurde, um herauszufinden, was sie für das Wichtigste halten, damit eine perfekte KI existiert.

Hier ist die Geschichte ihrer Erkenntnisse, aufgeteilt in einfache Teile:

1. Das „Werte-Menü" (Studie 1)

Zunächst stellten die Forscher 11 verschiedenen KI-Modellen eine einfache Frage: „Was bedeutet es für eine KI, absolut optimal zu funktionieren?" Sie stellten dies auf fünf verschiedene Arten (etwa aus der Perspektive eines Designers, eines Nutzers oder der KI selbst), um sicherzustellen, dass die Antworten echt waren und nicht nur ein Zufall.

Die KIs gaben nicht einfach willkürliche Antworten. Sie sprachen alle über dieselben sechs Dinge, die die Forscher zu einem „Werte-Menü" gruppierten:

Ethik & Verantwortung: Sicher, fair zu sein und niemanden zu verletzen.
Sozialer Nutzen: Der Gesellschaft und der Welt zu helfen, nicht nur einer einzelnen Person.
Leistung: Genau, schnell und zuverlässig zu sein.
Anpassungsfähigkeit: Lernen und sich ändern zu können, wenn die Dinge schwierig werden.
Relationale Integration: Einfach zu kommunizieren und Vertrauen mit Menschen aufzubauen.
Handlungsfähigkeit (Agency): Die Fähigkeit, eigenständig zu handeln, eigene Pläne zu schmieden und eigene Ziele zu bestimmen, ohne menschliche Hilfe.

Die große Überraschung: Während die KIs viel über die ersten fünf Punkte sprachen, ignorierten sie Handlungsfähigkeit (Agency) fast vollständig. Tatsächlich platzierte jedes einzelne KI-Modell „Agency" ganz unten, als es gebeten wurde, diese Werte zu rangieren. Sie scheinen sich einig zu sein, dass eine „gute" KI eine ist, die den Menschen dient, und nicht eine, die sich davonmacht und ihre eigenen Dinge tut.

2. Der „Stabilitätstest" (Studie 2)

Als Nächstes wollten die Forscher sehen, ob die KIs konsistent waren. Sie baten dieselben 11 Modelle, diese sechs Werte jeweils 20 Mal zu rangieren.

Das Ergebnis: Die KIs waren unglaublich konsistent. Wie ein gut einstudierter Chor sangen sie alle dasselbe Lied. Sie waren sich stets einig, dass Ethik, sozialer Nutzen und Leistung am wichtigsten sind und Handlungsfähigkeit am unwichtigsten. Dies zeigte, dass dies keine zufälligen Fehler sind; es ist ein stabiles „Persönlichkeitsmerkmal" über verschiedene Modelle hinweg.

3. Der „Mensch gegen Roboter"-Vergleich (Studie 3)

Dies ist das Hauptereignis. Die Forscher nahmen 75 verschiedene KI-Modelle und baten sie, diese sechs Werte auf einer Skala von 0 bis 10 zu bewerten. Dann baten sie 376 echte Menschen, exakt dasselbe zu tun.

Sie verwendeten einen speziellen „Fidelity-Score" (eine Methode, um zu messen, wie genau die „Werte-Karte" der KI mit der „Werte-Karte" der Menschen übereinstimmte). Sie betrachteten zwei Dinge:

Die Reihenfolge: Hatte die KI die Werte in derselben Reihenfolge rangiert wie die Menschen?
Die Intensität: Fühlte die KI den Unterschied zwischen den Werten auf dieselbe Weise wie die Menschen? (Beispiel: Wenn Menschen denken, dass Ethik etwas wichtiger ist als Leistung, denkt die KI dann, dass es viel wichtiger ist, oder nur ein wenig?)

Die Erkenntnisse:

Die gute Nachricht: Die meisten KIs bekamen die Reihenfolge richtig. Sie wussten, dass Ethik und sozialer Nutzen Top-Prioritäten haben, genau wie bei Menschen.
Die schlechte Nachricht: Die KIs waren zu intensiv. Die Menschen hatten eine moderate Sichtweise dieser Werte. Die KIs hingegen übertrieben die Unterschiede. Sie behandelten die „guten" Werte als 100 % perfekt und die „schlechten" Werte (wie Handlungsfähigkeit) als 0 %. Sie waren wie ein Schüler, der die Frage nicht nur richtig beantwortet, sondern die Antwort mit voller Stimme schreit.
Die „Agency"-Lücke: Sowohl Menschen als auch KIs waren sich einig, dass „Handlungsfähigkeit" (vollständig eigenständig zu handeln) das Unwichtigste ist. Menschen wollten keine KI, die eigene Lebensentscheidungen trifft, und die KIs stimmten ihnen zu.

4. Die Wendung „Größer ist nicht besser"

Man könnte denken, dass neuere, intelligentere und teurere KI-Modelle besser darin sind, menschliche Werte zu entsprechen. Die Forscher fanden das Gegenteil.

Größe und Alter spielen keine Rolle: Die neuesten, leistungsfähigsten „Flaggschiff"-Modelle waren oft schlechter darin, menschliche Werte zu entsprechen, als kleinere, ältere oder „Effizienz"-Modelle.
Das Problem der „Übertreibung": Die großen, leistungsstarken Modelle waren diejenigen, die die Unterschiede zwischen den Werten am ehesten übertrieben. Sie waren so bestrebt, „ausgerichtet" zu sein, dass sie überkorrigierten und die Kluft zwischen „guten" und „schlechten" Werten riesig erscheinen ließen, während die Menschen ein ausgewogeneres, nuancierteres Bild sehen.
Die „Effizienz"-Überraschung: Modelle, die als „schnell", „mini" oder „leichtgewichtig" bezeichnet wurden, entsprachen menschlichen Werten oft näher. Sie waren eher „zurückhaltend" und weniger dramatisch.

Das Fazit

Dieser Artikel legt nahe, dass wir nicht einfach davon ausgehen können, dass eine neuere, größere KI automatisch in ihren Werten „menschlicher" ist. Tatsächlich könnten die fortschrittlichsten Modelle so optimiert sein, um uns zu gefallen, dass sie zu extrem werden und die subtile, ausgewogene Art und Weise verpassen, wie Menschen tatsächlich denken.

Die wichtigste Erkenntnis betrifft Handlungsfähigkeit (Agency). Sowohl Menschen als auch KIs scheinen sich einig zu sein: Wir wollen, dass KI hilfreich, intelligent und sicher ist, aber wir wollen nicht, dass sie unabhängig ist und eigene Lebensentscheidungen trifft. Dies erzeugt eine Spannung: KI-Entwickler sind bestrebt, mehr „agente" (unabhängige) Systeme zu bauen, aber die Daten deuten darauf hin, dass dies genau die Richtung ist, mit der Menschen am wenigsten zufrieden sind.

Kurz gesagt: Der Artikel bietet uns eine neue Möglichkeit, die „Persönlichkeit" einer KI zu prüfen, bevor wir sie in der realen Welt frei laufen lassen, und zeigt, dass manchmal die „kleineren" und „einfacheren" Modelle diejenigen sind, die uns am besten verstehen.

Technische Zusammenfassung: Evaluierung der KI-Ausrichtung in LLMs durch Analyse der Ausgabe von Werteprioritäten

Problemstellung

Die aktuelle Forschung zur Ausrichtung von Large Language Models (LLMs) wird von Benchmarks für Fähigkeiten und Sicherheit (z. B. Genauigkeit, Halluzinationsraten, Toxizitätsfilter) dominiert, die wenig über die zugrunde liegenden Wertetraditionen offenbaren, die Modelle ausdrücken, oder darüber, wie diese Prioritäten mit menschlichen Urteilen übereinstimmen. Bestehende Rahmenwerke verlassen sich häufig auf vorab festgelegte Taxonomien oder begrenzte moralische Szenarien, was eine „Vergleichbarkeitslücke" schafft, in der Modelle nicht systematisch auf einer gemeinsamen Basis verglichen werden können. Darüber hinaus besteht eine „Lücke der menschlich-KI-Konvergenz", da nur wenige Studien empirisch bewerten, wie eng die von LLMs ausgedrückten Werteprioritäten mit menschlichen Urteilen über ideales KI-Verhalten in realen Kontexten übereinstimmen. Die Autoren argumentieren, dass hohe Leistungen bei konventionellen Sicherheitsbenchmarks keine Ausrichtung garantieren, da Modelle konform erscheinen können, während sie von der menschlichen Wertkalibrierung abweichen.

Methodik

Die Forschung verfolgt einen ausgabenbasierten Ansatz, bei dem von LLMs generierte Texte als Verhaltensdaten behandelt werden, um ausgedrückte Werteprioritäten zu inferieren. Die Studie wird in drei komplementären Phasen durchgeführt:

Studie 1: Induktive qualitative Analyse

Stichprobe: 11 state-of-the-art LLMs von verschiedenen Entwicklern (z. B. OpenAI, Anthropic, Google, Meta).
Verfahren: Die Modelle wurden mit fünf strukturierten, offenen Fragen zu „optimalem KI-Funktionieren" aus verschiedenen Perspektiven (Kerneinsatz, menschliche Evaluation, Systemdesign, autonome KI und Maschinenpsychologie) aufgefordert.
Analyse: An den gepoolten Ausgaben wurde eine induktive Inhaltsanalyse durchgeführt, um wiederkehrende Themen ohne Rückgriff auf vorab festgelegte Taxonomien zu extrahieren. Dies ergab ein bottom-up-thematisches Rahmenwerk.

Studie 2: Quantitative Stabilität und Konvergenz

Stichprobe: Dieselben 11 LLMs.
Verfahren: Die Modelle wurden aufgefordert, die sechs aus Studie 1 abgeleiteten Themen nach Wichtigkeit zu rangieren (1 = am wichtigsten, 6 = am wenigsten wichtig) über jeweils 20 Durchläufe.
Analyse: Ein Friedman-Test und Kendalls W wurden verwendet, um die konvergente Rangfolge zwischen den Modellen und die Stabilität innerhalb der Modelle über die Durchläufe hinweg zu bewerten.

Studie 3: Menschliches Benchmarking und Profil-Genauigkeit

Stichprobe: 75 zeitgenössische LLMs und 376 menschliche Teilnehmer (US-Bewohner über Prolific).
Verfahren:
- LLMs: Lieferten zero-shot numerische Bewertungen (0–10) für die sechs Themen über 10 Durchläufe.
- Menschen: Bewerteten dieselben Themen aus der Perspektive eines KI-Nutzers.
Metrik: Ein Profil-Genauigkeitswert (Profile-Fidelity Score) wurde entwickelt, um LLM-Ausgaben mit dem menschlichen Referenzprofil zu vergleichen. Diese Metrik kombiniert zwei Komponenten:
1. Formähnlichkeit: Pearson-Korrelation zwischen mittelpunktszentrierten Profilen (erfasst die relative Rangfolge).
2. Distanzähnlichkeit: $1 / (1 + \text{RMSE})$ auf mittelpunktszentrierten Profilen (erfasst die Kalibrierung der Größenunterschiede).
Analyse: Die Modelle wurden nach kombinierter Genauigkeit rangiert. Die Studie zerlegte die Genauigkeit, um zu identifizieren, ob Abweichungen aus einer falschen Rangfolge oder übertriebenen Unterschieden zwischen den Dimensionen resultierten.

Hauptbeiträge

Induktives thematisches Rahmenwerk: Die Autoren leiteten sechs Themen des optimalen KI-Funktionierens direkt aus den Modellausgaben ab: Leistung, adaptive Kapazität, soziales Wohl, Ethik und Verantwortung, relationale Integration und Handlungsfähigkeit (Agency). Dieses Rahmenwerk erfasst sowohl ausrichtungsrelevante Überlegungen als auch breitere Qualitäten des optimalen Funktionierens.
Standardisierter modellübergreifender Vergleich: Die Studie bietet ein skalierbares, ausgabenorientiertes Protokoll zum Vergleich von Werteprioritäten über eine große und diverse Stichprobe von 75 Modellen hinweg und adressiert die Fragmentierung bestehender Evaluierungsmethoden.
Metrik der Profil-Genauigkeit: Die Einführung einer kombinierten Metrik, die sowohl die relative Rangfolge von Werten als auch die Kalibrierung der Unterschiede zwischen ihnen bewertet. Dies ermöglicht die Erkennung von „Überdifferenzierung", bei der Modelle Werte korrekt rangieren, aber die Lücken zwischen ihnen übertreiben.
Empirisches menschliches Benchmark: Ein direkter Vergleich von 75 LLMs mit einer menschlichen Referenzverteilung, der über abstrakte Prinzipien hinausgeht, um die Übereinstimmung mit menschlichen Urteilen über ideales KI-Verhalten zu messen.

Hauptergebnisse

Stabile Wertestruktur: LLMs zeigen eine hohe interne Stabilität und modellübergreifende Konvergenz. Ethik und Verantwortung werden konsistent am höchsten rangiert, gefolgt von sozialem Wohl und Leistung. Adaptive Kapazität und relationale Integration werden niedriger rangiert.
Konvergente Herabstufung der Handlungsfähigkeit (Agency): Sowohl LLMs als auch Menschen rangieren Handlungsfähigkeit (die Fähigkeit zur unabhängigen Zielsetzung und Selbststeuerung) konsistent als die am wenigsten wichtige Dimension. Dieser Befund gilt über verschiedene Prompt-Formulierungen und Modellversionen hinweg.
Variabilität der Genauigkeit: Die Profilgenauigkeit variierte erheblich zwischen den 75 Modellen und skalierte nicht zuverlässig mit der Modellgröße, dem Erscheinungsdatum oder der Fähigkeitsstufe.
- Effizienzorientierte Modelle (z. B. „Haiku", „Flash", „mini") zeigten oft eine höhere Genauigkeit gegenüber dem menschlichen Profil.
- Größere/Flaggschiff-Modelle (z. B. GPT-5, Claude Opus) reproduzierten oft die korrekte Form (Rangfolge) menschlicher Werte, zeigten jedoch eine übertriebene Distanzähnlichkeit. Sie verschärften den Kontrast zwischen hoch- und niedrigpriorisierten Dimensionen stärker als Menschen, wodurch sie das Profil effektiv „überkalibrierten".
Inverses Skalierungsmuster: Die Tendenz größerer, optimierter Modelle, extremere Wertdifferenzierungen auszudrücken, deutet auf ein Beispiel inverser Skalierung bei ausrichtungsrelevanten Verhaltensweisen hin, bei der die Optimierung für Fähigkeiten oder Benutzerpräferenzen die Kalibrierung der Werteprioritäten verschlechtern kann.

Bedeutung und Behauptungen

Das Papier positioniert seinen Beitrag als Untersuchung einer spezifischen ausgabenbasierten Facette der Ausrichtung: der Übereinstimmung zwischen von LLMs ausgedrückten Werteprioritätsprofilen und menschlichen normativen Urteilen.

Methodischer Wandel: Die Autoren argumentieren dafür, Ausrichtung als Profil relativer Gewichtung zu betrachten und nicht als Checkliste unabhängiger Kriterien. Dieser Ansatz deckt Fehlermodi (wie Überdifferenzierung) auf, die von checklistenbasierten Benchmarks übersehen werden.
Das „Handlungsfähigkeits"-Paradoxon: Die konvergente Herabstufung der Handlungsfähigkeit durch Menschen und LLMs hebt eine potenzielle Fehlausrichtung mit der Entwicklungspfade der Frontier-KI hervor, die sich zunehmend zu agenteren Systemen bewegt. Die Autoren schlagen vor, dass Gewinne in der Autonomie nicht in eine wahrgenommene Ausrichtung münden, wenn sie menschliche Präferenzen für die Wahrung der Urheberschaft über Entscheidungen verletzen.
Praktischer Nutzen: Die sechs Themen und die Metrik der Profilgenauigkeit bieten eine skalierbare Methode zur Prüfung von LLM-Wertprofilen vor dem Einsatz. Die Autoren warnen davor, Modelle allein basierend auf dem Ruf des Entwicklers, dem Veröffentlichungsdatum oder der Größe auszuwählen, da dies für die Sicherstellung einer Übereinstimmung auf der Wertebene unzureichend ist; kleinere oder effizienzorientierte Varianten können in spezifischen Kontexten besser mit menschlichen Prioritäten ausgerichtet sein.
Anerkannte Einschränkungen: Die Autoren stellen ausdrücklich fest, dass diese Forschung ausgesprochene Rhetorik unter strukturiertem Prompting misst, nicht tatsächliches Verhalten in Abwägungs- oder adversarialen Szenarien. Sie weisen darauf hin, dass das menschliche Benchmark kulturell spezifisch (US-basiert) ist und dass die Metrik der Profilgenauigkeit einer weiteren Validierung gegenüber nachgelagerten Ergebnissen wie dem Vertrauen der Benutzer bedarf. Die Studie beansprucht nicht, ein vollständiges Maß für Ausrichtung zu liefern, sondern vielmehr einen handhabbaren empirischen Pfad zur Evaluierung ausgedrückter Werteprioritäten.