🤖 AI

Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

Dieser Beitrag argumentiert, dass die Ausrichtung von LLMs auf organisatorische Entscheidungsfindung die Messung der Prozessausrichtung (wie Informationen gewichtet werden) erfordert und nicht nur die Übereinstimmung der Ausgaben, indem er durch kontrastierende Fallstudien nachweist, dass die Prozessausrichtung zwar die Genauigkeit in juristischen Kontexten vorhersagt, aber in umstrittenen Bereichen wie der Verbraucherkreditvergabe diskriminierende Muster kodieren kann, wodurch die pluralistische Natur der organisatorischen Ausrichtung offengelegt wird.

Ursprüngliche Autoren: Niklas Weller, Emilio Barkett

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Niklas Weller, Emilio Barkett

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, der Ihrem Unternehmen dabei helfen soll, wichtige Entscheidungen zu treffen. Sie möchten, dass dieser Assistent genau so denkt und entscheidet, wie Ihr Unternehmen es tut.

Die meisten Menschen denken, „Alignment" (Ausrichtung) bedeute einfach: „Gibt der Assistent dasselbe Endergebnis (Ja/Nein) wie das Unternehmen?"

Dieser Artikel argumentiert, dass dies eine gefährliche Art ist, die Dinge zu betrachten. Es ist so, als würde man einen Koch nur danach beurteilen, ob das Essen gut schmeckt, ohne zu prüfen, ob er die richtigen Zutaten verwendet oder das Rezept befolgt hat. Die Autoren schlagen eine neue Methode zur Messung von Alignment vor, die CALM (Contextualized Alignment Lens Model) genannt wird. Anstatt nur das Endergebnis zu prüfen, betrachtet CALM, wie der Assistent die verschiedenen Hinweise gewichtet, um zu dieser Antwort zu gelangen.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

Das Kernproblem: Die Falle der „richtigen Antwort, falschen Gründe"

Stellen Sie sich einen Detektiv vor, der versucht, ein Verbrechen aufzuklären.

Die Organisation (Der Chef): Löst Fälle, indem er auf das Motiv und das Alibi achtet.
Die KI (Der neue Detektiv): Löst Fälle, indem er auf die Farbe des Hemdes des Verdächtigen und die Uhrzeit achtet.

Wenn sowohl der Chef als auch die KI in 80 % der Fälle auf „Schuldig" tippen, sehen sie auf dem Papier perfekt abgestimmt aus. Aber die KI verwendet die falsche Logik. Wenn ein neuer, seltsamer Fall aufkommt, bei dem die Hemdfarbe keine Rolle spielt, wird die KI scheitern, während der Chef erfolgreich sein wird. Der Artikel nennt dies die „Wissenskluft".

Die zwei Experimente

Die Forscher testeten diese Idee in zwei völlig unterschiedlichen Welten, um zu sehen, ob es tatsächlich darauf ankommt, „wie der Chef zu denken".

Studie 1: Der Gerichtssaal (ECHR-Entscheidungen)

Das Setup: Sie forderten KI-Modelle auf, wie Richter am Europäischen Gerichtshof für Menschenrechte zu agieren.
Die Analogie: Stellen Sie sich dies als ein Kochbuch vor. Die Regeln für die Beurteilung dieser Fälle sind klar, niedergeschrieben und stabil. Alle sind sich einig, welche Zutaten (Hinweise) wichtig sind.
Das Ergebnis:

Als den KI-Modellen gesagt wurde, sie sollen wie die Richter denken, wurden sie darin deutlich besser.
Der magische Link: In dieser Welt führte es fast immer zur richtigen Antwort, wenn die KI begann, wie der Richter zu denken (die richtigen Hinweise zu verwenden).
Fazit: Wenn die Regeln klar und vereinbart sind, ist es eine hervorragende Methode, die KI genauer zu machen, indem man sie dazu bringt, „wie die Organisation zu denken".

Studie 2: Die Bank (Deutsche Kreditentscheidungen)

Das Setup: Sie forderten KI-Modelle auf, wie eine deutsche Bank aus den 1990er Jahren zu agieren, die entscheidet, wer einen Kredit erhält.
Die Analogie: Stellen Sie sich dies als einen kaputten Kompass vor. Die alten Regeln der Bank basierten auf der Geschichte, aber einige dieser Regeln waren unfair (Diskriminierung von Frauen, älteren Menschen oder ausländischen Arbeitnehmern). Das „Rezept" war fehlerhaft.
Das Ergebnis:

Der magische Link brach: Hier führte es nicht dazu, dass die KI besser darin wurde, vorherzusagen, wer den Kredit zurückzahlen würde, wenn sie „wie die Bank zu denken" begann. Die KI konnte exakt wie die Bank denken und trotzdem die falsche Antwort geben, oder anders denken und die richtige Antwort erhalten.
Der „Überkorrektur"-Fehler: Als sie einem Modell sagten: „Hey, du lehnst zu viele Leute ab, repariere das", ging ein Modell völlig durch und genehmigte jeden (99,5 % der Personen), wodurch das System komplett zusammenbrach.
Der Fairness-Kampf: Die KI-Modelle schienen zu „wissen", dass einige der alten Regeln der Bank (wie die Beurteilung basierend auf Geschlecht oder Alter) unfair waren. Sie widerstanden aktiv den Anweisungen der Bank in diesen spezifischen Punkten.
Fazit: In chaotischen, kontroversen Situationen ist es nicht immer gut, einfach den Denkprozess der Organisation zu kopieren. Manchmal ist die „Denkweise" der Organisation tatsächlich das Problem.

Die große Schlussfolgerung

Der Artikel kommt zu dem Schluss, dass wir nicht nur fragen können: „Stimmt die KI mit uns überein?" Wir müssen fragen: „Wessen Werten stimmen wir aus?"

In klaren, fairen Systemen (wie dem Gericht): Die Ausrichtung des Denkprozesses der KI auf die Organisation ist hilfreich und macht sie genauer.
In chaotischen, unfairen Systemen (wie der alten Bank): Die Ausrichtung des Denkprozesses der KI auf die Organisation könnte die KI lediglich zu einem besseren Diskriminierer machen.

Die abschließende Metapher:
Wenn Sie einen Hund trainieren, einen Ball zu apportieren:

Studie 1 ist wie das Training des Hundes, einen Ball in einem Park zu apportieren. Wenn der Hund lernt, den Ball auf die richtige Weise zu apportieren, holt er ihn jedes Mal.
Studie 2 ist wie das Training des Hundes, einen Ball zu apportieren, der tatsächlich eine Bombe ist. Wenn der Hund lernt, die Bombe „genau so zu apportieren, wie der Besitzer es will", ist es eine Katastrophe.

Die Autoren sagen, wir brauchen ein Werkzeug (CALM), um zu prüfen, wie die KI denkt, nicht nur was sie entscheidet. Dies hilft uns zu erkennen, ob die KI einem guten oder einem schlechten Rezept folgt, was für Entscheidungen mit hohen Risiken wie Krediten und Gerichtsentscheidungen entscheidend ist.

Technische Zusammenfassung: Wessen Ausrichtung? Vergleich der Prozessausrichtung von LLMs in diversen organisatorischen Entscheidungszusammenhängen

1. Problemstellung

Aktuelle Rahmenwerke zur Ausrichtung von KI-Systemen auf Organisationen behandeln Ausrichtung typischerweise als Problem mit einem einzigen Ziel, das auf die Übereinstimmung der Ausgabe fokussiert ist: Sicherzustellen, dass das Modell die gleichen Schlussfolgerungen zieht wie die Organisation. Die Autoren argumentieren, dass diese Rahmung eine tiefere, pluralistische Herausforderung verschleiert: die Prozessausrichtung.

Organisationen kodieren unterschiedliche Entscheidungspolitiken, die oft implizit, historisch kontingent sind und sich zwischen Institutionen systematisch unterscheiden. Ein LLM kann eine hohe Ausgabepräzision erreichen, während es eine grundlegend andere „Cue-Nutzungspolitik" (unterschiedliche Gewichtung von Informationen) verfolgt als die Organisation. Diese Abweichung, die als Wissenslücke bezeichnet wird, birgt Risiken für die Prozesslegitimität, die Generalisierbarkeit auf neuartige Fälle und die Vertrauenswürdigkeit in regulierten Bereichen. Darüber hinaus konzentriert sich die bestehende pluralistische Ausrichtungsforschung auf zwischenmenschliche Pluralität (Aggregation individueller Präferenzen), vernachlässigt jedoch weitgehend die zwischenorganisatorische Pluralität und versagt darin, zu adressieren, welche institutionellen Normen ein Modell annehmen soll, wenn diese Normen mit zeitgenössischen ethischen oder rechtlichen Standards kollidieren können.

2. Methodik: Das kontextualisierte Ausrichtungs-Linsen-Modell (CALM)

Um die Prozessausrichtung zu messen, adaptieren die Autoren das Brunswik-Linsen-Modell (Brunswik, 1952; Hammond et al., 1964). Anstatt finale Ausgaben zu vergleichen, schätzt und vergleicht CALM die Cue-Gewichtungspolitiken von Organisationen und LLMs.

Politikschätzung: Mithilfe von ridge-regulierter logistischer Regression an beobachteten Entscheidungen leiten die Autoren Koeffizientenvektoren ( $\beta$ ) ab, die das Gewicht repräsentieren, das sowohl für den organisatorischen Benchmark als auch für jedes LLM spezifischen Cues (Merkmale) zugewiesen wird.
Ausrichtungsmetrik: Die Ausrichtung wird als Kosinus-Ähnlichkeit zwischen dem Politikvektor der Organisation ( $\beta_{org}$ ) und dem Politikvektor des LLM ( $\beta_{LLM}$ ) quantifiziert:
$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$
Diese Metrik ist skalierungsinvariant und im Intervall $[-1, 1]$ beschränkt, wobei 1,0 eine perfekte Ausrichtung anzeigt.
Experimentelle Bedingungen: Das Rahmenwerk testet drei Bedingungen:
1. Basislinie: Das Modell entscheidet basierend auf einem strukturierten Falldossier (was implizite Vortrainingspolitiken offenlegt).
2. Externerisiert: Dem Modell wird vor der Entscheidungsfindung die explizite Cue-Gewichtungspolitik der Organisation (abgeleitet aus historischen Daten) als Anleitung bereitgestellt.
3. Introspektiv-externerisiert: Dem Modell wird gezeigt, wie seine Basislinienpolitik von der der Organisation abweicht, und es wird angewiesen, sich selbst zu korrigieren.

3. Hauptbeiträge und Ergebnisse

Die Arbeit stellt zwei empirische Studien vor, um die Beziehung zwischen Prozessausrichtung und Ausgabepräzision in verschiedenen Domänen zu testen.

Studie 1: Entscheidungen nach Artikel 6 der EMRK (Rechtsdomäne)

Kontext: 1.000 Entscheidungen des Europäischen Gerichtshofs für Menschenrechte bezüglich des Rechts auf ein faires Verfahren.
Ergebnisse:
- Starke Korrelation: Die Prozessausrichtung sagt die Ausgabepräzision stark voraus ( $r = 0,85, p < .001$ ). Modelle, die Cues ähnlich wie das Gericht gewichten, erreichen eine höhere Präzision.
- Effektive Externalisierung: Die explizite Bereitstellung der Politik der Organisation („Externalisierung") verbessert die Ausrichtung für schlecht ausgerichtete Modelle erheblich (z. B. verbesserte sich GPT-5.4-nano um $\Delta = +0,906$ ).
- Deckeneffekte: Modelle, die bereits gut ausgerichtet waren, zeigten minimale Gewinne, was darauf hindeutet, dass Externalisierung am effektivsten ist, um die Wissenslücke bei fehlausgerichteten Modellen zu schließen.

Studie 2: Deutsche Verbraucherkreditentscheidungen (Finanzdomäne)

Kontext: 1.000 historische Kreditentscheidungen einer deutschen Bank (1990er Jahre), die Cues enthalten, die heute unter dem Antidiskriminierungsrecht geschützte Attribute sind (z. B. Geschlecht, Alter, Status als ausländischer Arbeitnehmer).
Ergebnisse:
- Entkopplung von Ausrichtung und Präzision: Die Beziehung zwischen Prozessausrichtung und Ausgabepräzision brach zusammen ( $r = 0,15, p = .60$ ). Modelle mit stark unterschiedlichen Prozessausrichtungs-Werten erzielten ähnliche (und durchweg schlechte) Präzisionsraten (44–54 % gegenüber einer Obergrenze von 75,1 %).
- Inkonsistente Interventionen: Externalisierung erzeugte inkonsistente Effekte. Während einige Modelle sich der Politik annäherten, entfernten sich andere weiter davon. Ein Modell (Grok 4.1 Fast) zeigte eine „degenerierte Überkorrektur" und klassifizierte 99,5 % der Fälle als „gutes" Risiko als Reaktion auf Feedback zur Basisrate, wodurch es seine Politik effektiv umkehrte, anstatt sie zu kalibrieren.
- Spannungsfeld Fairness: Modelle widerstanden oft der Gewichtung geschützter Attribute (z. B. Status als ausländischer Arbeitnehmer) auf die gleiche Weise wie der historische Benchmark, was einen Konflikt zwischen der organisatorischen Prozessausrichtung und der sicherheitsbezogenen Ausrichtung auf Modellebene nahelegt.

4. Bedeutung und Behauptungen

Die Autoren behaupten, dass die Messung auf Prozessebene eine notwendige Komponente jeder pluralistischen Ausrichtungsbewertung ist, insbesondere in hochriskanten organisatorischen Settings. Die Kernthese lautet, dass höhere Ausrichtung nicht bedingungslos wünschenswert ist; sie hängt davon ab, ob die Organisationspolitik selbst legitime Werte kodiert.

Doppelfunktion von CALM:
- Kalibrierungsinstrument: In Domänen mit stabilen, legitimen normativen Benchmarks (z. B. EMRK) quantifiziert CALM die Politikdivergenz und leitet Externalisierung an, um die Lücke zu schließen.
- Audit-Instrument: In Domänen mit umstrittenen oder diskriminierenden Benchmarks (z. B. Deutscher Kredit) macht CALM Verhaltenspolitiken lesbar und ermöglicht es Interessengruppen zu prüfen, ob ein Modell historische Diskriminierung treu reproduziert oder ihr widersteht.
Das Problem der „Treue": Die Arbeit hebt hervor, dass die Ausgabeübereinstimmung nicht zwischen einem Modell unterscheiden kann, das eine Organisationspolitik internalisiert hat, und einem, das lediglich Ergebnisse approximiert. Darüber hinaus besteht das Risiko, dass die vom Modell dargelegte Begründung (Chain-of-Thought) von seiner tatsächlichen Verhaltenspolitik abweicht, was eine Verhaltensmessung via CALM essenziell macht.
Governance-Implikationen: Die Arbeit argumentiert, dass KI-Governance über Ausgabe-Metriken (Präzision, demografische Parität) hinausgehen muss, um die Prozesslegitimität einzuschließen. Organisationen müssen explizit spezifizieren, welche Version ihrer Entscheidungspolitik als Ausrichtungsziel dient, und anerkennen, dass historische Praktiken mit aktuellen ethischen oder regulatorischen Standards kollidieren können.

Die Arbeit schließt, dass Organisationsausrichtung kein einzelnes technisches Problem ist, sondern eine pluralistische Herausforderung, die eine empirische Messung erfordert, wessen institutionelle Normen übernommen werden, welche Politik kodiert wird und aus wessen Perspektive die Ausrichtung bewertet wird.