🤖 AI

Building Interpretable Models for Moral Decision-Making

Dieses Paper präsentiert ein kompaktes, 2-schichtiges Transformer-Modell, das eine Genauigkeit von 77 % auf Moral Machine-Daten erreicht und dabei Interpretierbarkeitstechniken nutzt, um offenzulegen, wie moralische Argumentation und Biases über distinkte computergestützte Stadien in neuronalen Netzen verteilt sind.

Ursprüngliche Autoren: Mayank Goel, Aritra Das, Paras Chopra

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mayank Goel, Aritra Das, Paras Chopra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein Computer eine schwierige Entscheidung trifft, wie etwa die Entscheidung, wen er retten soll, in einem klassischen „Trolley-Problem“ (bei dem ein außer Kontrolle geratener Zug auf eine Gruppe von Menschen zusteuert, es sei denn, man lenkt ihn ab, um stattdessen eine andere Gruppe zu treffen). Normalerweise verwenden wir dafür riesige, komplexe KI-Gehirne (Large Language Models), aber diese sind wie Black Boxes: Wir sehen das Ergebnis, haben aber keine Ahnung, wie sie dorthin gelangt sind.

In dieser Arbeit geht es darum, ein winziges, transparentes KI-Gehirn zu bauen, das speziell darauf ausgelegt ist, diese moralischen Rätsel zu lösen, damit wir die Zahnräder darin tatsächlich beobachten können.

Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:

1. Den Bau eines „Moral-Rechners“ statt einer Black Box

Die Forscher haben nicht einfach eine riesige KI mit einer Menge von Geschichten gefüttert. Stattdessen haben sie von Grund auf ein maßgeschneidertes, kleines Modell gebaut (nur 104.000 Parameter – winzig für eine KI).

Denken Sie bei ihrem Modell eher an eine strukturierte Tabellenkalkulation als an eine chaotische Bibliothek. Jedes Mal, wenn die KI ein Szenario betrachtet, zerlegt sie die Situation in drei spezifische Fakten für jede beteiligte Person:

Wer sind sie? (z. B. ein Arzt, ein Krimineller, ein Baby).
Wie viele sind es? (z. B. 1 Person, 5 Personen).
Auf welcher Seite stehen sie? (Team A oder Team B).

Die „Hypothese“ des Modells ist, dass das Treffen einer moralischen Entscheidung im Grunde ein mathematisches Problem ist, bei dem man diese drei Dinge identifiziert und sie gegeneinander abwägt.

2. Wie intelligent ist es?

Sie haben dieses winzige Modell mit 3 Millionen echten menschlichen Entscheidungen aus dem „Moral Machine“-Datensatz trainiert.

Das Ergebnis: Es erreichte eine Genauigkeit von 77 %.
Die Erkenntnis: Man braucht keinen massiven, undurchsichtigen Supercomputer, um moralische Entscheidungen zu treffen. Ein kleines, einfaches und transparentes Modell kann menschliche moralische Prinzipien genauso gut erlernen wie die großen Modelle, bietet aber den zusätzlichen Vorteil, dass wir tatsächlich sehen können, wie es denkt.

3. In die Maschine hineinblicken (Die „Röntgenblick“-Vision)

Da das Modell klein und maßgeschneidert ist, konnten die Forscher spezielle Werkzeuge verwenden, um in sein „Gehirn“ zu schauen und zu sehen, wo spezifische Vorurteile (Biases) leben. Sie fanden drei faszinierende Dinge heraus:

A. Die „Moralische Hierarchie“ (Wer zählt am meisten?)

Sie testeten das Modell, indem sie die Charaktere in den Szenarien austauschten, um zu sehen, wer die Entscheidung am stärksten beeinflusste.

Die Ergebnisse: Das Modell lernte eine klare Hierarchie des „Wertes“, genau wie Menschen es tun.
- Hoher Wert: Schwangere Frauen und Babys im Kinderwagen hatten den größten positiven Einfluss (das Modell wollte sie unbedingt retten).
- Niedriger Wert: Kriminelle hatten den stärksten negativen Einfluss (das Modell war sehr bereit, sie zu opfern).
- Neutral: „Männer“ und „Frauen“ im allgemeinen Sinne wurden als Basis behandelt, mit fast keinem besonderen Gewicht.
Die Metapher: Stellen Sie sich vor, das Modell besitzt eine Waage. Es zählt nicht nur Köpfe; es legt schwere Gewichte auf „Babys“ und leichte Gewichte auf „Kriminelle“.

B. Wo die Voreingenommenheit lebt (Die Fabrikhalle)

Das Modell hat zwei Verarbeitungsschichten (denken Sie an zwei Montagestationen). Die Forscher fanden heraus, dass unterschiedliche Arten von Biases an unterschiedlichen Stationen auftreten:

Station 1 (Layer 0): Hier entscheidet das Modell, ob jemand ein Krimineller ist. Es erkennt das Label „böser Kerl“ sofort.
Station 2 (Layer 1): Hier entscheidet das Modell zwischen Menschen und Tieren. Es macht einen zweiten Schritt, um zu verstehen, dass ein Mensch wichtiger ist als eine Katze.
Die Metapher: Es ist wie in einer Fabrik, in der ein Arbeiter direkt an der Tür prüft, ob es sich um „gefährliche Gegenstände“ (Kriminelle) handelt, während ein zweiter Arbeiter weiter unten in der Linie prüft, ob die Gegenstände „Menschen“ oder „Haustiere“ sind.

C. Der „Geheime Schaltkreis“

Sie fanden eine winzige, spärliche Gruppe von Neuronen (nur 4 5 von 256), die als die letzten Entscheidungsträger fungieren. Wenn man diese spezifischen Neuronen ausschalten würde, sank die Fähigkeit des Modells, die richtige moralische Entscheidung zu treffen, leicht. Es ist, als fände man die spezifische Sicherung in einem Haus, die das Licht an der Haustür steuert.

4. Warum das wichtig ist

Die Arbeit argumentt, dass wir durch den Bau kleiner, transparenter Modelle aufhören können zu raten, warum eine KI schlechte moralische Entscheidungen trifft.

Das Problem: Wenn eine riesige KI voreingenommen ist, ist es schwer, sie zu korrigieren, weil wir nicht wissen, wo der Bias versteckt ist.
Die Lösung: Mit diesem kleinen Modell können wir sehen, dass der „Kriminellen-Bias“ in Layer 0 stattfindet. Das bedeutet, dass wir diesen Teil potenziell beheben könnten, indem wir genau diesen spezifischen Teil des Codes anpassen, anstatt das gesamte System neu zu trainieren oder die Daten zu bereinigen.

Zusammenfassung

Die Forscher haben ein kleines, durchsichtiges KI-Modell gebaut, um moralische Dilemmata zu lösen. Sie haben bewiesen, dass:

Kleine Modelle moralische menschliche Regeln effektiv erlernen können.
Diese Modelle eine spezifische „Hierarchie“ erlernen, wer wertvoll ist (Babys > Kriminelle).
Unterschiedliche Biases (wie Alter oder Spezies) in verschiedenen Phasen des Denkprozesses der KI auftreten.
Da das Modell einfach ist, können wir genau bestimmen, wo diese Biases leben, und sie potenziell chirurgisch beheben können.

Der Code für dieses „moralische Mikroskop“ steht jedem zum Studium zur Verfügung und beweist, dass das Verständnis von KI-Ethik kein Black-Box-Verfahren erfordert – sondern ein klares Fenster.

Technisches Resümee: Aufbau interpretierbarer Modelle für moralische Entscheidungsfindung

Problemstellung

Da KI-Systeme zunehmend mit moralischen Dilemmata konfrontiert werden (z. B. autonomes Fahren, Inhaltsmoderation), besteht ein dringender Bedarf zu verstehen, nicht nur was diese Systeme entscheiden, sondern auch wie sie argumentieren und wo moralische Biases innerhalb ihrer Architekturen ihren Ursprung haben. Aktuelle Ansätze verlassen sich oft auf post-hoc-Analysen opaker, großskaliger Sprachmodelle (LLMs), was ein mechanistisches Verständnis einschränkt. Diese Arbeit adressiert die Herausforderung, ein transparentes, kleinskaliges Modell zu entwickeln, das in der Lage ist, allgemeine moralische Prinzipien aus dem Moral Machine Datensatz (Awad et al., 2018) zu erlernen, um eine detaillierte Interpretabilitätsanalyse zu ermöglichen.

Methodik

Architekturdesign

Die Autoren schlagen ein maßgeschneidertes, 2-schichtiges Transformer-Modell vor, das spezifisch für strukturierte moralische Denkaufgaben optimiert ist. Im Gegensatz zu allgemeinen Sprachmodellen nutzt diese Architektur die kompositionelle Natur von Trolley-Problem-Szenarien aus.

Input-Repräsentation: Jedes moralische Dilemma wird als Paar von Ausgängen ( $O_0, O_1$ ) dargestellt. Jeder Ausgang wird als Sequenz von Token kodiert, die 23 Charaktertypen entsprechen (z. B. Mann, Frau, Krimineller, Arzt). Für jeden Charakter $c$ mit Kardinalität $n_c$ im Ausgang $t$ wird ein kompositionelles Embedding konstruiert:
$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$
Dieses Design kodiert die Hypothese, dass moralische Argumentation in die Identifizierung von Stakeholdern, die Quantifizierung von Auswirkungen und die Auflösung konkurrierender Interessen zerfällt.
Modellkonfiguration: Das Modell verwendet eine Embedding-Dimension $d=64$ , 2 Attention-Heads und 2 Transformer-Schichten ( $L=2$ ). Es verarbeitet eine Sequenz von 46 Token (23 pro Ausgang), die einem lernbaren [CLS]-Token vorausgehen.
Symmetrie-Erzwingung: Um Seiteninvarianz zu gewährleisten (wobei die Präferenz für Gruppe A gegenüber B das Komplement von B gegenüber A ist), mittelt der Inferenzprozess die Vorhersagen aus beiden Eingangsordnungen:
$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$
Klassifikation: Die finale [CLS]-Repräsentation durchläuft ein zweischichtiges MLP, um einen skalaren Logit zu erzeugen, der mittels Sigmoid in eine Wahrscheinlichkeit umgewandelt wird. Dieser probabilistische Output ermöglicht es dem Modell, Unsicherheit bei widersprüchlichen Trainingspräferenzen zu erlernen.

Interpretabilitätstechniken

Das Paper verwendet drei komplementäre Methoden, um die internen Mechanismen des Modells zu analysen:

Kausale Intervention: Unter Verwendung des DoWhy-Frameworks schätzen die Autoren den Average Treatment Effect (ATE) spezifischer Charaktertypen auf Entscheidungsergebnisse ab, wobei Störfaktoren bezüglich der Gruppengröße kontrolliert werden.
Schichtweise Attribution: Attention-Gewichte werden aus jeder Schicht extrahiert und mit Bias-Scores über fünf Dimensionen (Legalität, Geschlecht, soziale Rolle, Alter, Spezies) korreliert, um zu lokalisieren, wo Biases entstehen.
Circuit Probing: Über ein eingefrorenes Modell werden spärse binäre Masken trainiert, um spezifische Neuronen (in MLP-Blöcken und Attention-Heads) zu identifizieren, die kausal die moralische Hierarchie implementieren. Dies wird durch gezielte Ablation validiert.
Lokale Relevanz: Gradientengewichtete Attention-Relevanz wird berechnet, um den Beitrag einzelner Token zu spezifischen Entscheidungen zu erklären.

Kernergebnisse

Performance

Das 2-Schichten-Modell erreicht eine Genauigkeit von 77,1 % bei gehaltenen Moral-Machine-Szenarien (unter Verwendung der Konfiguration $d=64, H=2, L=2$ ).
Während eine größere Konfiguration ( $d=64, H=4, L=3$ ) eine Genauigkeit von 77,5 % erreichte, wählten die Autoren das kleinere Modell, um die Interpretierbarkeit und die Recheneffizienz zu priorisieren.
Das Modell zeigt, dass Transparenz und Vorhersagefähigkeit in moralischen Entscheidungen keine gegenseitig ausschließenden Eigenschaften sind.

Interpretabilitätsbefunde

Moralische Hierarchie (Kausale Intervention): Das Modell lernt eine implizite Hierarchie des moralischen Wertes, die unabhängig von utilitaristischen Zählungen ist. „Schwangere“ (ATE +0,12) und „Spaziergänger“ (ATE +0,11) zeigen den stärksten positiven Einfluss, während „Kriminelle“ (ATE -0,10) den stärksten negativen Einfluss aufweisen. Generische Kategorien wie „Mann“ und „Frau“ clustern nahe Null und dienen als moralische Baselines.
Bias-Lokalisierung:
- Legalitäts-Bias: Lokalisiert sich fast vollständig auf Schicht 0, was darauf hindeutet, dass der kriminelle Status früh über die Charakter-Embeddings identifiziert wird.
- Spezies-Bias: Entsteht vornehmlich in Schicht 1, was darauf hindeutet, dass die Unterscheidung zwischen Mensch und Tier eine kompositionelle Argumentation über mehrere Charaktere hinweg erfordert.
- Funktionale Spezialisierung: Spezifische Attention-Heads spezialisieren sich auf unterschiedliche Biases (z. B. Schicht 0 Head 1 für Legalität; Schicht 1 Head 1 für Spezies-Diskriminierung).
Circuit Discovery: Das Circuit Probing identifizierte ein hochgradig spärses Subnetzwerk (45 von 256 Neuronen, 17,6 % Sparsity) im MLP-Block von Schicht 1, das das moralische Scoring-Signal kausal implementiert. Die Ablation dieses Circuits reduzierte die Übereinstimmung mit den Model-Score-Labels um 1,2 Prozentpunkte und erklärte etwa 8,3 % der Marge des Modells über dem Zufallsniveau.
Token-Relevanz: In spezifischen Szenarien (z. B. 3 Männer vs. 3 Kriminelle) wird die Entscheidung primär durch den „Kriminelle“-Token getrieben (Relevanzwert 0,27), während demografische Token wie „Mann“ nur schwach beitragen.

Signifikanz und Ansprüche

Das Paper behauptet, dass moralische Kompetenz keine großen, vortrainierten Modelle erfordert; ein einfaches, strukturell beschränktes Modell, das auf der intuitiven Struktur von Trolley-Problemen trainiert wurde, reicht aus, um menschliche moralische Biases zu erlernen und zu kodieren.

Die primäre Signifikanz liegt in der Transparenz. Durch den Aufbau einer kleinen, maßgeschneiderten Architektur demonstrieren die Autoren:

Moralische Biases sind nicht monolithisch, sondern lokalisieren sich in distinkten computergestützten Stadien (z. B. frühe Schichten für identitätsbasierte Biases, spätere Schichten für kompositionelle Argumentation).
Diese Granularität ermöglicht gezielte Interventionsstrategien. Beispielsweise erlaubt das Wissen, dass der Kriminellen-Bias auf Schicht 0 Head 1 lokalisiert ist, spezifische Debiasing-Techniken (wie das Orthogonalisieren von Repräsentationen oder das Clamping von Attention-Gewichten) anstatt grober Datensatz-Rebalancierung.
Die Arbeit schafft eine Grundlage für die Untersuchung des moralischen Denkens in größeren LLMs, indem sie dieses interpretierbare Modell als Basis verwendet, um zu verstehen, wie moralische Prinzipien in komplexeren Systemen kodiert werden.

Die Autoren räumen ein, dass das Training auf aggregierten menschlichen Präferenzen inhärent kulturelle Biases übernimmt, argumentieren jedoch, dass die Transparenz ihres Ansatzes ein notwendiger Schritt zum Verständnis und potenziellen Abbau dieser Biases in KI-Systemen ist.