🤖 AI

Bounded Morality: Defining the Space of Moral Computation

Dieses Paper führt „Bounded Morality“ ein, ein formales Framework, das die begrenzte Rationalität (bounded rationality) auf die moralische Kognition erweitert, indem es einen machbaren computationalen Raum definiert, der durch einen Tradeoff zwischen moralischer Breite und Tiefe beschränkt ist, und damit ethische Theorien als lokal effiziente Strategien für endliche Agenten anstatt als absolute Wahrheiten umformuliert.

Ursprüngliche Autoren: Max Kanwal, Caryn Tran, Patrick Mineault

Veröffentlicht 2026-07-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Max Kanwal, Caryn Tran, Patrick Mineault

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen. Sie haben eine begrenzte Menge an Zeit, eine begrenzte Anzahl an Puzzleteilen, die Sie in Ihren Händen halten können, und eine begrenzte mentale Energie, um herauszufinden, wie sie zusammenpassen.

Dieses Papier, „Bounded Morality“ (Begrenzte Moral), legt nahe, dass das Treffen moralischer Entscheidungen genau wie das Lösen eines solchen Puzzles ist. Es argumentiert, dass wir (und die KI, die wir bauen) nicht einfach nur „gute“ oder „schlechte“ Denker sind, sondern endliche Denker mit begrenzten Ressourcen. Aufgrund dieser Grenzen müssen wir Abwägungen treffen, die die Art und Weise prägen, wie wir die Welt sehen und Entscheidungen treffen.

Hier ist die Kernidee, unterteilt in einfache Konzepte und Analogien:

1. Die zwei Regler des moralischen Denkens

Die Autoren sagen, dass jede moralische Entscheidung beinhaltet, zwei verschiedene „Regler“ zu drehen, aber man kann nicht beide gleichzeitig auf das Maximum drehen, weil die eigene „Batterie“ (die Gehirnleistung oder Computerleistung) begrenzt ist.

Regler A: Moralische Breite (Wie weit ist Ihr Blickfeld?)
- Die Analogie: Stellen Sie sich vor, Sie betrachten eine Landschaft durch ein Kameraobjektiv. Breite ist die Weitwinkelwirkung des Objektivs. Zoomen Sie nur auf Ihre Familie? Oder zoomen Sie heraus, um die ganze Nachbarschaft, das ganze Land oder sogar zukünftige Generationen zu sehen?
- Der Preis: Je breiter das Objektiv ist, desto mehr „Zeug“ müssen Sie erfassen. Wenn Sie versuchen, sich um alle Menschen auf der Erde zu kümmern, müssen Sie Millionen von Namen und Situationen im Gedächtnis behalten. Das verbraucht eine enorme Menge an Speicherplatz.
Regler B: Moralische Tiefe (Wie tief ist Ihr Denken?)
- Die Analogy: Stellen Sie sich vor, Sie spielen eine Partie Schach. Tiefe ist, wie viele Züge voraus Sie berechnen können. Betrachten Sie nur den Zug, den Sie gerade machen? Oder können Sie die nächsten 10 Züge simulieren und darüber nachdenken, wie Ihr Gegner reagieren wird und wie seine Reaktion wiederum das Spielfeld verändern wird?
- Der Preis: Je tiefer Sie denken, desto mehr mentale Energie kostet es. Zehn Züge voraus zu simulieren ist viel schwieriger, als nur den aktuellen Zug zu betrachten.

2. Der „Schere“-Trade-off

Das Papier zitiert den berühmten Psychologen Herbert Simon, der sagte, dass menschliches Verhalten durch eine Schere geformt wird: Ein Schneideblatt ist die Aufgabe (das moralische Problem) und das andere Blatt ist Ihre Fähigkeit (Ihre Gehirnleistung).

Das Papier argumentiert, dass wir aufgrund unserer begrenzten Ressourcen zwischen Breite und Tiefe wählen müssen. Man kann nicht beides auf dem Maximum haben.

Wenn man versucht, sich um alle zu kümmern (hohe Breite), muss man meistens auf eine einfache, schnelle Art und Weise denken (geringe Tiefe). Man sagt vielleicht einfach: „Behandle alle gleich“, ohne über die komplexen Welleneffekte dieser Regel nachzudenken.
Wenn man versucht, sehr tief über eine spezifische Situation nachzudenken (hohe Tiefe), muss man sich meistens auf eine kleine Gruppe konzentrieren (geringe Breite). Man verbringt vielleicht Stunden damit, das perfekte Ergebnis für die unmittelbare Familie zu ermitteln, ignoriert dabei aber den Rest der Welt.

3. Warum verschiedene ethische Theorien existieren

Sie fragen sich vielleicht: „Warum streiten Menschen so viel über Ethik? Warum gibt es Utilitaristen, Deontologen und Tugendethiker?“

Dieses Papier legt nahe, dass dies nicht einfach verschiedene „Wahrheiten“ sind, die gegeneinander kämpfen. Stattdessen sind sie wie verschiedene Strategien beim Spielen eines Spiels mit begrenzter Energie.

Utilitarismus ist wie eine Strategie, die den Breiten-Regler ganz hochdreht. Er versucht, das Glück aller zu zählen. Aber weil er so viele Menschen zählen muss, muss er oft eine einfache Mathematik verwenden (geringe Tiefe), um Schritt zu halten.
Deontologie (Regelbefolgung) ist wie eine Strategie, die sagt: „Ich kann nicht alles berechnen, also werde ich strengen Regeln folgen.“ Sie schränkt den Suchraum ein, damit man nicht überfordert wird. Das ist effizient für mittelgroße Probleme.
Tugendethik ist wie eine Strategie, die das Rechnen komplett einstellt. Sie verlässt sich auf das „Muskelgedächtnis“ oder Gewohnheiten. Sie dreht den Tiefen-Regler auf Null (keine komplexe Berechnung) und den Breiten-Regler auf das, was sich „gerade richtig anfühlt“. Das ist schnell und effizient für unmittelbare Handlungen.
Care-Ethik (Fürsorgeethik) konzentriert sich auf einen kleinen, engen Kreis von Beziehungen (geringe Breite), denkt aber tief über die spezifischen Verbindungen zwischen diesen Menschen nach (hohe Tiefe).

Die große Erkenntnis: Diese Theorien sind nicht unbedingt „falsch“ oder „richtig“. Sie sind lediglich effiziente Wege, um moralische Rätsel zu lösen, wenn einem die Zeit oder die Gehirnleistung ausgeht.

4. Warum wir uneinig sind (selbst wenn wir uns einig sind)

Das Papier erklärt, dass zwei Menschen dieselben Werte haben können (z. B. „Ich möchte Menschen helfen“), aber dennoch uneinig darüber sein können, was zu tun ist.

Die Analogie: Stellen Sie sich zwei Wanderer vor, die denselben Berggipfel erreichen wollen. Einer hat einen schweren Rucksack (begrenzte Ressourcen) und eine breite Karte. Der andere hat einen leichten Rucksack, aber eine schmale Karte.
Sie könnten unterschiedliche Wege nehmen. Einer geht vielleicht breit und flach (deckt viel Gelände ab, übersieht aber Details), während der andere tief und schmal geht (erklimmt einen spezifischen Grat vorsichtig).
Sie streiten nicht über das Ziel; sie streiten darüber, wie sie ihre begrenzte Energie einsetzen, um dorthin zu gelangen.

5. Was das für die KI bedeutet

Das Papier legt nahe, dass wir, wenn wir versuchen, KI „moralisch“ zu machen, nicht einfach nur menschliche Urteile kopieren sollten. Menschen sind begrenzt; unsere KI könnte über viel mehr Power verfügen.

Anstatt zu fragen: „Was würde ein Mensch tun?“, sollten wir fragen: „Wie sollten wir die massive Rechenleistung der KI zuteilen?“

Soll die KI eine Milliarde Menschen betrachten, aber nur einen Schritt voraus denken?
Oder sollte sie eine kleine Gruppe betrachten und tausend Schritte voraus denken?

Das Papier argumentt, dass „moralischer Fortschritt“ nicht darin besteht, ein einziges perfektes Regelwerk zu finden. Es geht darum, besser darin zu werden, unsere Ressourcen zu verwalten. Fortschritt geschieht, wenn wir lernen, unsere begrenzte Zeit und Gehirnleistung effizienter einzusetzen, um der „perfektenen“ Antwort näher zu kommen, oder wenn Technologie uns mehr Ressourcen gibt, damit wir beide Regler (Breite und Tiefe) gleichzeitig höher drehen können.

Zusammenfassung

Bounded Morality ist die Idee, dass Moral ein mathematisches Problem mit einem begrenzten Budget ist. Wir müssen entscheiden, wie viel von der Welt wir betrachten (Breite) im Verhältnis dazu, wie intensiv wir darüber nachdenken (Tiefe). Unterschiedliche ethische Theorien sind lediglich verschiedene Wege, dieses Budget auszugeben. Dieses Verständnis hilft uns zu erkennen, dass moralische Meinungsverschiedenheiten oft nur unterschiedliche Arten der Verwaltung unserer begrenzten mentalen Energie sind und nicht zwangsläufig ein Zeichen dafür, dass eine Seite gut und die andere böse ist.

Technisches Resümee: Begrenzte Moral (Bounded Morality)

Problemstellung

Traditionelle Ansätze zur Formalisierung von Moral in künstlichen Systemen kodieren typischerweise etablierte ethische Theorien (z. B. Utilitarismus, Deontologie) als statische Regeln oder Wertfunktionen. Diese Strategie behandelt moralische Uneinigkeit als ein Problem der Auswahl der „richtigen“ Theorie und versäumt es dabei oft zu berücksichtigen, wie moralische Argumentation tatsächlich vollzogen wird, wie sie mit der kognitiven Kapazität skaliert oder warum unterschiedliche Theorien über Kulturen hinweg bestehen bleiben. Während die Forschung zur beschränkten Rationalität (Bounded Rationality) gezeigt hat, dass menschliches Urteilsvermögen das Ergebnis adaptiver Abwägungen unter computationalen Beschränkungen ist, bleibt die „Nachfrageseite“ der moralischen Argumentation unzureichend spezifiziert: Speziell geht es darum, welche Merkmale moralischer Situationen die informationellen und computationalen Lasten bedingen, die diese Abwägungen notwendig machen.

Dieses Paper adresset die Lücke in der Charakterisierung der Nachfragestruktur moralischer Probleme. Es stellt die Frage, wie moralische Situationen variieren, um die computationalen Anforderungen der moralischen Argumentation für endliche Agenten systematisch zu erhöhen oder zu verringern.

Methodik

Die Autoren schlagen Begrenzte Moral vor, ein formales Framework, das moralische Argumentation als eine unter situativen Anforderungen stattfindende, beschränkte Inferenz modelliert. Die Methodik gliedert sich in drei Stufen:

1. Definition des Anforderungsraums (Demand Space)

Das Framework identifiziert zwei orthogonale Dimensionen, die die computationalen Anforderungen moralischer Situationen definieren:

Moralische Breite (Moral Breadth): Der Umfang der moralischen Repräsentation. Dies erfasst, welche Entitäten, Gruppen, Zeitskalen oder Abstraktionen als moralisch relevant behandelt werden (z. B. die Einbeziehung von Out-Groups, nicht-menschlichen Tieren oder zukünftigen Generationen).
Moralische Tiefe (Moral Depth): Die inferenzielle Komplexität. Dies erfasst, wie reichhaltig, rekursiv und kohärent die repräsentierten Entitäten und deren Interaktionen durchgedacht werden (z. B. kontrafaktisches Denken, mehrstufige Deliberation oder die Integration multipler Perspektiven).

Empirische Belege aus der Entwicklungspsychologie, den Neurowissenschaften und der Entscheidungstheorie werden genutzt, um zu demonstrieren, dass diese Dimensionen zwar unterscheidbar, aber gemeinsam durch endliche kognitive Ressourcen begrenzt sind.

2. Formale Modellierung

Die Autoren formalisieren die moralische Argumentation als ein kontrolliertes dynamisches System auf einem Graphen:

Moraler Interaktionsgraph ( $G^*$ ): Ein Graph, in dem Knoten moralisch relevante Entitäten repräsentieren und Kanten direkte Einflussbeziehungen darstellen.
Grundwahrheitswert (Ground-Truth Value): Definiert als die diskontierte Summe des Wohlergehens über unendliche Trajektorien, wobei das Wohlergehen eine graphstrukturierte Funktion von Knoten- und Kantenpotenzialen ist.
Begrenzte Approximation: Endliche Agenten können die Grundwahrheit nicht berechnen. Stattdessen verwenden sie:
- Abstraktion ( $G$ ): Eine grobkörnige Projektion von $G^*$ mittels einer Aggregationsabbildung $\pi_V$ , die die Anzahl der distinkten Entitäten und Interaktionen reduziert (Breite).
- Abgeschnittener Horizont ( $H$ ): Eine Rollout-Tiefe, die angibt, wie viele Schritte der Dynamik explizit evaluiert werden (Tiefe).
Kostenmodell: Es wird ein kanonisches Kostenmodell eingeführt, bei dem die Gesamtkosten $Cost(b, H) = \alpha b + \beta b H^p$ betragen. Dies etabliert ein inverses Skalierungsgesetz: Unter einem festen Budget $B$ reduziert eine Erhöhung der repräsentativen Breite ( $b$ ) strikt die erreichbare Tiefe ( $H$ ) und umgekehrt.

3. Strategie und Regret (Reue)

Moralische Strategie: Definiert als eine Allokationsregel $\rho$ , die Weltzustände und Ressourcenbudgets auf spezifische Paare von $(G, H)$ abbildet.
Moralisches Regret (Moral Regret): Die Differenz zwischen dem Grundwahrheitswert der optimalen Intervention und dem Wert, der durch die begrenzte Strategie erreicht wurde.
Moralischer Fortschritt: Definiert nicht als Konvergenz gegen eine eindeutige moralische Wahrheit, sondern als Reduktion des erwarteten Regrets innerhalb eines festen Ressourcenbudgets (bessere Allokation) oder als Verschiebung der machbaren Frontier nach außen durch technologische oder institutionelle Veränderungen.

Zentrale Beiträge

1. Der Breiten–Tiefen-Trade-off

Das Paper etabliert eine formale Pareto-Frontier für die moralische Berechnung. Es zeigt, dass für endliche Agenten die Erweiterung des Scope moralischer Besorgnis (Breite) zwangsläufig die Tiefe der Inferenz einschränkt, und dass eine Vertiefung der Inferenz eine Verengung des Scopes erfordert. Ethische Theorien werden hierbei nicht als konkurrierende Accounts moralischer Wahrheit interpretiert, sondern als lokal effiziente Strategien, die an verschiedene Regime der Ressourcenanforderungen entlang dieser Frontier angepasst sind.

2. Reinterpretation ethischer Theorien

Das Framework bildet kanonische ethische Theorien auf spezifische Regionen des Breiten–Tiefen-Raums ab:

Akt-Utilitarismus: Hohe Breite, moderate Tiefe. Priorisiert die Repräsentation vieler Stakeholder mit einfacher additiver Aggregation.
Deontologie: Moderate Breite, moderate Tiefe. Verlässt sich auf harte Constraints, um den Suchraum zu beschneiden, was oft einen begrenzten Scope erfordert, um die Durchführbarkeit zu gewährleisten.
Kontraktualismus: Geringe Breite, hohe Tiefe. Konzentriert sich auf wenige Stakeholder, weist aber signifikante Ressourcen für tiefe Deliberation und die Analyse von Worst-Case-Einwänden auf.
Tugendethik: Minimale Breite, Null-Tiefe. Verschiebt die Berechnung „offline“ in gelernte Dispositionen (amortisierte Inferenz) und eliminiert den Online-Rollout.
Care-Ethik: Lokale Breite, moderate Tiefe. Konzentriert sich auf dichte relationale Strukturen innerhalb einer lokalen Nachbarschaft statt auf globale Enumeration.

3. Formalisierung von moralischer Uneinigkeit und Fortschritt

Uneinigkeit: Das Framework legt nahe, dass persistente moralische Uneinigkeit selbst unter Agenten entstehen kann, die dieselben Werte teilen. Uneinigkeit kann das Resultat unterschiedlicher Allokationen begrenzter Ressourcen widerspiegeln (unterschiedliche Punkte auf der Pareto-Frontier) und nicht notwendigerweise fundamentale Wertkonflikte bedeuten.
Fortschritt: Moralischer Fortschritt wird neu definiert als entweder (i) die Reduktion von Regret durch verbesserte Ressourcenallokation innerhalb fester Constraints oder (ii) die Erweiterung der machbaren Frontier durch kulturelle oder technologische Fortschritte, die die verfügbare Kapazität erhöhen.

4. Implikationen für die KI-Alignment

Das Paper argumentiert, dass sich KI-Alignment nicht allein darauf konzentrieren sollte, menschliche Urteile zu imitieren, die selbst begrenzt und potenziell suboptimal sind. Stattdessen sollte sich Alignment darauf konzentrieren, Systeme zu entwerfen, in denen die Kapazität der moralischen Argumentation mit den repräsentativen und computationalen Ressourcen skaliert. Das Ziel besteht darin, die Beziehung zwischen Ressourcen und moralischer Kapazität zu replizieren, anstatt die spezifischen Outputs begrenzter menschlicher Agenten zu kopieren.

Ergebnisse und Behauptungen

Das Paper präsentiert keine neuen experimentellen Daten oder empirische Validierungen spezifischer KI-Systeme. Stattdessen sind seine „Ergebnisse“ theoretische Ableitungen:

Inverses Skalierungsgesetz: Eine mathematische Ableitung, die zeigt, dass unter einem festen Budget die Tiefe invers mit der Breite skaliert ( $H \leq C b^{-1/p}$ ).
Regret-Minimierung: Die Definition von moralischem Fortschritt als Minimierung des erwarteten Regrets relativ zu einem unbeschränkten Ideal unter Berücksichtigung spezifischer Ressourcenbeschränkungen.
Strategie-Klassifizierung: Eine konzeptionelle Kartierung ethischer Theorien hinsichtlich ihrer strukturellen Verpflichtungen bezüglich Breite, Tiefe und Aggregation.

Bedeutung

Das Paper beansprucht, eine vereinende deskriptive Erklärung für moralische Argumentation zu liefern, die Ethik, Psychologie und KI verbindet. Seine Bedeutung liegt in:

Reframing von moralischem Scheitern: Es verschiebt die Erklärung für moralische Mängel (z. B. Rigidität, Vernachlässigung entfernter Stakeholder) von defekten Werten oder Irrationalität hin zu rationalen Allokationen begrenzter computationaler Ressourcen.
Nicht-relativistische Uneinigkeit: Es bietet eine strukturelle Erklärung für moralische Uneinigkeit, die keinen moralischen Pluralismus voraussetzt; Agenten können uneins sein, während sie dieselben Werte teilen, indem sie lediglich an unterschiedlichen machbaren Punkten der Breiten–Tiefen-Frontier operieren.
Computationaler Blickwinkel auf die Ethik: Es bietet eine minimale computationale Linse, um Erkenntnisse aus Ethik und Psychologie zu integrieren, indem es ethische Theorien als Strategien zur Bewältigung der Trade-offs behandelt, denen endliche Agenten gegenüberstehen.
Diagnostisches Werkzeug für KI: Es liefert ein technisches Vokabular, um zu analysieren, warum moralisch kompetentes Verhalten in künstlichen Systemen versagt, und deutet darauf hin, dass Alignment-Fehler eher aus Mismatchs zwischen moralischer Berechnung und Kontext resultieren als aus falschen Zielsetzungen.

Die Autoren stellen explizit klar, dass das Framework nicht für einen bestimmten moralischen Wert oder eine bestimmte ethische Theorie argumentiert. Stattdessen untersuchen sie die operationalen Beschränkungen, denen jeder endliche moralische Agent – ob Mensch oder Maschine – gegenübersteht, wenn die situativen Anforderungen Zeit, Information und computationale Kapazität übersteigen.