📈 economics

Optimal Use of Preferences in Artificial Intelligence Algorithms

Diese Arbeit stellt fest, dass die Trennung von präferenzfreiem Training und Post-Processing theoretisch optimal ist, um den Wohlfahrtsmaximierung über diverse Entscheidungsprobleme hinweg durch die Bewahrung des Informationswertes zu erreichen, obwohl die direkte Einbettung von Präferenzen in das Training überlegen sein kann, wenn Nutzer kognitiven Einschränkungen unterliegen, die eine optimale nachgelagerte Entscheidungsfindung behindern.

Ursprüngliche Autoren: Joshua S. Gans

Veröffentlicht 2026-01-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joshua S. Gans

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen intelligenten Assistenten, der Ihnen helfen soll, wichtige Entscheidungen zu treffen, wie etwa die Entscheidung über die Genehmigung eines Kredits, die Einstellung eines Kandidaten oder die Diagnose einer medizinischen Erkrankung. Die Kernfrage, die dieses Papier stellt, lautet: Wann sollten Sie der KI Ihre spezifischen Regeln und Vorlieben während des Trainings beibringen, im Gegensatz dazu, ihr nur die nackten Fakten beizubringen und Sie dann Ihre Regeln anzuwenden, nachdem sie Ihnen eine Antwort gegeben hat?

Der Autor, Joshua Gans, argumenttiert, dass es in den meisten Fällen besser ist, die KI während des Trainings „neutral“ zu halten und Ihre Vorlieben erst später anzuwenden. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien.

Die zwei Ansätze

1. Der „eingebettete“ Ansatz (Die KI mit Ihrer Voreingenommenheit trainieren)
Stellen Sie sich vor, Sie trainieren einen Koch, eine Suppe zuzubereiten. Sie sagen dem Koch: „Ich hasse Salz, also füge immer etwas mehr Pfeffer hinzu, um das auszugleichen, wann immer du die Suppe probierst.“ Sie backen Ihre spezifische Vorliebe (weniger Salz, mehr Pfeffer) direkt in das Training des Kochs ein.

Das Risiko: Der Koch hört auf zu lernen, wie die Suppe tatsächlich schmeckt. Er lernt nur, wie er „Ihre Version“ der Suppe zubereitet. Wenn Sie morgen entscheiden, dass Sie eigentlich eine salzige Suppe wollen, ist dieser Koch nutzlos, weil er nie das wahre Geschmacksprofil gelernt hat. Er hat die reine Wahrheit vergessen, um sich auf Ihre spezifische Regel zu konzentrieren.

2. Der „getrennte“ Ansatz (Die modulare Pipeline)
Trainieren Sie stattdessen den Koch darauf, ein Meister des Verkostens zu werden. Bringen Sie ihm bei, genau zu identifizieren, wie salzig, sauer oder süß die Suppe ist, ohne ihm zu sagen, was er mit dieser Information tun soll. Er liefert Ihnen einen präzisen Bericht: „Diese Suppe ist zu 80 % salzig.“

Der Vorteil: Sobald Sie diesen genauen Bericht haben, entscheiden Sie, was zu tun ist. Wenn Sie sie weniger salzig wollen, fügen Sie Wasser hinzu. Wenn Sie sie schärfer wollen, fügen Sie Pfeffer hinzu. Wenn sich Ihr Geschmack nächste Woche ändert, müssen Sie den Koch nicht neu trainieren; Sie ändern einfach Ihr Rezept.

Die zentrale Erkenntnis: Warum „Neutralität“ gewinnt

Das Papier nutzt Mathematik, um zu beweisen, dass der getrennte Ansatz fast immer besser ist. Hier ist die Logik in einfachem Englisch (Deutsch):

Der „Abflachungseffekt“
Wenn Sie eine KI dazu zwingen, Ihre spezifischen Vorlieben (wie „Fehlalarme sind schlimmer als verpasste Chancen“) während des Trainings zu lernen, verändert das die Art und Weise, wie die KI lernt. Es „flacht“ effektiv die Fähigkeit der KI ab, zwischen verschiedenen Szenarien zu unterscheiden.

Analogie: Stellen Sie sich eine Landkarte vor. Eine gute Karte zeigt klare Unterschiede zwischen einem Berg und einem Tal. Wenn Sie dem Kartografen sagen: „Mich interessieren nur Täler, ignoriere Berge“, wird der Kartograf vielleicht die Linien zwischen beiden verwischen, um die Täler prominenter erscheinen zu lassen. Plötzlich ist die Karte weniger nützlich, weil sie nicht mehr klar zwischen einem hohen Gipfel und einem niedrigen Hügel unterscheiden kann.
Das Ergebnis: Die KI wird weniger informativ. Sie liefert Ihnen ein „verwaschenes“ Signal. Sobald die KI diese Klarheit verloren hat, können Sie sie später nicht mehr zurückgewinnen, egal wie intelligent Ihre Entscheidungsregeln sind.

Der „Optionswert“
Indem Sie die KI neutral halten (sie darauf trainieren, die möglichst genaue Wahrscheinlichkeit anzugeben), bewahren Sie den Optionswert. Sie halten alle Ihre Möglichkeiten offen. Sie können dieselbe KI heute für eine strenge Sicherheitsrichtlinie und morgen für eine lockere Effizienzrichtlinie verwenden. Wenn Sie die strenge Richtlinie in die KI einbacken, verlieren Sie die Fähigkeit, später nachsichtig zu sein, ohne das gesamte System neu zu trainieren.

Wann gewinnt der „eingebettete“ Ansatz?

Das Papier räumt ein, dass es eine spezifische Situation gibt, in der es besser ist, Ihre Vorlieben in die KI einzubacken: Wenn der Nutzer müde, verwirrt oder überfordert ist.

Die Analogie: Stellen Sie sich vor, Sie sind ein Arzt. Die KI liefert Ihnen einen komplexen, 50-seitigen Bericht mit Wahrscheinlichkeiten für jede mögliche Krankheit. Sie sind erschöpft und haben nur 5 Minuten Zeit für den nächsten Patienten. Das Lesen und Interpretieren dieses komplexen Berichts ist zu schwierig (kognitiv zu aufwendig).
Die Lösung: In diesem Fall ist es besser, wenn die KI die harte Arbeit für Sie erledigt. Sie trainieren die KI darauf, zu sagen: „Geben Sie diesem Patienten das Antibiotikum“, anstatt zu sagen: „Es besteht eine 72-prozentige Chance auf eine Infektion.“ Die KI komprimiert die Information in eine einfache Handlung und spart so Ihre geistige Kapazität.
Der Kompromiss: Sie verlieren etwas Präzision (die KI ist vielleicht etwas weniger genau), aber Sie gewinnen an Geschwindigkeit und Einfachheit. Wenn der Nutzer die komplexen Daten nicht verarbeiten kann, gewinnt der „eingebettete“ Ansatz.

Realweltliche Beispiele, die im Papier erwähnt werden

Das Papier wendet diese Ideen auf zwei Hauptbereiche an:

Standardisierte KI-Pipelines (wie Einstellung oder Kreditvergabe):
- Rat: Trainieren Sie die KI zu einem perfekten „Rechner“ von Wahrscheinlichkeiten (z. B. „Dieser Bewerber hat eine 65-prozentige Erfolgschance“). Trainieren Sie sie nicht darauf, zu entscheiden, wer eingestellt wird. Lassen Sie einen Menschen oder eine separate Regel entscheiden, wer basierend auf diesen 65 % eingestellt wird. Dies ermöglicht es Ihnen, die Einstellungsregeln zu ändern, ohne die KI neu zu trainieren.
Große Sprachmodelle (wie Chatbots):
- Das Problem: Wir verwenden oft eine Technik namens RLHF (Reinforcement Learning from Human Feedback), um der KI beizubringen, was „hilfreich“ oder „harmlos“ ist. Dies ist so, als würde man die Regel „hilfreich“ direkt in das Gehirn der KI einbacken.
- Die Warnung: Wenn wir heute eine spezifische Definition von „hilfreich“ einbacken, könnte die KI morgen schlecht darin werden, „harmlos“ oder „wahrheitsgemäß“ zu sein, falls sich diese Prioritäten verschieben. Es ist, als würde man einen Koch darauf trainieren, nur scharfes Essen zu machen; er wird scheitern, wenn man ihn nach einer milden Speise fragt.
- Die Lösung: Das Papier schlägt vor, das Basiswissen der KI breit und neutral zu halten und „Post-Processing“ (wie Filter oder Regeln) zu verwenden, um zu entscheiden, was dem Nutzer gezeigt wird. Dies hält die KI flexibel.

Das Fazenzit

Die goldene Regel:
Es sei denn, Ihre Nutzer sind zu überfordert, um komplexe Daten zu verstehen, backen Sie Ihre Vorlieben nicht in das Training ein.

Trainieren Sie die KI darauf, die Wahrheit zu sagen (genaue Wahrscheinlichkeiten zu liefern).
Lassen Sie die Menschen (oder einfache Regeln) entscheiden, was mit dieser Wahrheit zu tun ist.

Dies hält Ihre KI flexibel, präzise und bereit für alle Regeln oder Ziele, die Sie in der Zukunft haben könnten. „Backen“ Sie die Vorlieben nur dann ein, wenn Sie die Entscheidung für einen müden oder verwirrten Nutzer unbedingt vereinfachen müssen.

Technisches Resümee: Optimaler Einsatz von Präferenzen in Algorithmen der Künstlichen Intelligenz

1. Problemstellung

Das Paper adressiert eine grundlegende architektonische Entscheidung bei der Bereitstellung von Systemen der Künstlichen Intelligenz (KI): Wo sollten nachgelagerte Präferenzen (z. B. asymmetrische Kosten, Sicherheitsprioritäten oder Nutzen-Gewichtungen) angewendet werden?

Die Wahl liegt zwischen zwei Pipelines:

Präferenz-Einbettung (Preference Embedding): Das Training des Algorithmus erfolgt direkt mit einer Verlustfunktion, die spezifische Präferenzen kodiert (z. B. klassengewichtete Kreuzentropie). Das Modell lernt, ein Signal auszugegeben, das für eine bestimmte Entscheidungsregel optimiert ist.
Trennung (Post-Processing): Der Algorithmus wird mit einem „präferenzfreien“ Zielobjekt trainiert, um kalibrierte Wahrscheinlichkeiten (die zugrunde liegende Wahrheit) zu erlernen, und die Präferenzen werden ex post durch eine Entscheidungsregel (z. B. Schwellenwertbildung) angewendet.

Während die klassische Entscheidungstheorie nahelegt, dass Präferenzen in der Verlustfunktion enthalten sein sollten, um Prognosen zu ranken, argumentiert dieses Paper, dass die Einbettung von Präferenzen, wenn das Lernen endogen ist (d. h. die Verlustfunktion bestimmt, was der Algorithmus lernt), den Prozess der Informationsakquisition verzerren kann. Das Paper untersucht, ob die Trennung des Lernens von Überzeugungen (Beliefs) von der Anwendung von Präferenzen eine überlegene Wohlfahrt über eine breite Klasse von Entscheidungsproblemen hinweg liefert.

2. Methodik und Rahmenwerk

2.1 Informationsdesign und konvexe Ordnung

Das Paper modelliert das Training als eine endogene Wahl einer Informationsstruktur, basierend auf Bayesianischer Persuasion und Informationsdesign (Kamenica und Gentzkow, 2011).

Repräsentation: Ein trainierter Prädiktor wird durch die Verteilung der posterioren Überzeugungen $Q$ repräsentiert, die er über einen binären Zustand $Y \in \{0, 1\}$ induziert.
Konvexe Ordnung: Das Paper nutzt die konvexe Ordnung ( $\succeq_{cx}$ ), um Informationsstrukturen zu vergleichen. Eine Verteilung $Q$ ist informativer als $Q'$ , wenn $Q$ eine Mittelwert-erhaltende Streuung (mean-preserving spread) von $Q'$ ist (d. h. $Q'$ ist eine Mittelwert-erhaltende Kontraktion von $Q$ ).
Wohlfahrts-Link: Gemäß Lemma 1 ist die indirekte Wertfunktion $V(q)$ eines beliebigen erwarteten Nutzen-Entscheidungsproblems konvex in der Überzeugung $q$ . Folglich stellt Lemma 2 fest, dass informativere Posteriore (in der konvexen Ordnung) jedes unerheblich weniger informative Posteriore für jedes erwartete Nutzen-Entscheidungsproblem schwach dominieren.

2.2 Lernen mit Reibungsverlusten (Frictions)

Das Modell behandelt das Training als einen Trade-off zwischen der Reduktion des erwarteten Bayes-Risikos und dem Auftreten von Lern-Reibungsverlusten ( $C(Q)$ ).

Annahme 1: Der trainierte Algorithmus wählt eine posteriore Verteilung $Q$ , um $E[H(Q)] + C(Q)$ zu minimieren, wobei $H$ das Bayes-Risiko der Verlustfunktion ist und $C$ Reibungsverluste darstellt (z. B. Regularisierung, Kapazitätsgrenzen, Optimierungskosten).
Annahme 2 (Monotone Reibungsverluste): Lern-Reibungsverluste sind monoton in der konvexen Ordnung; informativere Signale sind schwach gesehen kostspieliger zu erzeugen.
Annahme 3 (Abnehmender Informationswert): Dies ist das zentrale Primitiv. Es postuliert, dass die Einbettung von Präferenzen (Erhöhung eines Präferenzindex $t$ ) den Grenzwert zusätzlicher Informativität reduziert. Formal ist die Zunahme des Bayes-Risikos zwischen einer präferenz-eingebetteten Verlustfunktion und einer präferenzfreien Verlustfunktion eine konvexe Funktion der Überzeugung. Dies impliziert, dass die Einbettung von Präferenzen die Lernanreize „abflacht“, was die Reduktion des Bayes-Risikos weniger sensitiv gegenüber einer erhöhten Dispersion der Überzeugungen macht.

2.3 Entscheidungsphasen-Reibungsverluste (Rationale Unaufmerksamkeit)

Um Fälle zu adressieren, in denen eine Trennung scheitern könnte, führt das Paper einen Reibungsverlust in der Entscheidungsphase ein, der auf Rationaler Unaufmerksamkeit basiert (Sims, 2003).

Annahme 5: Nutzer stehen vor kognitiven Kosten, die proportional zur verarbeiteten gegenseitigen Information sind. Wenn ein Nutzer nicht kostenlos ein Signal umgestalten oder verrauschen kann (ein „begrenztes Menü“), bevorzugt er möglicherweise ein weniger informatives, aber kognitiv günstigeres Signal (präferenz-eingebettet) gegenüber einem hochgradig informativen, aber kognitiv anspruchsvollen Signal (präferenzfrei).

3. Kernergebnisse

3.1 Das Kontraktionsresultat (Theorem 1)

Unter den Annahmen 1, 3 und 4 (Vergleichbarkeit optimaler Posteriore) beweist das Paper, dass die Einbettung von Präferenzen eine Mittelwert-erhaltende Kontraktion der gelernten posterioren Verteilung induziert.

Wenn $t_1 > t_0$ (wobei $t$ den Grad der Präferenz-Einbettung indiziert), dominiert das optimale Posterior $Q_{t_0}$ (präferenzfrei) das $Q_{t_1}$ (präferenz-eingebettet) in der konvexen Ordnung.
Mechanismus: Die Einbettung von Präferenzen reduziert die Krümmung des Bayes-Risikos und senkt so den Grenznutzen der Erzeugung disperser (informativerer) Posteriore. Angesichts fester Lern-Reibungsverluste reagiert der Optimierer, indem er ein weniger disperses (weniger informatives) Signal wählt.

3.2 Das robuste Separationsprinzip (Theorem 2)

Da der indirekte Nutzen konvex in den Überzeugungen ist, impliziert das Kontraktionsresultat eine robuste Wohlfahrtsdominanz:

Ergebnis: Für jedes erwartete Nutzen-Entscheidungsproblem dominiert das Training mit einer präferenzfreien, streng geeigneten Scoring-Regel (strictly proper scoring rule) und die ex post Anwendung von Präferenzen die Verwendung einer präferenz-eingebetteten Verlustfunktion schwach.
Implikation: Dies bietet eine entscheidungsproblem-agnostische Grundlage für modulare KI-Pipelines. Die Trennung bewahrt den „Optionswert“ der Information und ermöglicht es demselben Prädiktor, vielfältige, sich ändernde oder umstrittene nachgelagerte Ziele zu bedienen.

3.3 Wahl zwischen präferenzfreien Verlustfunktionen (Proposition 4)

Das Paper klärt, dass „präferenzfrei“ nicht eine eindeutige Verlustfunktion impliziert. Unter den streng geeigneten Scoring-Regeln etabliert das Paper eine Krümmungsordnung:

Eine Verlustfunktion mit einem stärker konkaven Bayes-Risiko (z. B. Log-Loss gegenüber Brier-Loss, unter spezifischen Normalisierungen) induziert informativere Posteriore und dominiert schwach für alle Entscheidungsprobleme, sofern der Lern-Reibungsverlust konstant gehalten wird.

3.4 Wann Einbettung überlegen ist (Theorem 3)

Das Paper identifiziert Bedingungen, unter denen die Einbettung von Präferenzen optimal ist, insbesondere wenn Reibungsverluste in der Entscheidungsphase bindend sind.

Reversalsbedingung: Wenn die kognitiven Kosten der Verarbeitung eines reichhaltigen probabilistischen Signals hoch sind (hohes $\lambda_{cog}$ ) und der Informationsverlust durch Einbettung ( $\Delta I$ ) gering im Verhältnis zur Ersparnis an Aufmerksamkeit ( $\Delta MI$ ) ist, kann die Einbettung von Präferenzen upstream die Wohlfahrt verbessern.
Interpretation: Die Einbettung fungiert als eine Form der Informationskompression, die die kognitive Belastung des Nutzers reduziert, was die Bevorzugung von einfachen Heuristiken gegenüber komplexen Wahrscheinlichkeiten rationalisiert.

3.5 Anwendung auf RLHF (Theoreme 4, 5 und Proposition 6)

Das Framework wird auf Reinforcement Learning from Human Feedback (RLHF) bei Large Language Models (LLMs) angewendet:

RLHF als Einbettung: RLHF wird als exponentielle Verschiebung (tilting) der Output-Verteilung des Generators in Richtung eines spezifischen Reward-Skalarisierungs-Wertes interpretiert.
Feste Zielsetzungen (Theorem 4): Wenn das Deployment-Ziel stabil ist und mit dem Reward übereinstimmt, verbessert RLHF die Wohlfahrt, indem es das mittlere Akzeptanzniveau verschiebt (First-Order Stochastic Dominance).
Zielunsicherheit (Theorem 5): Wenn Zielsetzungen variieren (z. B. unterschiedliche Nutzer, sich ändernde Sicherheitsrichtlinien), stellt die Einbettung einer einzelnen Skalarisierung eine „Kapazitätssteuer“ (capability tax) dar. Der Generator wird auf das Trainingsziel spezialisiert und verliert die Flexibilität (den Optionswert) für alternative Zielsetzungen.
Misspezifikation des Rewards (Proposition 6): Aggressive Optimierung (kleines $\lambda$ ) in Gegenwart misspezifizierter Rewards verstärkt das Gesetz von Goodhart, indem sie den Generator zu spuriösen Merkmalen treibt, die zwar mit dem Proxy-Reward korrelieren, aber nicht mit der tatsächlichen Qualität.

4. Bedeutung und Ansprüche

Das Paper beansprucht, die theoretischen Grundlagen für modulares KI-Design zu liefern, indem es zwei konkurrierende Intuitionen der Machine-Learning-Praxis versöhnt:

Kosten-sensitives Lernen: Die Praxis, Verluste zu gewichten, um asymmetrische Fehler zu handhaben.
Kalibrierung und Schwellenwertbildung: Die Praxis, Wahrscheinlichkeiten zu lernen und Schwellenwerte später anzuwenden.

Zentrale Beiträge:

Entscheidungsproblem-Agnostik: Im Gegensatz zu bisherigen Arbeiten, die spezifische nachgelagerte Zielsetzungen erfordern, gelten die Wohlfahrtsergebnisse einheitlich für jedes erwartete Nutzen-Entscheidungsproblem.
Endogenes Lernen: Das Paper geht über die statische Sichtweise von Verlustfunktionen (bei denen der Verlust nur das Ranking beeinflusst) hinaus und zeigt, dass Verlustfunktionen die akquirierte Information des Modells fundamental verändern.
Design-Leitlinien:
- Bewahren von Optionalität: Wenn Zielsetzungen unsicher, umstritten oder im Wandel sind, ist die Trennung (Lernen kalibrierter Wahrscheinlichkeiten, dann Post-Processing) optimal.
- Präferenzen einbetten: Wenn Reibungsverluste in der Entscheidungsphase (kognitive Einschränkungen, Unfähigkeit zur Implementierung komplexer Regeln) dominieren, kann die Einbettung von Präferenzen die Wohlfahrt verbessern, indem sie die Berechnung von Schwellenwerten automatisiert und die kognitive Last reduziert.
- Fairness und Sicherheit: Die Ergebnisse bieten eine ökonomische Begründung dafür, einen „präferenzfreien“ prädiktiven Kern für Fairness und Sicherheit beizubehalten und Beschränkungen über transparente Post-Processing-Layer zu implementieren, die auditiert und aktualisiert werden können, ohne das Kernmodell neu trainieren zu müssen.

Das Paper schließt mit der Feststellung, dass das optimale Design die Arbeitsteilung maximiert: Bauen Sie allgemeine Fähigkeiten auf, die Information bewahren, und wenden Sie Urteilskraft zum Zeitpunkt der Entscheidung an, es sei denn, die Reibungsverluste in der Implementierung machen eine Trennung unpraktikabel.