📈 economics

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Dieses Paper führt einen methodischen Rahmen zur Messung der Sensitivität eines Agenten gegenüber der Maximierung des subjektiven erwarteten Nutzens (SEU) unter Verwendung eines Softmax-Wahlmodells ein, etabliert Identifizierbarkeitsergebnisse sowie Limitationen bei endlichen Stichproben durch rigorose bayessche Validierung und demonstriert den praktischen Nutzen des Ansatzes bei der Detektion strukturierter Entscheidungsunterschiede zwischen großen Sprachmodellen bei Versicherungs- und Urnenwahl-Aufgaben.

Ursprüngliche Autoren: Jeff Helzner

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jeff Helzner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Mathearbeit eines Schülers zu bewerten, aber Sie haben keinen Lösungsschlüssel. Sie können nicht einfach nur prüfen, ob er die richtige Zahl erhalten hat; Sie müssen untersuchen, wie er gedacht hat. Hat er den Regeln der Logik gefolgt oder hat er nur geraten? Diese Arbeit entwickelt einen speziellen „Logik-Detektor“, um genau das zu messen, aber anstatt eines menschlichen Schülers testet sie riesige KI-Gehirne (wie GPT-4o und Claude) und sogar menschliche Entscheidungsträger.

Das Problem: Der fehlende Lösungsschlüssel

Normalerweise schauen wir darauf, ob ein Ergebnis „gut“ ist, um zu sehen, ob eine Entscheidung sinnvoll war. Hat die Wette Früchte getragen? Wurde der Versicherungsanspruch bewilligt? Aber die Autoren sagen, das ist eine Falle. Ein gutes Ergebnis kann durch Glück zustande gekommen sein, und ein schlechtes Ergebnis kann eintreten, selbst wenn man eine perfekte Wahl getroffen hat. Es ist wie beim Münzwurf: Wenn man auf „Kopf“ tippt und es landet auf „Kopf“, hatte man Glück, war aber nicht zwangsläufig klug.

Die Autoren fragen also: Können wir den Prozess beurteilen, ohne das Ergebnis zu kennen? Sie sagen ja, indem sie nach Konsistenz suchen. Wenn ein Akteur (ein Mensch oder eine KI) behauptet, den Regeln der „subjektiven Erwartungsnutzen-Theorie“ (ein schicker Name für: „Ich wähle die Option mit dem besten durchschnittlichen Ertrag basierend auf meinen Überzeugungen“) zu folgen, sollten seine Entscheidungen in einem bestimmten, vorhersehbaren Muster zusammenfallen.

Das Werkzeug: Der „Sensitivitätsregler“

Um dies zu messen, erfanden die Autoren einen Regler namens $\alpha$ (Alpha). Denken Sie an ihn als einen „Logik-Sensitivitätsknopf“.

Regler ganz nach unten gedreht ( $\alpha = 0$ ): Der Akteur ist völlig zufällig. Er wählt Optionen wie ein Kleinkind, das ein Rad dreht. Er kümmert sich überhaupt nicht um die Mathematik.
Regler ganz nach oben gedreht ( $\alpha = \infty$ ): Der Akteur ist ein perfekter Roboter. Er wählt immer die mathematisch beste Option, jedes einzelne Mal.
Regler in der Mitte: Hier lebt das echte Leben (und echte KI). Sie versuchen, logisch zu sein, aber manchmal werden sie abgelenkt, verwirrt oder machen einfach einen Fehler.

Die Hauptaufgabe der Arbeit bestand darin, eine Maschine zu bauen, die diesen Knopf drehen und die Zahl genau ablesen kann, selbst wenn wir nicht wissen, was der Akteur tatsächlich glaubt oder will.

Die große Überraschung: Der „blinde Fleck“

Hier wird die Arbeit wirklich interessant. Die Autoren versuchten herauszufinden, ob sie auch gleichzeitig die Überzeugungen des Akteurs (was er glaubt, was passieren wird) und seine Werte (wie sehr er das Ergebnis mag) messen können.

Sie führten Tausende von Computersimulationen durch, um dies zu testen. Das Ergebnis? Die Maschine funktioniert großartig für den „Logik-Knopf“ ( $\alpha$ ), stößt aber bei den Überzeugungen und Werten an eine Wand.

Stellen Sie sich vor, Sie versuchen herauszufinden, wie viel Zucker im Vergleich zu Mehl ein Bäcker liebt, nur indem Sie ihm beim Backen eines Kuchens zusehen. Wenn er immer einen Kuchen backt, der perfekt schmeckt, wissen Sie, dass er ein guter Bäcker ist (hohe Sensitivität). Aber Sie können nicht sagen, ob er viel Zucker und wenig Mehl verwendet hat oder wenig Zucker und viel Mehl, weil beide Kombinationen denselben Kuchen ergeben.

Die Arbeit beweist, dass die Daten bei bloßen „unsicheren Entscheidungen“ (wo die Gewinnchancen nicht klar sind) wie dieser Kuchen sind. Man kann den Logik-Knopf perfekt messen, aber die Einstellungen für Überzeugung und Wert stecken in einem „Nebel“. Sie sind so stark vermischt, dass der Computer sie nicht voneinander unterscheiden kann, selbst mit einer großen Menge an Daten. Die Arbeit schließt explizit die Idee aus, dass wir diese drei Dinge einfach durch das Beobachten von Menschen bei Entscheidungen unter Unsicherheit trennen können.

Das „Risiko“-Experiment

Die Autoren fragten sich: „Was wäre, wenn wir dem Akteur einige Entscheidungen geben, bei denen die Quoten klar sind (wie bei einer bekannten Lotterie)? Vielleicht klärt das den Nebel auf?“

Sie bauten ein zweites Modell, um dies zu testen.

Die Theorie: Ja, in einer perfellen, unendlichen Welt sollte das Wissen um die klaren Quoten uns erlauben, die Werte zu bestimmen.
Die Realität (Simuliert): In der realen Welt mit realistischen Datenmengen half das Hinzufügen dieser klaren Entscheidungen kaum. Es war, als versuche man, ein unscharfes Foto zu korrigieren, indem man ein einziges, winziges, scharfes Pixel hinzufügt. Die Verbesserung betrug weniger als 1 %. Die Arbeit zeigt, dass es viel wichtiger ist, mehr Daten zu haben, als andere Arten von Daten zu haben.

Die KI-Gehirne testen

Schließlich nahmen sie ihren „Logik-Detektor“ und testeten zwei berühmte KI-Modelle: GPT-4o und Claude 3.5 Sonnet. Sie ließen sie Entscheidungen in zwei Szenarien treffen:

Versicherungsansprüche: Die Entscheidung, welche Versicherungsansprüche untersucht werden sollen.
Urnen-Glücksspiele: Die Wahl zwischen Gläsern mit bunten Kugeln (einige Gläser haben bekannte Mischungen, andere mysteriöse Mischungen).

Sie erhöhten auch die „Temperatur“ der KI (eine Einstellung, die die KI zufälliger oder kreativer macht).

Das fanden sie heraus:

GPT-4o: Als sie die KI zufälliger machten (höhere Temperatur), drehte sich ihr „Logik-Knopf“ ( $\alpha$ ) konsistent nach unten. Sie wurde weniger logisch und mehr zufällig, genau wie die Mathematik es vorhersagte. Dies geschah sowohl bei den Versicherungs- als auch bei den Urnen-Aufgaben.
Claude: Als sie dasselbe bei Claude taten, bewegte sich der „Logik-Knopf“ nicht in einem klaren Muster. Er schwankte auf und ab.

Das Urteil: Die Arbeit ist vorsichtig darauf zu achten, nicht zu sagen: „GPT-4o ist klüger.“ Stattdessen sagt sie: „Die Konsistenz der Logik von GPT-4o sinkt vorhersehbar, wenn wir es zufälliger machen, aber wir konnten dasselbe Muster bei Claude nicht erkennen.“ Sie warnen jedoch auch, dass der Test für Claude vielleicht zu unscharf war, um die Antwort zu sehen. Es ist, als versuche man, ein Flüstern in einem lauten Raum zu hören; wenn man es nicht hört, ist es entweder lautlos oder es ist einfach zu leise für die eigenen Ohren. Die Arbeit schließt explizit die Idee aus, dass sie bewiesen haben, Claude sei „unlogisch“; sie konnten lediglich nicht beweisen, dass Claude „logisch“ sei.

Das Fazit

Diese Arbeit liefert uns eine neue, rigorose Methode, um zu messen, wie sehr ein Akteur (Mensch oder Maschine) sich an die Regeln rationaler Entscheidungsfindung hält.

Es funktioniert: Wir können die „Logik-Sensitivität“ ( $\alpha$ ) sehr präzise messen.
Es hat Grenzen: Wir können nicht einfach zwischen dem, was ein Akteur glaubt, und dem, was er wertschätzt, unterscheiden, es sei denn, wir verfügen über massive Mengen an sehr spezifischen Daten.
Es ist ehrlich: Die Arbeit weigert sich zu behaupten, sie habe das Rätsel der KI-Rationalität gelöst. Sie sagt nur: „Hier ist ein Werkzeug, das funktioniert, hier ist, was es sehen kann, und hier ist, wo es blind wird.“

Die Autoren haben keinen magischen Schalter gefunden, um KI perfekt rational zu machen, aber sie haben ein sehr gutes Lineal gebaut, um zu messen, wie nah sie herankommt. Und manchmal ist das Wissen darüber, wie viel man genau nicht weiß, die nützlichste Entdeckung von allen.

Technisches Resümee: Sensitivität gegenüber der Maximierung des subjektiven erwarteten Nutzens

Problemstellung
Die Bewertung der Qualität von Entscheidungen unter Unsicherheit ist notorisch schwierig, wenn gelabelte Ergebnisse (Outcomes) spärlich, kostspielig oder durch Glück beeinflusst sind. Die traditionelle „label-basierte“ Bewertung stützt sich auf einen externen Schlüssel korrekter Entscheidungen oder realisierter Ergebnisse. Solche Schlüssel sind jedoch oft unpraktisch zu konstruieren (z. B. bei der Versicherungs-Triage oder in neuartigen Domänen) und stellen als Maß für die Entscheidungsqualität grundlegend fehlerhaft dar, da ein gutes Ergebnis keine Garantie für eine gute Entscheidung ist (Ergebnisse hängen vom Zufall ab, nicht nur vom Entscheidungsprozess).

Dieses Paper schlägt ein „konsistenzbasiertes“ Evaluierungs-Framework vor. Anstatt zu fragen, ob ein Agent die „richtige“ Option gewählt hat, wird gefragt, ob die Entscheidungen des Agenten mit einem festgelegten Rationalitätsstandard konsistent sind: der Maximierung des subjektiven erwarteten Nutzens (Subjective Expected Utility, SEU). Das Ziel besteht darin, den Grad dieser „Sensitivität“ zu messen – also wie genau die Entscheidungen des Agenten das SEU-Ranking verfolgen – und diese Sensitivität von dem spezifischen Inhalt seiner Überzeugungen und Nutzen sowie von den tatsächlich realisierten Ergebnissen zu trennen.

Methodik
Das Paper entwickelt eine methodische Pipeline, die auf einem Softmax-Wahlmodell basiert, das auf SEU-wertigen Alternativen angewendet wird.

Das Modell: Das Kernstück ist eine Luce–McFadden Softmax-Regel, bei der die Wahrscheinlichkeit, eine Alternative $r$ zu wählen, proportional zu $\exp(\alpha V(r))$ ist. Hierbei ist $V(r)$ der erwartete Nutzen der Alternative und $\alpha \ge 0$ ein Skalar namens Sensitivitätsparameter.
- $\alpha = 0$ : Gleichmäßige Zufallswahl (unempfindlich gegenüber dem Nutzen).
- $\alpha \to \infty$ : Deterministische SEU-Maximierung (perfekt sensitiv).
- Intermediäres $\alpha$ : Ein abgestuftes Maß dafür, wie eng die Entscheidungen dem erwarteten Nutzen folgen.
Parametrisierung:
- Überzeugungen ( $\beta$ ): Subjektive Wahrscheinlichkeiten werden via einer linearen Softmax-Abbildung von Feature-Vektoren generiert.
- Nutzen ( $\delta$ ): Nutzen werden aus geordneten Inkrementen mit festen Endpunkten ($0$ und $1$) konstruiert, um die affine Unbestimmtheit aufzulösen.
- Sensitivität ( $\alpha$ ): Die primäre Zielgröße, welche die Neigung des Agenten repräsentiert, seinen Verpflichtungen nachzukommen.
Zwei Modelle:
- Modell $m_0$ (Nur unsichere Entscheidungen): Agenten wählen zwischen Alternativen mit subjektiven Wahrscheinlichkeiten.
- Modell $m_1$ (Erweitert um riskante Entscheidungen): Agenten wählen zusätzlich zwischen Alternativen mit objektiven Wahrscheinlichkeiten (Lotterien). Dies ermöglicht eine „risikofreie“ Identifizierung der Nutzen ( $\delta$ ), da objektive Lotterien nicht von dem Überzeugungs-Parameter $\beta$ abhängen.
Komputative Validierung: Die Autoren implementieren diese Modelle in Stan und validieren sie mittels eines rigorosen Bayes’schen Workflows:
- Prior-Prädiktiv-Checks: Sicherstellung, dass die Priors einen vernünftigen Bereich von Verhaltensweisen zulassen.
- Parameter-Recovery: Simulation von Daten aus bekannten Parametern, um zu testen, ob das Modell diese Parameter rekonstruieren kann.
- Simulation-Based Calibration (SBC): Verifizierung, dass die Posterior-Verteilungen kalibriert sind (die Ränge der wahren Parameter sind gleichverteilt).

Wesentliche Beiträge und Befunde

1. Die Lücke zwischen Identifizierbarkeit und Schätzbarkeit
Das Paper liefert eine formale Identifizierbarkeit-Analyse, die eine kritische Unterscheidung zwischen theoretischer Identifizierbarkeit und praktischer Schätzbarkeit bei realistischen Stichprobengrößen aufzeigt.

Für $\alpha$ (Sensitivität): $\alpha$ ist aus dem erwarteten Nutzenvektor $\eta$ identifizierbar (vorausgesetzt, die Werte sind nicht konstant). In der Praxis wird $\alpha$ mit hoher Präzision und geringem Bias rekonstruiert, selbst wenn andere Parameter schlecht identifizierbar sind.
Für $\delta$ (Nutzen): Im Modell der rein unsicheren Entscheidungen ( $m_0$ ) werden Überzeugungen ( $\beta$ ) und Nutzen ( $\delta$ ) nur schwach informiert durch die Daten; sie stehen in einem Trade-off zueinander, was zu breiten, korrelierten Posteriors führt.
Die Einschränkung des erweiterten Modells ( $m_1$ ): Obwohl das Hinzufügen von riskanten Entscheidungen die Nutzen ( $\delta$ ) theoretisch identifiziert (indem die $\beta$ - $\delta$ -Kopplung aufgebrochen wird), stellt das Paper fest, dass diese theoretische Identifizierbarkeit bei realistischen Stichprobengrößen zu vernachlässigbarem praktischem Gewinn führt. Die Reduktion der Konfidenzintervall-Breite für $\delta$ liegt bei unter 1 %, und der RMSE bleibt unverändert.
Für die Präzision von $\alpha$ : Entgegen der Intuition, dass „bessere“ Datentypen (riskant vs. unsicher) die Präzision verbessern, zeigt die Studie, dass die Finite-Sample-Präzision von $\alpha$ durch die Datenmenge getrieben wird, nicht durch den Entscheidungstyp. Die Verdopplung der Anzahl unsicherer Entscheidungen schärft die Schätzungen von $\alpha$ signifikant, während der Austausch gegen eine gleiche Anzahl riskanter Entscheidungen keinen detektierbaren Präzisionsgewinn liefert.

2. Die marginale SBC-Demarkation
Die Autoren führen eine entscheidende diagnostische Erkenntnis ein: Marginale SBC-Ergebnisse implizieren keine gemeinsame (joint) Posterior-Kalibrierung.

Standardmäßige SBC-Checks (Rang-Gleichverteilung) wurden für alle Parameter ( $\alpha, \beta, \delta$ ) in beiden Modellen bestanden.
Dennoch blieb der gemeinsame Posterior für $(\beta, \delta)$ schwach kontrahiert und hoch korreliert (schwach informiert).
Fazit: Ein Modell kann marginal perfekt kalibriert sein (jeder Parameter sieht isoliert betrachtet korrekt aus), während die gemeinsame Verteilung dennoch unaufgelöst bleibt. Die marginale SBC ist blind gegenüber schwacher gemeinsamer Informationskraft.

3. Illustrative Anwendung auf LLMs
Das Framework wurde end-to-end auf Entscheidungsdaten von GPT-4o und Claude 3.5 Sonnet angewendet, unter Verwendung von zwei Aufgaben: Versicherungsansprüche-Triage und Ellsberg-artige Urnen-Gambles.

Workflow: Die Pipeline konnte $\alpha$ für reale LLM-Entscheidungen erfolgreich rekonstruieren, wobei Diagnosen die Modelladäquanz bestätigten (mit Ausnahme der erwarteten schwachen Inferenz auf Störparameter $\beta, \delta$ ).
Ergebnisse:
- GPT-4o: Zeigte einen strukturierten, monotonen Rückgang der Sensitivität ( $\alpha$ ) mit steigender Sampling-Temperatur in beiden Aufgaben. Dieser Effekt war statistisch robust ( $P(\text{Steigung} < 0) \approx 0.99$ ).
- Claude 3.5: Zeigte kein monotones Muster in keiner der beiden Aufgaben.
- Wichtiger Vorbehalt: Das Paper stellt explizit klar, dass das Ausbleiben eines Musters bei Claude ein inkonklusiver Nullbefund ist und nicht der Beweis für die Abwesenheit eines Effekts. Die Auflösung der Studie (minimal detektierbarer Effekt) war nicht ausreichend, um einen Effekt in der Größenordnung von GPT-4o bei Claude auszuschließen. Das Instrument „lehnt es ab, einen Effekt zu stützen“, anstatt dessen Abwesenheit zu zertifizieren.
Interpretation: Die Ergebnisse stützen eine innerhalb des Designs getroffene Vergleichsaussage (GPT-4o ist sensitiver gegenüber SEU als Claude unter diesen spezifischen Bedingungen), stützen jedoch keine absoluten Behauptungen darüber, welches Modell im kontextfreien Sinne „rationaler“ ist.

Bedeutung und Umfang
Das Paper positioniert sich als methodischer Beitrag und nicht als substanzieller Durchbruch in der LLM-Verhaltensforschung oder Entscheidungstheorie.

Konzeptionell: Es bietet eine fundierte Explikation der „Sensitivität gegenüber der SEU-Maximierung“ als abgestufte, messbare Disposition, die sich von Überzeugungen, Nutzen und Ergebnissen unterscheidet.
Methodisch: Es demonstriert, dass eine Identifizierbarkeitsanalyse zwar notwendig, aber nicht hinreichend für das Design von Experimenten ist; die Präzision in endlichen Stichproben hängt von der Datenmenge und den Designspezifika ab, nicht nur von der theoretischen Identifizierbarkeit. Zudem klärt es die Grenzen der marginalen SBC bei der Diagnose der gemeinsamen Posterior-Geometrie auf.
Limitierungen: Das Paper vermeidet explizit normative Fragen (z. B. ob SEU der korrekte Standard ist) oder Tests auf Ambiguitätsaversion (das Modell absorbiert Ambiguität in die Überzeugungen oder das Rauschen). Es beansprucht nicht, „Rationalität“ in einem absoluten Sinne zu messen, sondern lediglich die Übereinstimmung mit einem genannten Standard innerhalb eines spezifischen Designs.

Zusammenfassend bietet das Paper ein transparentes, wiederverwendbares Framework zur Bewertung von Entscheidungsträgern gegenüber einem Rationalitätsstandard, validiert das Messinstrument rigoros und berichtet dabei explizit über seine Einschränkungen hinsichtlich der Stichprobengröße und der Auflösungsgrenzen.