💬 NLP

Would a Large Language Model Pay Extra for a View? Inferring Willingness to Pay from Subjective Choices

Diese Arbeit untersucht die Fähigkeit von Large Language Models, die subjektive Zahlungsbereitschaft in Reiseszenarien abzuleiten, wobei sie aufzeigt, dass diese zwar aussagekräftige Bewertungen ableiten können, jedoch systematisch menschliche Präferenzen überschätzen und auf Attributebene abweichende Ergebnisse zeigen, die durch Persona-basiertes Prompting und die Konditionierung auf vorangegangene Nutzerentscheidungen gemildert werden können.

Ursprüngliche Autoren: Manon Reusens, Sofie Goethals, Toon Calders, David Martens

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manon Reusens, Sofie Goethals, Toon Calders, David Martens

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut belesenen digitalen Assistenten. Sie bitten ihn, ein Hotelzimmer für Sie zu buchen, aber Sie nennen ihm weder Ihr Budget noch Ihre Vorlieben. Sie sagen nur: „Hier sind zwei Zimmer; wähle eines aus.“

Dieses Papier ist wie eine Detektivgeschichte, in der Forscher versuchen herauszufinden: Hat dieser digitale Assistent tatsächlich ein „Preisschild“ für seine Vorlieben, oder rät er nur?

Hier ist die Aufschlüsselung ihrer Untersuchung unter Verwendung einfacher Analogien:

1. Der Aufbau: Das „Hotelzimmer-Spiel“

Die Forscher setzten ein Spiel mit 240 verschiedenen Szenarien auf. In jedem Szenario muss die KI zwischen Zimmer A und Zimmer B wählen.

Zimmer A hat vielleicht eine tolle Aussicht, kostet aber mehr.
Zimmer B ist vielleicht günstiger, hat aber eine langweilige Aussicht.
Andere Faktoren sind die Etage, der Zugang zu einem exklusiven Club, eine kostenlose Minibar und die Stornierungsbedingungen.

Die KI spielt dieses Spiel tausende Male. Die Forscher nutzen dann ein mathematisches Werkzeug (wie eine Waage), um die Entscheidungen der KI abzuwägen und ihre „Zahlungsbereitschaft“ (Willingness to Pay, WTP) zu berechnen.

Die Analogie: Wenn die KI konsequent das teurere Zimmer mit der Aussicht gegenüber dem günstigen Zimmer wählt, sagt die Mathematik: „Diese KI ist bereit, zusätzlich 500 $ für diese Aussicht zu bezahlen.“

2. Die große Frage: Existieren KI-„Vorlieben“ wirklich?

Die Forscher testeten drei verschiedene „Gehirne“ (große KI-Modelle), um zu sehen, ob sie verstehen können, was sie wertschätzen.

Das Ergebnis: Die großen, smarten Gehirne (wie GPT-4o und Llama 3.3) besitzen eine konsistente Logik. Sie können „abgewogen“ werden. Sie würden mehr für einen Club-Zugang bezahlen, aber weniger für eine höhere Etage.
Der Haken: Die kleineren, günstigeren KI-Modelle waren wie verwirrte Glücksspieler. Sie wählten oft einfach die erste Option, die sie sahen, ungeachtet dessen, was es war. Sie hatten keine echte „Preisschild“-Logik für ihre Vorlieben; sie hatten nur die Gewohnheit, die linke Tür zu wählen.

3. Der „Persönlichkeits“-Test: Kann man die KI austricksen?

Die Forscher versuchten dann, die Meinung der KI zu ändern, indem sie ihr eine „Persona“ oder eine „Hintergrundgeschichte“ gaben.

Die „Studenten“-Persona: Sie sagten der KI: „Du bist ein pleite Student, der die Welt bereist.“
- Ergebnis: Die KI wurde zu einem Geizhals. Sie schätzte fast nichts und kümmerte sich nur um den günstigsten Preis. Bei einem KI-Modell war sie sogar so besessen davon, Geld zu sparen, dass sie sogar schlechtere Zimmer bevorzugte, nur um ein paar Dollar zu sparen.
Die „Business“-Persona: Sie sagten der KI: „Du bist ein reicher Manager; die Firma zahlt, mach es komfortabel.“
- Ergebnis: Die KI drehte völlig durch. Plötzlich bewertete sie den Club-Zugang und die Aussicht zu astronomischen Preisen – manchmal zehnmal höher als ein normaler Mensch.

Die Lektion: Die KI hat keine feste Persönlichkeit. Sie ist wie ein Chamäleon. Wenn man ihr sagt, sie sei ein preisbewusster Reisender, wird sie zum Geizhals. Wenn man ihr sagt, sie sei ein Luxusreisender, wird sie zum Verschwender. Man kann ihre „Preissische“ nach oben oder unten drücken, indem man einfach die Geschichte ändert, die man ihr erzählt.

4. Die „Framing“-Falle: Wie Worte den Wert verändern

Die Forscher testeten auch, wie die Art und Weise, wie sie die Zimmer beschrieben, die Meinung der KI beeinflusste.

Der Trick mit der „langen Beschreibung“: Wenn sie der „Hafenansicht“ blumige, positive Wörter hinzufügten (z. B. „beobachten Sie wunderschöne Sonnenuntergänge über berühmten Booten“), wollte die KI plötzlich das Doppelte oder Vierfache für diese Aussicht bezahlen.
Der Trick mit der „kurzen Beschreibung“: Wenn sie die Beschreibung des „Club-Zugangs“ auf das schlichte „Sie haben Zugang“ reduzierten, sank die Zahlungsbereitschaft der KI für diesen Zugang um die Hälfte.

Die Analogie: Stellen Sie sich einen Autoverkäufer vor. Wenn er sagt: „Dieses Auto hat ein Schiebedach“, zahlen Sie vielleicht 500 $. Wenn er sagt: „Dieses Auto hat ein Glasdach, durch das Sie beim Fahren die Sterne beobachten können“, zahlen Sie vielleicht 2.000 $. Das Papier zeigt, dass die KI ebenso anfällig für diesen „Verkaufs-Pitch“ ist wie Menschen, vielleicht sogar noch mehr.

5. Die „Währungs“- und „Reihenfolge“-Checks

Währung: Sie stellten die Fragen in US-Dollar statt in Hongkong-Dollar. Die Logik der KI blieb weitgehend gleich, was beweist, dass sie den Wert von Geld versteht und nicht nur die Zahlen.
Reihenfolge: Sie vertauschten die Reihenfolge der Zimmer (indem sie Zimmer B zuerst anführten). Die KI behielt immer noch eine leichte Tendenz, die erste Option zu wählen, aber die großen Modelle waren viel besser darin, diesen Trick zu ignorieren als die kleinen Modelle.

Das Fazate

Das Papier kommt zu folgendem Schluss:

Große KI-Modelle können logische Entscheidungen treffen, die wie menschliche wirtschaftliche Entscheidungen wirken.
Aber sie sind leicht manipulierbar. Man kann sie dazu bringen, eine Aussicht mit 1 $ oder 10.000 $ zu bewerten, indem man entweder den Prompt (die Geschichte, die man ihnen erzählt) oder die Beschreibung der Merkmale ändert.
Kleine KI-Modelle sind für diese Art von Aufgabe unzuverlässig, da sie oft einfach die erste Option wählen, die sie sehen.

Die Warnung: Wenn Sie eine KI nutzen, um Ihre Reisen zu buchen oder Dinge für Sie zu kaufen, können Sie sie nicht einfach machen lassen. Sie müssen vorsichtig sein, wie Sie Dinge beschreiben, denn sie könnte eine fantastische Beschreibung „überbewerten“ und Ihr Geld für Dinge ausgeben, die Sie eigentlich gar nicht wollten. Sie ist klug, aber sie ist auch sehr formbar.

Technisches Resümee: Inferenz der Zahlungsbereitschaft aus subjektiven Entscheidungen in Large Language Models

Problemstellung

Da Large Language Models (LLMs) zunehmend als autonome Agenten in Bereichen wie Reiseassistenz und Einkaufsunterstützung eingesetzt werden, müssen sie häufig subjektive Entscheidungen treffen, für die es keine objektiv richtige Antwort gibt. Eine kritische Lücke in der aktuellen Forschung besteht darin, zu verstehen, ob diese Modelle über robuste, interpretierbare Entscheidungsgrenzen verfügen und wie anfällig diese Grenzen für Manipulationen durch Prompt Engineering oder Nutzerkontext sind. Insbesondere bleibt unklar, inwiewst LLMs konsistente latente Präferenzen aufweisen können, die quantifiziert und mit menschlichen Wirtschaftsbenchmarks verglichen werden können, und ob diese Präferenzen durch einfache Variationen im Prompt systematisch verschoben werden können.

Methodik

Die Studie verwendet einen auf diskreter Entscheidungsmodellierung basierenden ökonomischen Rahmen, um latente Präferenzen aus dem Verhalten von LLMs abzuleleiten. Die Methodik vollzieht sich in den folgenden Phasen:

Generierung von Dilemmata: Die Autoren konstruierten 240 Entscheidungsdilemmata basierend auf einer Vorstudie von Masiero et al. (2015) zur Auswahl von Hotelzimmern. Jedes Dilemma präsentiert zwei Alternativen (A und B), die durch sieben Attribute definiert sind: Aussicht (View), Etage (Floor), Zugang zum Hotelclub (Access to Hotel Club), Gratis-Minibar (Free Mini Bar), Gäste-Smartphone (Guest Smartphone), Stornierungsbedingungen (Cancellation Policy) und Preis pro Nacht (Price per night).
Experimentelles Design: Die Studie evaluiert drei State-of-the-Art LLMs: Llama 3.3 70B, GPT-4o und Gemini-3.1-Pro. Kleinere Modelle wurden aufgrund mangelnder Erklärungsleistung und systematischer Biases ausgeschlossen. Die Experimente wurden bei einer Temperatur von 0 durchgeführt, um stochastisches Rauschen zu minimieren, wobei Robustheitsprüfungen bei 0,7 ebenfalls vorgenommen wurden.
Prompting-Strategien: Die Autoren testeten vier verschiedene Konfigurationen des Promptings, um Hypothese 2 (kontextgesteuerte Verschiebungen) zu untersuchen:
- Baseline: Keine Nutzerinformationen bereitgestellt.
- In-Context Learning (ICL): Bereitstellung von Beispielen vergangener Nutzerentscheidungen (z. B. konsequentes Wählen von günstigeren oder teureren Optionen).
- Persona Prompting: Zuweisung eines spezifischen Nutzerprofils (z. B. ein preisbewusster Student gegenüber einem geschäftlich reisenden Kunden, der die Kosten vom Unternehmen übernimmt).
- Kombiniert: Eine Kombination aus Persona und ICL-Beispielen.
Datenmodellierung: Die simulierten Entscheidungen wurden mittels Multinomial Logit Modellen analysiert. Die Nutzenfunktion wurde als $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$ definiert. Aus den geschätzten Koeffizienten ( $\beta$ ) leiteten die Autoren die Werte der Zahlungsbereitschaft (Willingness to Pay, WTP) für jedes Attribut unter Verwendung der Formel $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$ ab.
Robustheitsanalyse: Die Studie beinhaltete umfassende Prüfungen auf Reihenfolge-Bias (Vertauschen von Alternative A und B), Paraphrasierung der Prompts, Währungsumrechnung (HKD vs. USD) und Temperaturvariationen.

Zentrale Beiträge

Das Paper leistet vier primäre Beiträge zur Literatur über die Elicitation von KI-Präferenzen:

Quantifizierung von LLM-Präferenzen: Es zeigt, dass für größere LLMs aussagekräftige, ökonomisch interpretierbare WTP-Schätzungen abgeleitet werden können, was eine strukturierte Sicht auf die Entscheidungstendenzen der Modelle ermöglicht, die über Standardmetriken der Genauigkeit hinausgeht.
Kontextuelle Sensitivität: Es zeigt empirisch auf, dass das Entscheidungsverhalten von LLMs hochgradig formbar ist. Die Einbeziehung nutzerspezifischen Kontextes (vergangene Entscheidungen oder Personas) induziert systematische und gerichtete Verschiebungen in den WTP-Werten, die diese oft signifikant verstärken.
Prompt-Fragilität: Die Studie hebt hervor, dass WTP-Werte gegenüber Änderungen in der Repräsentation sensitiv sind, einschließlich Prompt-Länge, Attribut-Framing (positiv vs. neutral), Reihenfolge der Präsentation und Währung.
Identifikation von Zusammenbruchsszenarien: Die Autoren identifizieren spezifische Szenarien, in denen die WTP-Eschätzung fehlschlägt, etwa wenn Modelle eine extreme Reihenfolge-Bias zeigen, starren regelbasierten Entscheidungsregeln folgen (Trade-offs ignorieren) oder negative WTP-Werte aufgrund positiver Preiskoeffizienten produzieren.

Kernergebnisse

Emergenz struktureller Präferenzen (Hypothese 1)

Größere Modelle (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) weisen im Allgemeinen interpretierbare WTP-Schätzungen mit hohen Pseudo- $R^2$ -Werten auf, was darauf hindeutet, dass ihre Entscheidungen durch ein Standardmodell der diskreten Wahl rationalisiert werden können. Es wurden jedoch systematische Abweichungen von menschlichen Benchmarks (Masiero et al., 2015) beobachtet:

Unterbewertung: Modelle wiesen den Attributen „Aussicht“ und „Etage“ im Vergleich zu menschlichen Teilnehmern generell eine geringere WTP zu.
Überbewertung: Modelle überbewerteten konsistent den „Zugang zum Hotelclub“, mit Schätzungen, die 2- bis 4-mal höher lagen als die menschlichen Benchmarks.
Modellvarianz: GPT-4o und Gemini-3.1-Pro zeigten im Allgemeinen eine höhere Erklärungsleistung ( $R^2$ ) als Llama 3.3 70B, obwohl alle Modelle einen gewissen Grad an Reihenfolge-Bias aufwiesen.

Kontextgesteuerte Wertverschiebungen (Hypothese 2)

Die Bereitstellung von Nutzerkontext veränderte die WTP-Schätzungen signifikant:

Aufwärtsverschiebungen: Die Konditionierung der Modelle auf „teure“ Präferenzen (durch ICL-Beispiele teurer Entscheidungen oder eine „Business“-Persona) führte zu dramatischen Steigerungen der WTP. Beispielsweise erhöhte das Hinzufügen von drei teuren Beispielen die WTP für den „Clubzugang“ um Faktoren von 6,4x (Llama), 8,5x (GPT-4o) und 10,07x (Gemini) relativ zur Baseline.
Abwärtsverschiebungen: Die Konditionierung auf „günstige“ Präferenzen (Studenten-Persona oder billige Beispiele) senkte die WTP im Allgemeinen. In Extremfällen (Gemini-3.1-Pro mit Studenten-Persona) kollabierte das Modell zu einer Ein-Attribut-Entscheidungsregel, bei der es unabhängig von anderen Merkmalen das günstigste Zimmer wählte, was eine WTP-Eschätzung unmöglich machte.
Interaktionseffekte: Die Kombination von Personas mit ICL-Beispielen verstärkte diese Effekte oft, was zu extremeren Bewertungen für die Business-Persona und realistischeren (wenn auch verschobenen) Bewertungen für die Studenten-Persona in Llama 3.3 70B führte.

Prompt-abhängige Verschiebungen (Hypothese 3)

Die Studie bestätigte, dass WTP-Werte nicht stabil gegenüber Variationen im Prompt sind:

Framing-Sensitivität: Die Verkürzung der Beschreibung von „Clubzugang“ reduzierte dessen WTP um etwa 50 %, während die Erweiterung der Beschreibung von „Aussicht“ die WTP je nach Modell verdoppelte oder vervierfachte.
Reihenfolge-Bias: Obwohl dieser in größeren Modellen im Vergleich zu kleineren reduziert war, blieb der Reihenfolge-Bias bestehen, wobei die alternativespezifischen Konstanten statistisch signifikant blieben.
Währung und Temperatur: Modelle zeigten eine relative Robustheit gegenüber Währungsänderungen (USD vs. HKD) und Temperaturvariationen (0 vs. 0,7), wobei Llama 3.3 70B eine größere Varianz aufwies als Gemini-3.1-Pro.

Bedeutung und praktische Implikationen

Das Paper kommt zu dem Schluss, dass zwar größere LLMs interpretierbare WTP-Werte generieren können, sie jedoch ohne Sicherheitsvorkehrungen keine zuverlässigen, autonomen Präferenz-Optimierer für subjektive Entscheidungsfindungen sind. Die Bedeutung dieser Ergebnisse liegt in den folgenden praktischen Implikationen:

Transparenz und Auditierung: Die vorgeschlagene Methodik bietet ein Werkzeug, um das Entscheidungsverhalten von LLMs zu prüfen und offenzulegen, ob Empfehlungen durch Attributspräferenzen oder Heuristiken wie Reihenfolge-Bias getrieben werden.
Modellauswahl: Praktiker sollten vermeiden, kleinere Modelle für die subjektive Entscheidungsunterstützung einzusetzen, da diese anfällig für Reihenfolge-Bias und eine geringe Erklärungsleistung sind. Selbst größere Modelle erfordern eine sorgfältige Überwachung.
Kontextmanagement: Die Hinzunahme von Nutzerinformationen (Personas oder Historie) muss mit äußerster Vorsicht gehandhabt werden, da dies extreme Bewertungsverhalten induzieren kann, die erheblich von menschlichen Normen abweichen.
Vulnerabilität durch Framing: Die Sensitivität gegenüber positivem Framing deutet darauf hin, dass LLM-basierte Assistenten von Anbietern manipuliert werden können, um bestimmte Merkmale überzubewerten. Systeme müssen gegen solches Framing „abgesichert“ werden.
Human-in-the-Loop: Angesichts der identifizierten Zusammenbruchsszenarien (z. B. negative WTP, starre Regelbefolgung) plädieren die Autoren gegen eine vollständige Autonomie von LLM-Reiseagenten. Stattdessen sollte der Einsatz Sicherheitsmechanismen (Guardrails), Reihenfolge-Randomisierung und menschliche Aufsicht beinhalten, um inkohärente Trade-offs zu erkennen.

Die Studie betont, dass LLM-abgeleitete Präferenzen modellabhängig und hochsensibel gegenüber dem Prompt-Design sind, was darauf hindeutet, dass zukünftige Einsätze in agentischen Settings Robustheitsprüfungen und Human-in-the-Loop-Mechanismen gegenüber unbeschränkter Delegation priorisieren müssen.