💰 quantitative finance

Modeling Story Expectations: A Generative Framework using LLMs

Dieses Paper führt ein generatives Framework unter Verwendung von Large Language Models ein, um interpretierbare Merkmale aus imaginierten Fortsetzungen von Geschichten zu extrahieren, und demonstriert, dass diese durch LLMs abgeleiteten Erwartungen sowohl menschliche Überzeugungen als auch tatsächliche narrative Ausgänge effektiv vorhersagen und signifikant mit dem Engagement der Leser korrelieren.

Ursprüngliche Autoren: Hortense Fong, George Gui, Bo Yang

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hortense Fong, George Gui, Bo Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sitzen auf dem Sofa, gebannt von einer Fernsehserie oder einem Buch, völlig gefesselt. Sie schauen nicht nur das, was gerade jetzt passiert; Sie versuchen ständig zu erraten, was als Nächstes passieren wird. Wird der Held überleben? Wird der Bösewicht gefasst werden? Wird die Romanze aufblühen? Dieses Gefühl des „Was kommt als Nächstes?“ ist ein wesentlicher Teil dessen, warum wir weiterlesen oder weitersehen. Aber lange Zeit hatten Wissenschaftler und Geschichtenerzähler Schwierigkeiten, diese Vermutungen zu messen. Man kann nicht einfach eine Million Menschen bitten, jede einzelne Möglichkeit aufzuschreiben, die sie sich für das nächste Kapitel vorstellen. Es ist, als versuche man, Rauch mit den Händen einzufangen.

Hier kommt dieses Paper ins Spiel, das wie eine digitale Kristallkugel fungiert. Die Autoren, Hortense Fong, George Gui und Bo Yang, beschlossen, ein super-intelligentes Computergehirn (einen sogenannten Large Language Model, kurz LLM) für das Raten für uns einzusetzen. Betrachten Sie das LLM als einen super-begeisterten Leser, der den Text von über 125.000 Büchern verschluckt hat. Weil es so viel gelesen hat, weiß es, wie Geschichten normalerweise verlaufen.

Der Zaubertrick: Die Zukunft herbeizuträumen
So haben sie es gemacht. Sie nahmen eine Geschichte bis zu einem bestimmten Punkt (sagen wir, das Ende von Kapitel 1) und fragten den Computer: „Okay, stell dir vor, wie diese Geschichte in 50 verschiedenen Arten in Kapitel 2 weitergehen könnte.“ Der Computer schrieb nicht nur ein Ende; er schrieb 50 leicht unterschiedliche Versionen und erschuf so eine ganze Wolke an Möglichkeiten.

Aus diesen 50 erdachten Zukünften betrachteten die Forscher nicht nur die Wörter; sie extrahierten spezifische „Nuancen“ oder Merkmale. Sie untersuchten Dinge wie:

Valenz: Wird das nächste Kapitel glücklich oder traurig sein?
Arousal (Erregung): Wird es voller Energie und aufregend sein oder eher ruhig und entspannt?
Geschwindigkeit: Wird sich die Handlung schnell oder langsam entwickeln?
Zirkularität (Circuitousness): Wird die Geschichte einen geraden Pfad nehmen oder einen gewundenen, kurvenreichen Weg?

Sie behandelten diese 50 erdachten Kapitel wie eine Menge von Menschen, die darüber abstimmen, was sie als Nächstes erwarten, und berechneten dann den Durchschnitt dieser Stimmen, um eine „Vorhersage“ dessen zu erhalten, was ein typischer Leser erwartet.

Hat der Computer es richtig erraten?
Die große Frage ist: Stimmt dieses Computerspiel des Ratens tatsächlich mit dem übereinstimmend, was echte Menschen denken? Die Autoren testeten dies auf zwei Arten.

Zuerlich führten sie ein kontrolliertes Experiment mit 263 echten Menschen durch. Diese Menschen lasen Kurzgeschichten und wurden gefragt: „Was glaubst du, wie sich das nächste Kapitel anfühlen wird?“ Die Forscher verglichen die Antworten der Menschen mit den „5 de 50 erdachten Kapiteln“ des Computers.

Das Ergebnis: Der Computer war überraschend gut. Wenn die Menschen eine hochenergetische Erwartung äußerten, waren auch die erdachten Kapitel des Computers hochenergetisch. Die Verbindung war stark, wenn auch nicht perfekt (die Vorhersagen des Computers waren etwas „komprimierter“ oder weniger extrem als die wilden Vermutungen der Menschen).
Der Haken: Der Computer war gut darin, das durchschnittliche Gefühl zu erraten, aber er war nicht so gut darin, zu erfassen, wie unsicher Menschen waren. Menschen haben ein breites Spektrum an Zweifeln; die Vorhersagen des Computers waren etwas zu selbstbewusst und konzentriert.

Zweitens betrachteten sie echte Daten von einer Online-Leseplattform mit 9,397 Büchern und 8.399 Kapiteln. Hier konnten sie die Leser nicht nach ihren Gedanken fragen, also nutzten sie einen Logiktrick namens „rationale Erwartungen“. Dies geht davon aus, dass man, wenn man weiß, wie Geschichten funktionieren, mit seinen Vermutungen mit dem übereinstimmen sollte, was am Ende tatsächlich passiert. Sie verglichen die erdachten Kapitel des Computers mit den tatsächlichen Kapiteln, die schließlich geschrieben wurden.

Das Ergebnis: Die Vorhersagen des Computers waren informative Prädiktoren für das, was tatsächlich geschah. Wenn der Computer ein schnelles nächstes Kapitel vorhersagte, war das reale nächste Kapitel oft ebenfalls schnell. Dies galt für Emotionen, Geschwindigkeit und sogar für komplexe Dinge wie „Spannung“ oder „Cliffhanger-Intensität“.

Warum es wichtig ist: Der „Nächste-Kapitel“-Faktor
Der spannendste Teil des Papers ist das, was sie fanden, als sie untersuchten, wie sehr die Menschen mit den Geschichten interagierten (wie etwa durch Klicken auf „Weiterlesen“, Abstimmen oder Kommentieren).

Sie entdeckten, dass zu wissen, was ein Leser als Nächstes erwartet, genauso wichtig ist wie zu wissen, was er gerade eben gelesen hat.

In der menschlichen Umfrage war ein Leser, der erwartete, dass das nächste Kapitel arousing (hochenergetisch) sein würde, viel eher bereit zu sagen, dass er weiterlesen wollte. Dies galt selbst dann, wenn das gerade abgeschlossene Kapitel ruhig war.
In den realen Daten geschah dasselbe. Wenn der Computer ein hochenergetisches oder schnelles nächstes Kapitel vorhersagte, waren Leser eher geneigt zu voten und zu kommentieren.

Das Paper schließt explizit die Idee aus, dass wir uns nur für das interessieren, was gerade jetzt passiert. Es legt nahe, dass unsere „zukunftsorientierten Überzeugungen“ (unsere Vermutungen über die Zukunft) unser Verhalten steuern. Es geht nicht nur um die aktuelle Szene; es geht um das Versprechen der nächsten Szene.

Was das Paper NICHT sagt
Es ist wichtig zu wissen, was dies nicht ist. Die Autoren sind sehr vorsichtig damit, nicht zu behaupten, sie hätten das Geheimnis des menschlichen Verhaltens gelöst oder der Computer sei ein perfekter Gedankenleser.

Sie behaupten nicht, dass die Vorhersagen des Computers identisch mit menschlichen Gedanken sind. Die Vermutungen des Computers sind „unperfekt, aber informativ“. Sie erfassen die Richtung und die allgemeine Stimmung, verpassen aber einige der Nuancen und der Unsicherheit, die echte Menschen fühlen.
Sie sagen nicht, dass dies beweist, dass die Änderung eines Endes einer Geschichte die Interaktion verursacht. Sie fanden einen starken Zusammenhang (Assoziation), aber da Geschichten komplex sind und viele Dinge gleichzeitig verändern, können sie nicht mit Sicherheit sagen, dass ein spezifisches Merkmal der alleinige Grund ist. Sie schlagen vor, dass diese Methode Forschern hilft, bessere Fragen für zukünftige Experimente zu stellen.
Sie behaupten nicht, dass dies bereits für jede Art von Medien funktioniert. Ihre Studie konzentrierte sich auf Text (Bücher und Geschichten). Sie geben zu, dass Filme und Musik visuelle und akustische Elemente haben, die ihr textbasierter Computer-Verstand noch nicht sehen oder hören kann.

Das Fazit
Dieses Paper legt nahe, dass wir einen „Super-Leser-Computer“ nutzen können, um zu modellieren, was wir als Publikum über die Zukunft einer Geschichte denken. Es ist ein neuer, skalierbarer Weg, um einen Blick in die „Was-wäre-wenn“-Zone unseres Gehirns zu werfen. Durch das Verständnis dessen, was Leser als Nächstes erwarten, könnten Schöpfer und Plattformen endlich verstehen, warum manche Geschichten Pageturner sind und andere auf halbem Weg weggelegt werden. Es ist kein Zauberstab, der alles löst, aber es ist ein mächtiges neues Werkzeug, um die Geschichte zu verstehen, die wir uns selbst erzählen, noch bevor wir die Seite umblättern.

Technisches Resümee: Modellierung von Erzählenerwartungen mit Large Language Models

Problemstellung

Das Engagement von Konsumenten mit narrativen Medien (Bücher, Filme, Fernsehen) wird maßgeblich durch ihre zukunftsorientierten Erwartungen hinsichtlich dessen geprägt, was als Nächstes passieren wird. Die Modellierung dieser Erwartungen über unstrukturierte narrative Inhalte hinweg war jedoch historisch gesehen eine Herausforderung. Traditionelle Ansätze stehen vor zwei Hauptproblemen:

Beschränkungen von Umfragen: Die Erhebung einer vollständigen Verteilung möglicher Fortsetzungen einer Geschichte durch menschliche Befragte ist kostspielig, während die Befragung von nur ein oder zwei Dimensionen nicht ausrelt, um die Komplexität der narrativen Entfaltung zu erfassen.
Modellannahmen: Standardökonomische Modelle gehen oft von rationalen Erwartungen über niedrigdimensionale Ergebnisse aus (z. B. zukünftige Preise). Die Anwendung auf Geschichten erfordert die Modellierung, wie eine hochdimensionale Verteilung möglicher Fortsetzungen von einer hochdimensionalen Geschichte abhängt, für die es keinen offensichtlichen Ausgangspunkt gibt.

Folglich mangelt es an skalierbaren Methoden, um die Überzeugungen der Konsumenten bezüglich narrativer Inhalte zu approximieren, was die Fähigkeit von Schöpfern und Plattformen einschränkt, zu verstehen, wie antizipierte Inhalte das Engagement steuern.

Methodik

Die Autoren schlagen ein generatives Framework vor, das Large Language Models (LLMs) nutzt, um die zukunftsorientierten Überzeugungen von Konsumenten zu approximieren. Das Framework besteht aus vier Komponenten:

1. Generierung imaginierter Fortsetzungen der Geschichte

Der Kernmechanismus besteht darin, ein vortrainiertes LLM zu verwenden, um mehrere plausible Fortsetzungen einer Geschichte basierend auf dem bisher gelesenen Text (z. B. Kapitel 1 bis $t$ ) zu generieren.

Prozess: Das LLM wird angewiesen, das nächste Kapitel ( $t+1$ ) zu generieren. Um eine Verteilung von Überzeugungen anstelle eines einzelnen deterministischen Outputs zu approximieren, generiert das Modell $N$ Fortsetzungen (typischerweise 50) pro Kapitel.
Parameter: Die Autoren verwenden eine Temperatur von 1,0, um ein Gleichgewicht zwischen Diversität und Kohärenz zu halten.
Begründung: LLMs, die auf riesigen Korpora narrativer Texte trainiert wurden, erfassen komplexe Erzählmuster und können eine Verteilung von Fortsetzungen generieren, die die Erwartungen eines repräsentativen Konsumenten widerspiegelt.

2. Merkmalsextraktion (Feature Extraction)

Der unstrukturierte Text der imaginerten Fortsetzungen wird in interpretierbare, theoretisch motivierte Merkmale umgewandelt.

Merkmale: Das Framework extrahiert vordefinierte Merkmale, die mit Engagement assoziiert sind, wie etwa Emotion (Valenz, Erregung/Arousal) und semantischer Pfad (Geschwindigkeit, Zirkularität). Es extrahiert zudem „gelernte“ narrative Dimensionen (z. B. Spannung, Neugier, Cliffhanger-Intensität, Pacing).
Berechnung der Erwartung: Die Erwartung für ein Merkmal $z$ zum Zeitpunkt $t$ wird als Durchschnitt der Merkmalswerte berechnet, die aus den $N$ imaginerten Fortsetzungen extrahiert wurden:
$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$
Höhere Momente (Varianz, Abweichung) können ebenfalls berechnet werden, obwohl sich die Arbeit primlich auf das erste Moment (Erwartungswert) konzentriert.

3. Validierung

Die Autoren schlagen zwei komplementäre Validierungsverfahren vor, um zu bewerten, ob LLM-abgeleitete Erwartungen valide Proxys für menschliche Überzeugungen sind:

Umfragebasierte Validierung: Vergleicht LLM-abgeleitete Erwartungen mit menschlich berichteten Überzeugungen, die mittels Umfragen erhoben wurden. Befragte geben Wahrscheinlichkeitsverteilungen über Merkmalsausgänge (z. B. Valenz-Bins) für das nächste Kapitel an.
Rational-Expectations-Validierung: Vergleicht LLM-abgeleitete Erwartungen mit den tatsächlich realisierten Fortsetzungen der Geschichte. Unter der Annahme, dass Konsumenten (und das LLM) verstehen, wie sich Geschichten typischerweise entwickeln, sollte die vom LLM vorhergesagte Verteilung mit der objektiven Verteilung der tatsächlichen Geschichte korrelieren. Dies wird getestet, indem die tatsächlichen Merkmalswerte auf die LLM-abgeleiteten Erwartungswerte regrediert werden.

4. Engagement-Analyse

Das Framework wird verwendet, um das Leser-Engagement (Interesse, Entscheidung zum Weiterlesen, Abstimmen, Kommentieren) als Funktion sowohl des realisierten Inhalts (Merkmale des gerade gelesenen Kapitels) als auch des erwarteten Inhalts (Merkmale des imaginierten nächsten Kapitels) zu modellieren. Die Autoren verwenden ein lineares erwartetes Nutzenmodell, bei dem das Engagement von aktuellen Merkmalen und der Erwartung zukünftiger Merkmale abhängt.

Empirische Anwendungen und Ergebnisse

Das Framework wurde in zwei Settings getestet: einem kontrollierten Survey-Experiment und einer Beobachtungsstudie einer Online-Leseplattform.

1. Survey-Daten (Kontrolliertes Setting)

Daten: 263 Teilnehmer lasen Kurzgeschichten aus fünf Genres und berichteten über emotionale Überzeugungen (Valenz/Arousal) sowie Engagement-Intentionen.
Validierung: LLM-abgeleitete Erwartungen für Valenz und Arousal korrelierten signifikant mit menschlich berichteten Erwartungen (Steigungen von 0,57 und 0,56), wobei LLMs dazu neigten, den Bereich der Überzeugungen zu komprimieren.
Engagement-Ergebnisse:
- Stated Interest (Geäußertes Interesse): Erwartetes Arousal sagte das Interesse am Weiterlesen signifikant voraus, selbst nach Kontrolle von aktueller Kapitel-Valenz und -Arousal. Erwartete Valenz war nicht signifikant.
- Entscheidung zum Weiterlesen: Erwartetes Arousal war ein signifikanter Prädiktor für die binäre Entscheidung, das nächste Kapitel zu lesen.
- Proxy-Leistung: Die Ersetzung von durch Umfragen ermittelten Erwartungen durch LLM-abgeleitete Erwartungen in Regressionsmodellen lieferte vergleichbare Ergebnisse, was die Bestätigung der LLMs als skalierbarer Proxy darstellt.

2. Beobachtungsdaten (Online-Plattform)

Daten: 8.399 Kapitel aus 937 Büchern einer Online-Plattform, wobei Engagement durch Vote-to-Read- und Comment-to-Read-Raten gemessen wurde.
Validierung (Rational Expectations): LLM-abgeleitete Erwartungen für 15 Merkmale (einschließlich Emotion, semantischer Pfad und narrativer Dimensionen) waren signifikante positive Prädiktoren für die tatsächlichen Kapitelmerkmale. Die Koeffizienten waren positiv und signifikant, wenn auch abgeschwächt (z. B. Valenz-Steigung 0,69, Arousal-Steigung 0,62).
Engagement-Ergebnisse:
- Zukunftsorientierte Erwartungen (Valenz, Arousal, Geschwindigkeit, Zirkularität) waren signifikante Prädiktoren für die Stimmen- und Kommentierraten, über die Merkmale des bereits konsumierten Inhalts hinaus.
- Insbesondere waren negativere/niedrigere Energie-Erwartungen und höhere Geschwindigkeits-/geringere Zirkularitäts-Erwartungen mit höherem Engagement assoziiert.
- Sensitivitätsanalyse: Die Autoren zeigten, dass die Koeffizienten für Fokus-Merkmale (z. B. erwartetes Arousal) sensitiv gegenüber der Einbeziehung anderer narrativer Dimensionen (z. B. Spannung, Cliffhanger) sind, was die Bedeutung des Frameworks zur Verfeinerung kausaler Fragen hervorhebt.

Wichtigste Beiträge

Skalierbares Framework für unstrukturierte Erwartungen: Die Arbeit führt eine Methode zur Modellierung von Konsumentenüberzeugungen über hochdimensionale, unstrukturierte narrative Inhalte ein und erweitert damit die Literatur zu Erwartungen über strukturierte Zustandsräume hinaus.
Duales Validierungsstrategie: Sie schlägt und implementiert zwei unterschiedliche Validierungsansätze (Umfragebasiert und Rational-Expectations-basiert) und zeigt damit auf, dass LLMs als informative Proxys für menschliche Überzeugungen dienen können, ohne dass in allen Kontexten kostspielige Datenerhebungen erforderlich sind.
Zukunftsorientierte Treiber des Engagements: Die Studie liefert empirische Belege dafür, dass das, was Leser erwarten (insbesondere erwartetes Arousal und Merkmale des semantischen Pfades), das Engagement unabhängig von dem, was sie bereits gelesen haben, treibt.
Merkmalsentdeckung und kausale Verfeinerung: Durch das Generieren von Fortsetzungen ermöglicht das Framework Forschern, eine breite Palette von narrativen Dimensionen zu extrahieren und zu testen, wie die Kontrolle über diese Dimensionen die geschätzten Auswirkungen von Fokus-Merkmalen beeinflusst, was somit hilft, den Bias durch ausgelassene Variablen (Omitted Variable Bias) in Narrativstudien zu diagnostizieren.

Bedeutung und Behauptungen

Die Autoren behaupten, dass dieses Framework eine skalierbare Methode zur Modellierung von Konsumentenüberzeugungen bezüglich narrativer Inhalte bietet. Sie stellen fest, dass:

LLMs, die auf narrativen Texten trainiert wurden, als „vernünftiger Ausgangspunkt“ für die Modellierung der Leserantizipation dienen können.
Zukunftsorientierte Erwartungen ein distinkter und signifikanter Treiber des Engagements sind, was darauf hindeutet, dass Content-Schöpfer und Plattformen berücksichtigen sollten, wie narrative Entscheidungen die zukünftigen Erwartungen formen, und nicht nur die unmittelbaren Reaktionen.
Die Methode die bestehende Inhaltsanalyse ergänzt, indem sie eine zukunftsorientierte Dimension hinzufügt, die entscheidend für das Verständnis dynamischen Verhaltens in narrativen Medien ist.

Die Arbeit bleibt hinsichtlich der Kausalität bescheiden und merkt an, dass ihre Ergebnisse assoziativ sind und die LLM-abgeleiteten Erwartungen Approximationen darstellen (was Messfehler einführt). Sie räumen Einschränkungen hinsichtlich der Heterogenität der Leser ein (indem sie das LLM als „Durchschnittsleser“ behandeln) und deuten an, dass zukünftige Arbeiten multimodalere Inputs und heterogene Konsumentensegmente untersuchen könnten.