💰 quantitative finance

Modeling Story Expectations: A Generative Framework using LLMs

Cet article présente un cadre génératif utilisant des modèles de langage de grande taille pour extraire des caractéristiques interprétables à partir de suites d'histoires imaginées, démontrant que ces attentes dérivées des LLM prédisent efficacement tant les croyances humaines que les issues narratives réelles, tout en étant significativement corrélées à l'engagement du lecteur.

Auteurs originaux : Hortense Fong, George Gui, Bo Yang

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hortense Fong, George Gui, Bo Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes affalé sur votre canapé, absorbé par une série ou un livre, totalement captivé. Vous ne vous contentez pas de regarder ce qui se passe en ce moment même ; vous essayez constamment de deviner ce qui va se passer ensuite. Le héros va-t-il survivre ? Le méchant sera-t-il démasqué ? L'histoire d'amour va-t-elle éclore ? Ce sentiment de « et après ? » est une grande partie de la raison pour laquelle nous continuons à lire ou à regarder. Mais pendant longtemps, les scientifiques et les conteurs ont eu du mal à mesurer ces suppositions. On ne peut pas facilement demander à un million de personnes d'écrire chaque possibilité imaginable pour le chapitre suivant. C'est comme essayer d'attraper de la fumée avec ses mains.

Entrez dans ce document, qui agit comme une boule de cristal numérique. Les auteurs, Hortense Fong, George Gui et Bo Yang, ont décidé d'utiliser un cerveau informatique super intelligent (appelé Modèle de Langage Étendu, ou LLM) pour faire les suppositions à notre place. Voyez le LLM comme un lecteur super assidu qui aurait avalé le texte de plus de 125 000 livres. Parce qu'il a beaucoup lu, il sait comment les histoires se déroulent habituellement.

Le tour de magie : Imaginer le futur
Voici comment ils ont procédé. Ils ont pris une histoire jusqu'à un certain point (disons, la fin du chapitre 1) et ont demandé à l'ordinateur : « Bon, imagine 50 façons différentes dont cette histoire pourrait se poursuivre dans le chapitre 2. » L'ordinateur n'a pas seulement écrit une fin ; il a écrit 50 versions légèrement différentes, créant tout un nuage de possibilités.

À partir de ces 50 futurs imaginés, les chercheurs n'ont pas seulement regardé les mots ; ils en ont extrait des « saveurs » ou des caractéristiques spécifiques. Ils ont examiné des éléments tels que :

La valence : Le prochain chapitre sera-t-il joyeux ou triste ?
L'éveil (Arousal) : Sera-t-il énergique et excitant, ou calme et de faible intensité ?
La vitesse : L'intrigue avancera-t-elle vite ou lentement ?
La circonvolution (Circuitousness) : L'histoire suivra-t-elle un chemin direct ou une route sinueuse et tortueuse ?

Ils ont traité ces 50 chapitres imaginés comme une foule de personnes votant sur ce qu'elles pensent qu'il va se passer, puis ils ont fait la moyenne des votes pour obtenir une « prédiction » de ce qu'un lecteur typique attend.

L'ordinateur a-t-il vu juste ?
La grande question est la suivante : ce jeu de devinettes informatique correspond-il réellement à ce que pensent les vrais humains ? Les auteurs ont testé cela de deux manières.

Premièrement, ils ont mené une expérience contrôlée avec 263 personnes réelles. Ces humains ont lu des histoires courtes et on leur a demandé : « À votre avis, quel sera le ressenti du prochain chapitre ? » Les chercheurs ont comparé les réponses des humains aux « 50 chapitres imaginés » de l'ordinateur.

Le résultat : L'ordinateur était étonnamment bon. Quand les humains disaient s'attendre à un chapitre de haute intensité, les chapitres imaginés par l'ordinateur étaient également de haute intensité. La connexion était forte, bien que non parfaite (les prédictions de l'ordinateur étaient un peu plus « compressées » ou moins extrêmes que les suppositions sauvages des humains).
Le bémol : L'ordinateur était très bon pour deviner le sentiment moyen, mais il n'était pas aussi doué pour deviner à quel point les gens étaient incertains. Les humains ont une large gamme de doutes ; les suppositions de l'ordinateur étaient un peu trop confiantes et concentrées.

Deuxièmement, ils ont examiné des données réelles provenant d'une plateforme de lecture en ligne comprenant 937 livres et 8 399 chapitres. Ici, ils ne pouvaient pas demander aux lecteurs ce qu'ils pensaient, alors ils ont utilisé un tour de logique appelé « attentes rationnelles ». Cela suppose que si vous savez comment les histoires fonctionnent, vos suppositions devraient correspondre à ce qui finit par arriver réellement. Ils ont comparé les chapitres imaginés par l'ordinateur aux chapitres réels qui ont été finalement écrits.

Le résultat : Les prédictions de l'ordinateur étaient des prédicteurs informatifs de ce qui s'est réellement passé. Si l'ordinateur imaginait un chapitre suivant rapide, le vrai chapitre suivant était souvent rapide. Cela restait vrai pour les émotions, la vitesse et même des choses complexes comme la « tension » ou « l'intensité du suspense ».

Pourquoi c'est important : Le facteur du « chapitre suivant »
La partie la plus excitante du document est ce qu'ils ont découvert lorsqu'ils ont observé à quel point les gens s'engageaient avec les histoires (comme cliquer sur « continuer », voter ou commenter).

Ils ont découvert que savoir ce qu'un lecteur attend qu'il se passe ensuite est tout aussi important que de savoir ce qu'il vient de lire.

Dans l'enquête humaine, si un lecteur s'attendait à ce que le prochain chapitre soit excitant (haute intensité), il était beaucoup plus susceptible de dire qu'il voulait continuer sa lecture. Cela était vrai même si le chapitre qu'il venait de terminer était calme.
Dans les données du monde réel, la même chose s'est produite. Si l'ordinateur prédisait un chapitre suivant intense ou rapide, les lecteurs étaient plus susceptibles de voter et de commenter.

Le document écarte explicitement l'idée que nous ne nous soucions que de ce qui se passe en ce moment même. Il suggère que nos « croyances prospectives » (nos suppositions sur le futur) dirigent notre comportement. Il ne s'agit pas seulement de la scène actuelle ; il s'agit de la promesse de la suivante.

Ce que le document ne dit PAS
Il est important de savoir ce que ceci n'est pas. Les auteurs font attention à ne pas dire qu'ils ont résolu le mystère du comportement humain ou que l'ordinateur est un lecteur de pensée parfait.

Ils ne prétendent pas que les prédictions de l'ordinateur sont identiques aux pensées humaines. Les suppositions de l'ordinateur sont « imparfaites mais informatives ». Elles capturent la direction et l'ambiance générale, mais passent à côté de certaines nuances et de l'incertitude que ressentent les vrais humains.
Ils ne disent pas que cela prouve que changer la fin d'une histoire cause davantage d'engagement. Ils ont trouvé un lien fort (association), mais comme les histoires sont complexes et changent beaucoup de choses à la fois, ils ne peuvent pas affirmer avec certitude qu'une caractéristique spécifique est la seule cause. Ils suggèrent que cette méthode aide les chercheurs à poser de meilleures questions pour de futures expériences.
Ils ne prétendent pas que cela fonctionne pour tous les types de médias pour le moment. Leur étude s'est concentrée sur le texte (livres et histoires). Ils admettent que les films et la musique possèdent des éléments visuels et sonores que leur cerveau informatique basé sur le texte ne peut pas encore voir ou entendre.

L'essentiel
Ce document suggère que nous pouvons utiliser un ordinateur « super-lecteur » pour modéliser ce que nous, en tant que public, pensons de l'avenir d'une histoire. C'est une nouvelle façon évolutive de jeter un coup d'œil dans la zone du « et si » de notre cerveau. En comprenant ce que les lecteurs attendent qu'il se passe ensuite, les créateurs et les plateformes pourraient enfin comprendre pourquoi certaines histoires sont passionnantes et d'autres sont abandonnées à mi-chemin. Ce n'est pas une baguette magique qui résout tout, mais c'est un nouvel outil puissant pour comprendre l'histoire que nous nous racontons avant même de tourner la page.

Résumé technique : Modéliser les attentes narratives à l'aide des grands modèles de langage

Énoncé du problème

L'engagement des consommateurs envers les médias narratifs (livres, films, séries) est considérablement façonné par leurs attentes prospectives concernant ce qui va se passer ensuite. Cependant, modéliser ces attentes sur du contenu narratif non structuré a historiquement été difficile. Les approches traditionnelles se heurtent à deux obstacles majeurs :

Limites des enquêtes : Éliciter une distribution complète des continuations possibles d'une histoire auprès de répondants humains est trop coûteux, tandis que ne sonder qu'un ou deux paramètres ne permet pas de capturer la complexité du déroulement d'un récit.
Hypothèses de modélisation : Les modèles économiques standards supposent souvent des anticipations rationnelles sur des résultats de faible dimension (ex. : prix futurs). Appliquer cela aux histoires nécessite de modéliser comment une distribution de haute dimension de continuations possibles dépend d'une histoire de haute dimension, pour laquelle il n'existe pas de point de départ évident.

Par conséquent, il existe un manque de méthodes évolutives pour approximer les croyances des consommateurs concernant le contenu narratif, ce qui limite la capacité des créateurs et des plateformes à comprendre comment le contenu anticipé stimule l'engagement.

Méthodologie

Les auteurs proposent un cadre génératif utilisant des grands modèles de langage (LLM) pour approximer les croyances prospectives des consommateurs. Le cadre se compose de quatre composantes :

1. Génération de la continuation imaginée de l'histoire

Le mécanisme central consiste à utiliser un LLM pré-entraîné pour générer plusieurs continuations plausibles d'une histoire étant donné le texte lu jusqu'à présent (par exemple, les chapitres 1 à $t$ ).

Processus : Le LLM est incité à générer le chapitre suivant ( $t+1$ ). Pour approximer une distribution de croyances plutôt qu'un résultat déterministe unique, le modèle génère $N$ continuations (typiquement 50) par chapitre.
Paramètres : Les auteurs utilisent une température de 1,0 pour équilibrer diversité et cohérence.
Justification : Les LLM, entraînés sur de vastes corpus de textes narratifs, capturent des schémas de narration complexes et peuvent générer une distribution de continuations qui reflète les attentes d'un consommateur représentatif.

2. Extraction de caractéristiques

Le texte non structuré des continuations imaginées est converti en caractéristiques interprétables et motivées par la théorie.

Caractéristiques : Le cadre extrait des caractéristiques prédéfinies associées à l'engagement, telles que l'émotion (valence, arousal/excitation) et le chemin sémantique (vitesse, circuitosité). Il extrait également des dimensions narratives « apprises » (ex. : tension, curiosité, intensité du suspense, rythme).
Calcul de l'attente : L'attente pour une caractéristique $z$ au chapitre $t$ est calculée comme la moyenne des valeurs des caractéristiques extraites des $N$ continuations imaginées :
$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$
Des moments d'ordre supérieur (variance, écart) peuvent également être calculés, bien que l'article se concentre principalement sur le premier moment (l'espérance).

3. Validation

Les auteurs proposent deux procédures de validation complémentaires pour évaluer si les attentes dérivées des LLM sont des proxys valides pour les croyances humaines :

Validation par enquête : Compare les attentes dérivées des LLM avec les croyances rapportées par les humains via des enquêtes. Les répondants rapportent des distributions de probabilité sur les résultats des caractéristiques (ex. : classes de valence) pour le chapitre suivant.
Validation par anticipation rationnelle : Compare les attentes dérivées des LLM avec les continuations réelles de l'histoire. Sous l'hypothèse que les consommateurs (et le LLM) comprennent comment les histoires se déroulent typiquement, la distribution prédite par le LLM devrait s'aligner sur la distribution objective des résultats réels de l'histoire. Cela est testé en régressant les valeurs réelles des caractéristiques sur les valeurs attendues dérivées du LLM.

4. Analyse de l'engagement

Le cadre est utilisé pour modéliser l'engagement du lecteur (intérêt, décision de continuer, vote, commentaire) en tant que fonction de l'engagement réalisé (caractéristiques du chapitre qui vient d'être lu) et du contenu attendu (caractéristiques du chapitre suivant imaginé). Les auteurs emploient un modèle d'utilité attendue linéaire où l'engagement dépend des caractéristiques actuelles et de l'attente des caractéristiques futures.

Applications empiriques et résultats

Le cadre a été testé dans deux contextes : une expérience d'enquête contrôlée et une étude observationnelle d'une plateforme de lecture en ligne.

1. Données d'enquête (Cadre contrôlé)

Données : 263 participants ont lu des histoires courtes dans cinq genres différents et ont rapporté leurs croyances émotionnelles (valence/arousal) ainsi que leurs intentions d'engagement.
Validation : Les attentes dérivées des LLM pour la valence et l'arousal sont significativement corrélées aux attentes rapportées par les humains (pentes de 0,57 et 0,56 respectivement), bien que les LLM aient tendance à compresser la plage des croyances.
Résultats sur l'engagement :
- Intérêt déclaré : L'arousal attendu prédit significativement l'intérêt à continuer la lecture, même après contrôle de la valence et de l'arousal du chapitre actuel. La valence attendue n'était pas significative.
- Décision de continuer : L'arousal attendu est un prédicteur significatif de la décision binaire de lire le chapitre suivant.
- Performance du proxy : Le remplacement des attentes recueillies par enquête par les attentes dérivées des LLM dans les modèles de régression a produit des résultats comparables, confirmant les LLM comme un proxy évolutif.

2. Données observationnelles (Plateforme en ligne)

Données : 8 399 chapitres de 937 livres sur une plateforme en ligne, l'engagement étant mesuré par les taux de vote pour lire et de commentaire pour lire.
Validation (Anticipation rationnelle) : Les attentes dérivées des LLM pour 15 caractéristiques (incluant l'émotion, le chemin sémantique et les dimensions narratives) sont des prédicteurs positifs significatifs des caractéristiques réelles des chapitres. Les coefficients sont positifs et significatifs, bien qu'atténués (ex. : pente de la valence 0,69, pente de l'arousal 0,62).
Résultats sur l'engagement :
- Les attentes prospectives (valence, arousal, vitesse, circuitosité) sont des prédicteurs significatifs des taux de vote et de commentaire, au-delà des caractéristiques du contenu déjà consommé.
- Plus précisément, des attentes plus négatives/à faible énergie et des attentes de vitesse plus élevée/faible circuitosité sont associées à un engagement plus élevé.
- Analyse de sensibilité : Les auteurs ont démontré que les coefficients des caractéristiques focales (ex. : arousal attendu) sont sensibles à l'inclusion d'autres dimensions narratives (ex. : tension, suspense), soulignant l'importance du cadre pour affiner les questions causales.

Contributions clés

Cadre évolutif pour les attentes non structurées : L'article introduit une méthode pour modéliser les croyances des consommateurs sur des contenus narratifs de haute dimension et non structurés, étendant la littérature sur les anticipations au-delà des espaces d'états structurés.
Stratégie de validation double : Il propose et met en œuvre deux approches de validation distinctes (basée sur l'enquête et basée sur l'anticipation rationnelle), démontant que les LLM peuvent servir de proxys informatifs pour les croyances humaines sans nécessiter de collecte de données coûteuse dans tous les contextes.
Moteurs d'engagement prospectifs : L'étude fournit des preuves empiriques que ce que les lecteurs attendent qu'il se passe (spécifiquement les caractéristiques d'arousal et de chemin sémantique attendues) stimule l'engagement indépendamment de ce qu'ils ont déjà lu.
Découverte de caractéristiques et raffinement causal : En générant des continuations, le cadre permet d'extraer une large gamme de dimensions narratives et de tester comment le contrôle de ces dimensions affecte l'estimation de l'impact des caractéristiques focales, aidant ainsi à diagnostiquer le biais de variable omise dans les études narratives.

Signification et affirmations

Les auteurs affirment que ce cadre constitue une méthode évolutive pour modéliser les croyances des consommateurs sur le contenu narratif. Ils soutiennent que :

Les LLM entraînés sur des textes narratifs peuvent servir de « point de départ raisonnable » pour modéliser l'anticipation des lecteurs.
Les attentes prospectives sont un moteur distinct et significatif de l'engagement, suggérant que les créateurs de contenu et les plateformes doivent considérer comment les choix narratifs façonnent les attentes futures, et non seulement les réactions immédiates.
La méthode complète l'analyse de contenu existante en ajoutant une dimension prospective, ce qui est crucial pour comprendre le comportement dynamique dans les médias narratifs.

L'article reste modeste quant à la causalité, notant que leurs résultats sont associatifs et que les attentes dérivées des LLM sont des approximations (introduisant une erreur de mesure). Ils reconnaissent les limites concernant l'hétérogénéité des lecteurs (traitant le LLM comme un lecteur « moyen ») et la nature purement textuelle de leur implémentation actuelle, suggérant que des travaux futurs pourraient explorer des entrées multimodales et des segments de consommateurs hétérogènes.