Technische Samenvatting: Het modelleren van verwachtingen over verhalen met Large Language Models

Probleemstelling

De betrokkenheid van consumenten bij narratieve media (boeken, films, tv) wordt aanzienlijk gevormd door hun vooruitblikkende verwachtingen over wat er hierna zal gebeuren. Het modelleren van deze verwachtingen over ongestructureerde narratieve inhoud is echter historisch gezien een uitdaging gebleken. Traditionele benaderingen kampen met twee belangrijke hindernissen:

1. Beperkingen van enquêtes: Het ophalen van een volledige distributie van mogelijke voortzettingen van een verhaal bij menselijke respondenten is kostbaar, terwijl het onderzoeken van slechts één of twee dimensies faalt in het vatten van de complexiteit van het narratieve verloop.
2. Modelleringsaannames: Standaard economische modellen gaan vaak uit van rationele verwachtingen over laag-dimensionale uitkomsten (bijv. toekomstige prijzen). Het toepassen hiervan op verhalen vereist het modelleren van hoe een hoog-dimensionale distributie van mogelijke voortzettingen afhankelijk is van een hoog-dimensionale geschiedenis van het verhaal, waarvoor geen voor de hand liggend startpunt bestaat.

Gevolgelijk is er een gebrek aan schaalbare methoden om de overtuigingen van consumenten over narratieve inhoud te benaderen, wat het vermogen van makers en platforms beperkt om te begrijpen hoe geanticipeerde inhoud de betrokkenheid stuurt.

Methodologie

De auteurs stellen een generatief raamwerk voor dat gebruikmaakt van Large Language Models (LLMs) om de vooruitblikkende overtuigingen van consumenten te benaderen. Het raamwerk bestaat uit vier componenten:

1. Generatie van geïndeerde verhaalvoortzettingen

De kernmechanisme houdt in dat een vooraf getraind LLM meerdere plausibele voortzettingen van een verhaal genereert op basis van de tekst die tot nu toe gelezen is (bijv. hoofdstukken 1 tot en met $t$).

• Proces: Het LLM wordt geprompt om het volgende hoofdstuk ($t+1$) te genereren. Om een distributie van overtuigingen te benaderen in plaats van een enkele deterministische output, genereert het model $N$ voortzettingen (meestal 50) per hoofdstuk.
• Parameters: De auteurs gebruiken een temperatuur van 1.0 om een balans te vinden tussen diversiteit en coherentie.
• Rationale: LLMs, getraind op enorme corpora van narratieve teksten, vatten complexe storytelling-patronen en kunnen een distributie van voortzettingen genereren die de verwachtingen van een representatieve consument weerspiegelt.

2. Feature Extractie

De ongestructureerde tekst van de geïndeerde voortzettingen wordt omgezet in interpreteerbare, theoretisch gemotiveerde kenmerken (features).

• Kenmerken: Het raamwerk extraheert vooraf gedefinieerde kenmerken die geassocieerd zijn met betrokkenheid, zoals emotie (valentie, arousal) en semantisch pad (snelheid, omwegen). Het extraheert ook "geleerde" narratieve dimensies (bijv. spanning, nieuwsgierigheid, cliffhanger-intensiteit, tempo).
• Berekening van de verwachting: De verwachting voor een kenmerk $z$ bij hoofdstuk $t$ wordt berekend als het gemiddelde van de kenmerkwaarden die uit de $N$ geïndeerde voortzettingen zijn geëxtraheerd:
  $$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$$
  Hogere-orde momenten (variantie, afwijking) kunnen ook worden berekend, hoewel het artikel zich primair richt op het eerste moment (de verwachting).

3. Validatie

De auteurs stellen twee complementaire validatieprocedures voor om te beoordelen of door LLM afgeleide verwachtingen geldige proxies zijn voor menselijke overtuigingen:

• Survey-gebaseerde validatie: Vergelijkt LLM-afgeleide verwachtingen met door mensen gerapporteerde overtuigingen verzameld via enquêtes. Respondenten rapporteren waarschijnlijkheidsdistributies over de uitkomsten van kenmerken (bijv. valentie-bins) voor het volgende hoofdstuk.
• Rational-Expectations Validatie: Vergelijkt LLM-afgeleide verwachtingen met de werkelijke gerealiseerde verhaalvoortzettingen. Onder de aanname dat consumenten (en het LLM) begrijpen hoe verhalen doorgaans verlopen, zou de door het LLM voorspelde distributie moeten overeenkomen met de objectieve distributie van de werkelijke verhaaluitkomsten. Dit wordt getest door de werkelijke kenmerkwaarden te regresseren op de door het LLM afgeleide verwachte waarden.

4. Engagement Analyse

Het raamwerk wordt gebruikt om de betrokkenheid van de lezer (interesse, beslissing om door te lezen, stemmen, reageren) te modelleren als een functie van zowel de gerealiseerde inhoud (kenmerken van het zojuist gelezen hoofdstuk) als de geïndeerde inhoud (kenmerken van het volgende geïndeerde hoofdstuk). De auteurs hanteren een lineair model van verwachte nut waarbij engagement afhankelijk is van de huidige kenmerken en de verwachting van toekomstige kenmerken.

Empirische Toepassingen en Resultaten

Het raamwerk werd getest in twee settings: een gecontroleerd survey-experiment en een observationele studie van een online leesplatform.

1. Survey Data (Gecontroleerde Setting)

• Data: 263 deelnemers lazen korte verhalen uit vijf verschillende genres en rapporteerden emotionele overtuigingen (valentie/arousal) en engagement-intenties.
• Validatie: LLM-afgeleide verwachtingen voor valentie en arousal correleerden significant met menselijk gerapporteerde verwachtingen (hellingen van 0,57 en 0,56, respectievelijk), hoewel LLMs de reikwijdte van de overtuigingen neigden te comprimeren.
• Bevindingen over engagement:
  • Verklarende interesse: Verwachte arousal voorspelde significant de interesse om verder te lezen, zelfs na controle voor de huidige valentie en arousal van het hoofdstuk. Verwachte valentie was niet significant.
  • Beslissing om door te lezen: Verwachte arousal was een significante voorspeller van de binaire beslissing om het volgende hoofdstuk te lezen.
  • Proxy Prestaties: Het vervangen van door surveys verkregen verwachtingen door LLM-afgeleide verwachtingen in regressiemodellen leverde vergelijkbare resultaten op, wat bevestigt dat LLMs een schaalbare proxy zijn.

2. Observationele Data (Online Platform)

• Data: 8.399 hoofdstukken uit 937 boeken op een online platform, waarbij engagement werd gemeten via de vote-to-read en comment-to-read ratio's.
• Validatie (Rational Expectations): LLM-afgeleide verwachtingen voor 15 kenmerken (inclusclusief emotie, semantisch pad en narratieve dimensies) waren significante positieve voorspellers van de werkelijke hoofdstukken. De coëfficiënten waren positief en significant, maar gedempt (bijv. helling valentie 0,69, arousal 0,62).
• Bevindingen over engagement:
  • Vooruitblikkende verwachtingen (valentie, arousal, snelheid, omwegen) waren significante voorspellers van stem- en reactieratio's, bovenop de kenmerken van de reeds geconsumeerde inhoud.
  • Specifiek waren meer negatieve/laag-energetische verwachtingen en hogere snelheid/lagere omweg-verwachtingen geassocieerd met hogere engagement.
  • Gevoeligheidsanalyse: De auteurs toonden aan dat de coëfficiënten voor specifieke kenmerken (bijv. verwachte arousal) gevoelig zijn voor de inclusie van andere narratieve dimensies (bijv. spanning, cliffhangers), wat het belang van het raamwerk benadrukt bij het verfijnen van causale vragen.

Belangrijkste Bijdragen

1. Schaalbaar Raamwerk voor Ongestructureerde Verwachtingen: Het artikel introduceert een methode om de overtuigingen van consumenten over hoog-dimensionale, ongestructureerde narratieve inhoud te modelleren, waarmee de literatuur over verwachtingen wordt uitgebreid voorbij gestructureerde toestandsruimten.
2. Duale Validatiestrategie: Het stelt een methode voor en implementeert twee verschillende validatiebenaderingen (survey-gebaseerd en rational-expectations-gebaseerd), waarmee wordt aangetoond dat LLMs als informatieve proxies kunnen dienen voor menselijke overtuigingen zonder dat daarvoor in alle contexten kostbare dataverzameling nodig is.
3. Vooruitblikkende Drivers van Engagement: De studie levert empirisch bewijs dat wat lezers verwachten te gebeuren (specifiek verwachte arousal en semantische pad-kenmerken) de betrokkenheid stuurt, onafhankelijk van wat ze reeds hebben gelezen.
4. Feature Discovery en Causale Verfijning: Door voortzettingen te genereren, stelt het raamwerk onderzoekers in staat om een breed scala aan narratieve dimensies te extraheren en te testen hoe het controleren voor deze dimensies de geschatte impact van focale kenmerken beïnvloedt, wat helpt bij het diagnosticeren van 'omitted variable bias' in narratieve studies.

Betekenis en Claims

De auteurs beweren dat dit raamwerk een schaalbare methode biedt voor het modelleren van de overtuigingen van consumenten over narratieve inhoud. Zij stellen dat:

• LLMs, getraind op narratieve teksten, kunnen dienen als een "redelijk startpunt" voor het modelleren van de anticipatie van de lezer.
• Vooruitblikkende verwachtingen een onderscheidende en significante drijfveer van engagement zijn, wat suggereert dat makers van content en platforms moeten overwegen hoe narratieve keuzes toekomstige verwachtingen vormgeven, en niet alleen directe reacties.
• De methode bestaande contentanalyse aanvult door een vooruitblikkende dimensie toe te voegen, wat cruciaal is voor het begrijpen van dynamisch gedrag in narratieve media.

Het artikel blijft bescheiden over causaliteit en merkt op dat hun resultaten associatief zijn en dat de door LLM afgeleide verwachtingen benaderingen zijn (wat meetfouten introduceert). Zij erkennen beperkingen met betrekking tot de heterogeniteit van lezers (het behandelen van het LLM als een "gemiddelde" lezer) en de tekstuele aard van de huidige implementatie, en suggereren dat toekomstig werk multimodale inputs en heterogene consumentensegmenten kan verkennen.