Resumo Técnico: Modelagem de Expectativas Narrativas com Grandes Modelos de Linguagem

Problema

O engajamento dos consumidores com mídias narrativas (livros, filmes, TV) é significativamente moldado por suas expectativas prospectivas sobre o que acontecerá a seguir. No entanto, modelar essas expectativas sobre conteúdo narrativo não estruturado tem sido historicamente desafiador. As abordagens tradicionais enfrentam dois obstáculos principais:

1. Limitações de Pesquisa: Elicitar uma distribuição completa de possíveis continuações de história de respondentes humanos é proibitivo em termos de custo, enquanto pesquisar apenas uma ou duas dimensões falha em capturar a complexidade do desenrolar da narrativa.
2. Pressupostos de Modelagem: Modelos econômicos padrão frequentemente assumem expectativas racionais sobre resultados de baixa dimensão (ex: preços futuros). Aplicar isso a histórias requer modelar como uma distribuição de alta dimensão de possíveis continuações depende de um histórico de alta dimensão da história, para o qual não há um ponto de partida óbvio.

Consequentemente, há uma falta de métodos escaláveis para aproximar as crenças dos consumidores sobre o conteúdo narrativo, limitando a capacidade de criadores e plataformas de entender como o conteúdo antecipado impulsiona o engajamento.

Metodologia

Os autores propõem um framework generativo utilizando Grandes Modelos de Linguagem (LLMs) para aproximar as crenças prospectivas dos consumidores. O framework consiste em quatro componentes:

1. Geração de Continuação Imaginada da História

O mecanismo central envolve o uso de um LLM pré-treinado para gerar múltiplas continuações plausíveis de uma história dado o texto lido até o momento (ex: capítulos 1 através de $t$).

• Processo: O LLM é instruído a gerar o próximo capítulo ($t+1$). Para aproximar uma distribuição de crenças em vez de uma saída determinística única, o modelo gera $N$ continuações (tipicamente 50) por capítulo.
• Parâmetros: Os autores utilizam uma temperatura de 1.0 para equilibrar diversidade e coerência.
• Racional: Os LLMs, treinados em vastos corpora de texto narrativo, capturam padrões de contação de histórias complexos e podem gerar uma distribuição de continuações que espelha as expectativas de um consumidor representativo.

2. Extração de Características (Feature Extraction)

O texto não estruturado das continuações imaginadas é convertido em características interpretáveis e motivadas pela teoria.

• Características: O framework extrai características predefinidas associadas ao engajamento, como emoção (valência, excitação/arousal) e caminho semântico (velocidade, circuituosidade). Também extrai dimensões narrativas "aprendidas" (ex: tensão, curiosidade, intensidade de cliffhanger, ritmo).
• Cálculo de Expectativa: A expectativa para uma característica $z$ no capítulo $t$ é calculada como a média dos valores das características extraídos das $N$ continuações imaginadas:
  $$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$$
  Momentos de ordem superior (variância, desvio) também podem ser calculados, embora o artigo foque principalmente no primeiro momento (expectativa).

3. Validação

Os autores propõem dois procedimentos de validação complementares para avaliar se as expectativas derivadas de LLM são proxies válidas para as crenças humanas:

• Validação Baseada em Pesquisa: Compara as expectativas derivadas de LLM com as crenças relatadas por humanos coletadas via pesquisas. Os respondentes relatam distribuições de probabilidade sobre resultados de características (ex: bins de valência) para o próximo capítulo.
• Validação de Expectativas Racionais: Compara as expectativas derivadas de LLM contra as continuações reais da história. Sob a premissa de que os consumidores (e o LLM) entendem como as histórias tipicamente se desenrolam, a distribuição prevista pelo LLM deve alinhar-se com a distribuição objetiva dos resultados reais da história. Isso é testado através da regressão dos valores reais das características sobre os valores esperados derivados do LLM.

4. Análise de Engajamento

O framework é utilizado para modelar o engajamento do leitor (interesse, decisão de continuar, votar, comentar) como uma função tanto do conteúdo realizado (características do capítulo recém-lido) quanto do conteúdo esperado (características do próximo capítulo imaginado). Os autores empregam um modelo de utilidade esperada linear onde o engajamento depende das características atuais e da expectativa de características futuras.

Aplicações Empíricas e Resultados

O framework foi testado em dois cenários: um experimento de pesquisa controlado e um estudo observacional de uma plataforma de leitura online.

1. Dados de Pesquisa (Cenário Controlado)

• Dados: 263 participantes leram contos curtos através de cinco gêneros e relataram crenças emocionais (valência/excitação) e intenções de engajamento.
• Validação: As expectativas derivadas de LLM para valência e excitação correlacionaram-se significativamente com as expectativas relatadas por humanos (inclinações de 0,57 e 0,56, respectivamente), embora os LLMs tendam a comprimir a amplitude das crenças.
• Achados de Engajamento:
  • Interesse Declarado: A excitação esperada previu significativamente o interesse em continuar a leitura, mesmo após controlar pela valência e excitação do capítulo atual. A valência esperada não foi significativa.
  • Decisão de Continuar: A excitação esperada foi um preditor significativo da decisão binária de ler o próximo capítulo.
  • Desempenho de Proxy: Substituir as expectativas elicitadas por pesquisa pelas expectativas derivadas de LLM em modelos de regressão rendeu resultados comparáveis, confirmando os LLMs como um proxy escalável.

2. Dados Observacionais (Plataforma Online)

• Dados: 8.399 capítulos de 937 livros em uma plataforma online, com engajamento medido pelas taxas de voto-para-ler e comentário-para-ler.
• Validação (Expectativas Racionais): As expectativas derivadas de LLM para 15 características (incluindo emoção, caminho semântico e dimensões narrativas) foram preditores positivos significativos das características reais dos capítulos. Os coeficientes foram positivos e significativos, embora atenuados (ex: inclinação de valência 0,69, excitação 0,62).
• Achados de Engajamento:
  • Expectativas prospectivas (valência, excitação, velocidade, circuituosidade) foram preditores significativos das taxas de votação e comentários, para além das características do conteúdo já consumido.
  • Especificamente, expectativas mais negativas/de baixa energia e expectativas de maior velocidade/menor circuituosidade foram associadas a um maior engajamento.
  • Análise de Sensibilidade: Os autores demonstraram que os coeficientes para características focais (ex: excitação esperada) são sensíveis à inclusão de outras dimensões narrativas (ex: tensão, cliffhangers), destacando a importância do framework para refinar questões causais.

Principais Contribuições

1. Framework Escalável para Expectativas Não Estruturadas: O artigo introduz um método para modelar as crenças dos consumidores sobre conteúdo narrativo de alta dimensão, estendendo a literatura de expectativas além de espaços de estados estruturados.
2. Estratégia de Validação Dupla: Propõe e implementa duas abordagens de validação distintas (baseada em pesquisa e baseada em expectativas racionais), demonstrando que os LLMs podem servir como proxies informativos para as crenções humanas sem a necessidade de coleta de dados dispendiosa em todos os contextos.
3. Impulsionadores de Engajamento Prospectivos: O estudo fornece evidência empírica de que o que os leitores esperam que aconteça (especificamente características de excitação e de caminho semântico esperadas) impulsiona o engajamento independentemente do que eles já leram.
4. Descoberta de Características e Refinamento Causal: Ao gerar continuações, o framework permite extrair uma ampla gama de dimensões narrativas e testar como o controle dessas dimensões afeta o impacto estimado das características focais, ajudando a diagnosticar o viés de variável omitida em estudos narrativos.

Significância e Alegações

Os autores alegam que este framework fornece um método escalável para modelar as crenções dos consumidores sobre o conteúdo narrativo. Eles afirmam que:

• LLMs treinados em texto narrativo podem servir como um "ponto de partida razoável" para modelar a antecipação do leitor.
• As expectativas prospectivas são um impulsionador distinto e significativo do engajamento, sugerindo que criadores de conteúdo e plataformas devem considerar como as escolhas narrativas moldam as expectativas futuras, não apenas as reações imediatas.
• O método complementa a análise de conteúdo existente ao adicionar uma dimensão prospectiva, que é crucial para entender o comportamento dinâmico em mídias narrativas.

O artigo permanece modesto quanto à causalidade, observando que seus resultados são associativos e que as expectativas derivadas de LLM são aproximações (introduzindo erro de medição). Eles reconhecem limitações quanto à heterogeneidade dos leitores (tratando o LLM como um leitor "médio") e a natureza puramente textual de sua implementação atual, sugerindo que trabalhos futuros possam explorar entradas multimodais e segmentos de consumidores heterogêneos.