Resumo Técnico: Construindo Modelos de Mundo Social com Grandes Modelos de Linguagem

1. Declaração do Problema

O artigo aborda o desafio fundamental de modelar e prever como as crenças sociais evoluem em resposta a eventos do mundo real (ex: mudanças de políticas, avanços científicos ou eleições políticas). Embora os Grandes Modelos de Linguagem (LLMs) possuam conhecimento de senso comum e inteligência social, a aplicação deles a este domínio enfrenta três obstáculos específicos:

• Quantificabilidade e Escassez de Dados: As crenças sociais são semânticas e difíceis de capturar como dados de séries temporais estruturados e de alta fidelidade. Fontes tradicionais, como pesquisas ou redes sociais, sofrem com ruído, viés e falta de representatividade.
• Complexidade Semântica: As transições sociais são impulsionadas por uma psicologia e contexto cultural matizados, em vez de leis explícitas e codificadas. Modelos estatísticos ou simbólicos tradicionais frequentemente falham em capturar essas regras de transição implícitas.
• Falta de Atribuição Explícita: Mesmo quando mudanças de crença são observadas, o elo causal entre um evento específico e a mudança é frequentemente obscurecido. Sem rótulos explícitos de "evento-para-mudança", os modelos têm dificuldade em aprender os mecanismos subjacentes da dinâmica social.

A questão central de pesquisa é: Podem os LLMs modelar a dinâmica das crenças sociais em resposta a eventos?

2. Metodologia: O Modelo de Mundo Social (SWM)

Os autores propõem o Modelo de Mundo Social (SWM), um framework generativo que trata a crença coletiva como um estado semântico ($s_t$) e eventos sociais como ações exógenas ($e_t$). O modelo aprende uma função de transição de estado $P_\theta(s_{t+1} | s_t, e_t)$.

2.1 Fundamentação de Dados: SWM-Bench

Para resolver o problema da escassez de dados, os autores introduzem o SWM-Bench, um benchmark derivado de mercados de previsão do mundo real (Kalshi e Polymarket).

• Racional: Os preços dos mercados de previsão servem como um sinal de alta fidelidade e agregado da opinião pública, filtrando o ruído e refletindo uma tomada de decisão racional baseada em riscos financeiros.
• Formato: Uma crença social é definida como uma proposição binária $q$ com uma probabilidade implicada pelo mercado $v_t \in [0, 1]$. O estado $s_t$ é uma janela de trajetória dos preços recentes, e o espaço de eventos $E_t$ consiste em artigos de notícias candidatos.

2.2 Arquitetura e Paradigma de Treinamento

O framework SWM utiliza LLMs como a espinha dorsal para três módulos principais, empregando um paradigma de treinamento guiado por posterior para resolver o problema de rotulagem de atribuição sem anotações humanas.

1. Atribuição de Evento Latente: O verdadeiro evento que impulsiona uma mudança de crença é tratado como uma variável latente $Z_t$. O modelo aproxima as transições condicionando-se a um único evento hipotético.
2. Atribuidor Prior ($P_\eta$): Um modelo prospectivo que pontua eventos candidatos com base no contexto disponível antes da ocorrência da mudança.
3. Atribuidor Posterior ($Q_\phi$): Um LLM de retrospectiva congelado que observa o resultado realizado ($s_{t+1}$) e determina qual evento candidato melhor explica a mudança. Isso atua como um "professor" fornecendo pseudo-rótulos.
4. Modelo de Mundo Social ($P_\theta$): O motor de transição que aprende a prever $s_{t+1}$ dado $s_t$ e um evento atribuído específico.

Objetivo de Treinamento:
O treinamento minimiza uma função de perda composta por dois termos:

• Perda do Modelo de Mundo ($L_{wm}$): Treina $P_\theta$ para prever a transição $s_{t+1}$ condicionada ao evento atribuído pelo posterior $Q_\phi$.
• Perda de Atribuição ($L_{attr}$): Destila a atribuição de retrospectiva de $Q_\phi$ para o atribuidor prior $P_\eta$ usando divergência KL.

Esta abordagem permite que o modelo aprenda mecanismos causais realizando inferência inversa: o posterior identifica a causa, e o prior aprende a prever essa causa sem acesso ao futuro.

2.3 Modos de Inferência

A arquitetura desacoplada suporta dois modos distintos:

• Previsão (Forecasting): Marginaliza sobre a incerteza do atribuidor prior para prever trajetórias futuras do mercado ($\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$).
• Simulação: Condiciona diretamente a um evento específico (real ou hipotético) para estimar a mudança de crença do tipo "e se" (what-if), contornando o atribuidor.

3. Principais Contribuições

1. SWM-Bench: O primeiro benchmark de avaliação curado de mercados de previsão do mundo real, transformando crenças sociais em um formato de série temporal quantificável abrangendo política, finanças e criptomoeda.
2. Framework de Modelo de Mundo Social: Uma arquitetura inovadora que utiliza LLMs para capturar regras de transição implícitas e semanticamente impulsionadas de dinâmicas sociais, indo além da previsão tradicional de séries temporais.
3. Treinamento Supervisionado por Posterior: Um paradigma de treinamento que resolve o problema de rotulagem de atribuição ao desacoplar o raciocínio social (atribuição) da modelagem de dinâmica, permitindo o aprendizado sem anotações humanas explícitas.

4. Resultados Experimentais

Experimentos foram conduzidos no SWM-Bench (datasets Kalshi e Polymarket) comparando o SWM contra modelos de séries temporais (ex: Autoformer, iTransformer) e baselines baseados em LLM (prompting e fine-tuning).

• Desempenho: O SWM alcança resultados de estado da arte no dataset Kalshi, superando baselines fortes, incluindo GPT-5.5 e vários modelos de séries temporais. No dataset Polymarket, demonstra um desempenho competitivo, particularmente em acurácia direcional.
• Acurácia Direcional: No subconjunto atribuído (onde existe um driver de notícia claro), o SWM (prior) atinge a maior acurácia direcional (0,685 no Polymarket, 0,845 no Kalshi).
• Estudos de Ablação:
  • Tamanho do Modelo: Backbones de LLM maiores (0.6B a 8B) melhoram consistentemente o desempenho, sugerindo que a capacidade é crucial para traduzir eventos textuais em dinâmicas numéricas.
  • Atribuição: O principal gargalo é a capacidade do atribuidor prior de isolar o choque causal correto. Quando um posterior oráculo é usado para inferência, o desempenho melhora significamente, indicando que o modelo de transição ($P_\theta$) é altamente preciso uma vez que o evento é identificado.
  • Esparsidade de Eventos: Sinais causais estão frequentemente concentrados em um único evento; a seleção guiada por posterior com um único evento ($m=1$) iguala o desempenho do conjunto completo.

5. Significância e Alegações

O artigo afirma que o SWM fornece um novo pipeline para modelar e prever a evolução do consenso coletivo. Ao fundamentar as dinâmicas sociais em mercados de previsão e aproveitar as capacidades de raciocínio dos LLMs, o framework oferece um toolkit escalável para a sociologia digital quantitativa.

Os autores posicionam este trabalho como um passo em direção aos modelos de mundo social paramétricos. Eles enfatizam que, embora o modelo se destaque em capturar mudanças de crença impulsionadas por eventos externos claros (como visto no Kalshi), ele enfrenta desafios em mercados com alto ruído endógeno ou algorítmico (como visto no Polymarket). O trabalho não pretende resolver todos os problemas de previsão social, mas sim estabelecer um framework fundamental para entender como eventos específicos impulsionam mudanças na opinião pública, oferecendo insights interpretáveis sobre os mecanismos das dinâmicas de crença social.

Nota Ética: Os autores reconhecem que tais modelos carregam riscos se usados maliciosamente (ex: para desinformação direcionada) e defendem a implantação defensiva e transparente para detectar mudanças não naturais na crença coletiva, em vez de manipulá-las.