Resumo Técnico: SocietyBench

Declaração do Problema

Os atuais benchmarks de Grandes Modelos de Linguagem (LLMs) e agentes focam predominantemente na conclusão de tarefas (ex: corrigir bugs, navegar em GUIs, executar código). Embora essas métricas tenham amadurecido, elas falham em quantificar uma capacidade social complementar: o quão bem um modelo compreende e prevê a dinâmica de eventos sociais do mundo real.

Os benchmarks de previsão existentes sofrem de três limitações críticas:

1. Tipos de Perguntas Estreitos: Eles frequentemente dependem de perguntas binárias de sim ou não (ex: mercados de previsão de mercado), perdendo a nuance de arcos sociais complexos.
2. Contaminação de Dados: Avaliar eventos reais em sua forma original permite que os modelos obtenham pontuações altas via memorização de dados de pré-treinamento, em vez de um raciocínio genuíno. Por outro vez, benchmarks de previsão "ao vivo" não podem ser totalmente avaliados até que o futuro se desenrole, impedindo o benchmarking imediato.
3. Negligência da Opinião Pública: Eventos sociais são impulsionados por uma camada dupla de eventos fatuais e mudanças de sentimento/narrativas públicas, que a maioria dos benchmarks ignora.

Além disso, simulações sociais impulsionadas por LLM (ex: cidades virtuais) testam a fidelidade (o modelo consegue simular uma sociedade?) em vez da precisão de previsão (o modelo consegue prever o desfecho de um evento real?).

Metodologia: SocietyBench

O SocietyBench é um benchmark de ponta a ponta projetado para avaliar a previsão contrafactual de mundos sociais. Ele transforma eventos sociais reais e concluídos em cronologias contrafactuais anonimizadas que preservam as estruturas causais e temporais, enquanto removem rótulos superficiais que poderiam disparar a recuperação de memória.

1. Construção e Anonimização de Dados

O benchmark cobre cinco eventos heterogêneos em diversos domínios: controvérsia pública, geopolítica, política tecnológica, mercados financeiros e política comercial.

• Pipeline: Um pipeline automatizado agrega notícias da Web e postagens de redes sociais de cinco plataformas em uma linha do tempo indexada por data, separando eventos fatuais de uma camada de opinião pública.
• Anonimização de Três Fases: Para evitar a memorização do pré-treinamento, cada cronologia passa por:
  • Substituição de Entidades: Todas as entidades nomeadas são substituídas usando uma tabela de busca de correspondência longa (longest-match lookup table).
  • Deslocamento de Datas: Cada data é deslocada por um offset constante ($\delta$) único para o evento (até 180 dias), destruindo posições de calendário absolutas enquanto preserva os intervalos entre as datas.
  • Auditoria Adversária: Um painel de LLMs adversários tenta reidentificar o evento original e o período de tempo. Se a confiança for alta, o evento é rejeitado ou a anonimização é executada novamente.
• Mundo Contrafactual: O resultado é um "mundo social contrafactual" estruturalmente idêntico à realidade, mas desprovido de rótulos superficiais, forçando os modelos a depender de raciocínio prospectivo em vez de recuperação de memória.

2. Protocolo de Avaliação

Para cada evento, a linha do tempo é dividida em múltiplas datas de corte ($d_P$). O modelo atua como um previsionista que vê apenas o contexto ($C_P$) antes do corte e deve prever o futuro ($G_P$).

• Pontos de Previsão: Cada evento gera 25 pontos de previsão, totalizando 125 pontos em cinco eventos.
• Tipos de Perguntas:
  • Perguntas de Calibração: Perguntas binárias perguntando se o evento $E$ ocorre dentro de uma janela de tempo específica. O modelo fornece uma probabilidade $\hat{p}$.
  • Perguntas Temporais: O modelo prevê a data de calendário específica de um evento futuro.
• Eixos de Pontuação (escala 0–100):
  • Calibração de Probabilidade: Baseada no Erro Absoluto Médio ponderado (wMAE) das probabilidades previstas contra a verdade fundamental (ground truth). Um preditor uniforme de 50% pontua exatamente 50.
  • Precisão Temporal: Baseada no número de dias entre a data prevista e a verdade fundamental, normalizada pelo balde de tempo do evento (0–30, 31–60, 61–90 dias). Um preditor de ponto médio pontua aproximadamente 50.

Principais Contribuições

1. Benchmark SocietyBench: Um benchmark reproduzível de ponta a end-to-end apresentando cinco domínios heterogêneos, linhas do tempo de fonte dupla (notícias + redes sociais) e um pipeline de construção totalmente automatizado.
2. Protocolo Inovador: Um design que combina anonimização no lado da entrada (substituição de entidade/data) com pontuação de eixo duplo no lado da saída (calibração e precisão temporal).
3. Avaliação Abrangente: Avaliação de 6 LLMs de fronteira, 3 frameworks de agentes e 2 baselines não-LLM através de 125 pontos de previsão em edições chinesa e inglesa.

Resultados Experimentais

O estudo avaliou seis LLMs de fronteira (GPT-5.5, Gemini-3.5-Flash, Claude-Opus-4.8, DeepSeek-V4-Pro, Kimi-K2.5, Doubao-Seed-2.0-Pro) e três frameworks de agentes (LangGraph, AutoGen, MiroFish) construídos sobre a base Doubao.

Principais Descobertas

• Teto de Desempenho: O modelo mais forte, GPT-5.5, alcançou uma pontuação geral de 75.0/100, significativamente acima do âncora trivial de 50, mas indicando uma margem substancial para melhoria.
• Dissociação de Eixos: Os dois eixos de pontuação são ortogonais. Um modelo pode ser forte em calibração, mas fraco em precisão temporal (ex: Gemini-3.5-Flash: 73.9 Cal / 67.3 Tempo) ou vice-versa (ex: Claude-Opus-4.8: 62.5 Cal / 70.0 Tempo).
• Variância de Eventos: As lacunas de desempenho variam drasticamente por evento. No evento "Tarifa Trump", a lacuna temporal entre o melhor (GPT-5.5) e o pior (Kimi-K2.5) modelo atingiu 21.4 pontos. Isso sugere que avaliações de um único evento são pouco confiáveis.
• Falha de Agentes: Três frameworks de agentes construídos sobre a base Doubao não conseguiram melhorar o modelo base. Na verdade, a orquestração (ex: AutoGen) degradou levemente o desempenho, particularmente no eixo de calibração.
• Comparação com Baseline: Dois heurísticos sem modelo (frequência e momentum) pontuaram entre 53.8 e 54.2, ficando atrás de todos os LLMs, mas confirmando que os LLMs possuem sinal preditivo além de simples heurísticas.

Insights de Ablação

• Dificuldade das Perguntas: Perguntas de "janela crescente" (Tipo A) foram o principal motor de dificuldade; removê-las inflou as pontuações em +7.2 pontos.
• Viés: Os modelos exibiram um forte viés ao negar eventos falsos (pontuando 76) em comparação com a confirmação de eventos verdadeiros (60).
• Gradiente de Corte: Os modelos geralmente performam melhor em cortes posteriores (vendo mais histórico), validando a capacidade do benchmark de medir a previsão baseada em contexto.

Significância e Alegações

O artigo argumenta que o SocietyBench fornece o primeiro ranking quantitativo rigoroso para previsão de eventos sociais que evita a contaminação de dados.

• Necessidade Contrafactual: Ao anonimizar os eventos, o benchmark garante que as pontuações altas reflitam o raciocínio genuíno sobre dinâmicas sociais em vez da recuperação de memórias de pré-treinamento.
• Requisito de Múltiplos Eventos: A grande variância de desempenho entre diferentes eventos (até 21.4 pontos em um único eixo) serve como o argumento principal para avaliar modelos através de múltiplos eventos heterogêneos em vez de confiar em um único estudo de caso.
• Limitações dos Sistemas Atuais: Os resultados indicam que os atuais LLMs de fronteira e frameworks de agentes estão longe de dominar a previsão social, com os melhores modelos recuperando apenas cerca de metade do "espaço disponível" (headroom) acima de um baseline aleatório. A falha da orquestração de agentes em melhorar o desempenho base sugere que as técnicas atuais de scaffolding ainda não aprimoram o raciocínio social complexo.

Os autores disponibilizam todas as cronologias anonimizadas, bancos de perguntas, verdades fundamentais e código de pontuação para facilitar pesquisas futuras neste domínio.