From Plausible to Causal: Counterfactual Semantics for Policy Evaluation in Simulated Online Communities

Título: Do Plausível ao Causal: Semântica Contrafactual para Avaliação de Políticas em Comunidades Online Simuladas

Autores: Agam Goyal, Yian Wang, Eshwar Chandrasekharan e Hari Sundaram (Universidade de Illinois em Urbana-Champaign).
Contexto: PoliSim@CHI 2026.

---

1. O Problema: A Lacuna Causal na Governança Baseada em Simulação

As comunidades online funcionam como sistemas de governança complexos, onde decisões de moderação e políticas afetam milhões de usuários. Atualmente, a governança é majoritariamente reativa, analisando consequências post-hoc. Para superar isso, a comunidade de HCI (Interação Humano-Computador) tem adotado simulações sociais baseadas em Grandes Modelos de Linguagem (LLMs) como "túneis de vento" para testar intervenções antes da implementação real.

No entanto, o artigo identifica um problema fundamental:

• Plausibilidade $\neq$ Causalidade: As simulações atuais são excelentes em gerar interações socialmente plausíveis e comportamentos críveis. Contudo, elas não conseguem responder a perguntas causais rigorosas (ex: "A intervenção A causou a redução da escalada?").
• Ambiguidade de "Causa": Stakeholders (moderadores, designers de plataforma, equipes de política) fazem perguntas diferentes que exigem definições distintas de causalidade, mas as simulações atuais tratam tudo como uma média de resultados, sem distinguir se um fator foi necessário ou suficiente para um resultado.
• Necessidade: É necessário mover o campo de simulações que apenas "parecem reais" para simulações que suportam afirmações causais quantificáveis para tomada de decisão política.

---

2. Metodologia: O Framework Contrafactual Causal

Os autores propõem a adoção do framework de causalidade contrafactual (desenvolvido originalmente para atribuição de eventos climáticos por Hannart et al.) para o contexto de simulação social. A metodologia baseia-se na distinção formal entre dois tipos de causalidade:

A. Definição das Variáveis

• Intervenção ($X$): Ação de governança injetada na simulação (ex: remover um post, adicionar um aviso, mudar regras).
• Resultado ($Y$): Propriedade mensurável do discurso (ex: escalada para assédio, saída de usuários, conformidade com normas).
• Condições:
  • Factual: Simulação rodando com a configuração padrão.
  • Contrafactual: A mesma simulação re-rorada com a intervenção alterada (ligada/desligada).

B. As Duas Métricas Causais

O framework distingue duas probabilidades fundamentais:

1. Probabilidade de Causa Necessária (PN - Probability of Necessity):

   • Pergunta: Dado que o resultado ruim ocorreu e a causa estava presente, qual a probabilidade de que o resultado não teria ocorrido se a causa fosse removida?
   • Fórmula: $PN = P(Y_0 = 0 | Y = 1, X = 1)$
   • Aplicação: Diagnóstico de incidentes específicos (ex: "Foi o comentário inicial tóxico que causou a escalada?").

2. Probabilidade de Causa Suficiente (PS - Probability of Sufficient Causation):

   • Pergunta: Dado que o resultado não ocorreu e a causa estava ausente, qual a probabilidade de que o resultado teria ocorrido se a causa fosse introduzida?
   • Fórmula: $PS = P(Y_1 = 1 | Y = 0, X = 0)$
   • Aplicação: Avaliação de políticas em escala (ex: "Se implantarmos este sistema de contra-discurso, ele evitará a escalada de forma confiável?").

C. Suposições e Simplificação

Para estimar PN e PS a partir de taxas de resultado observáveis ($p_1$ e $p_0$), o framework assume:

1. Exogeneidade: A intervenção é atribuída independentemente da dinâmica do sistema (garantida em simulações por design experimental, ao contrário de estudos observacionais reais).
2. Monotonicidade: A causa opera em uma direção consistente (não aumenta o risco para alguns e diminui para outros).
   • Nota: Se a monotonicidade for violada, as fórmulas fornecem limites inferiores, mas a própria violação é um achado governamental relevante (indicando efeitos heterogêneos).

As fórmulas simplificadas são:
$$PN = 1 - \frac{p_0}{p_1}$$
$$PS = 1 - \frac{1 - p_1}{1 - p_0}$$
Onde $p_1$ é a probabilidade do resultado com a intervenção e $p_0$ sem ela.

---

3. Contribuições Principais

1. Mapeamento de Stakeholders para Evidência Causal:
   O artigo formaliza como diferentes atores de governança necessitam de métricas diferentes:

   • Moderadores: Precisam de PN para atribuição de culpa e revisão de casos específicos (ex: "Este usuário foi a causa necessária do dano?").
   • Designers de Plataforma: Precisam de PS para seleção de políticas e alocação de recursos (ex: "Esta ferramenta é suficiente para prevenir escaladas em massa?").
   • Equipes Jurídicas/Políticas: Usam PN para avaliação de responsabilidade (liability).
   • Pesquisadores: Usam ambas para síntese de evidências e ranking de intervenções.

2. Estimativas Causais Condicionais ao Simulador:
   Os autores argumentam que as estimativas de PN/PS são válidas dentro do contexto do simulador. A relevância política depende da fidelidade do simulador. O framework exige "honestidade epistêmica", qualificando afirmações como "No simulador, a probabilidade de necessidade é X", em vez de afirmações vagas de que "a intervenção pareceu ajudar".

3. Agenda de Pesquisa Operacional:
   Propõem um roteiro para transformar simulações em ferramentas de política:

   • Ferramentas: Criar protocolos padronizados para execuções pareadas (factual vs. contrafactual) e relatórios que mostrem PN/PS em múltiplos limiares de severidade.
   • Validação Empírica: Calibrar as simulações comparando os perfis de PN/PS derivados com estimativas de intervenções reais (ex: banimentos, explicações de moderação).
   • Teste de Assunções: Investigar onde a monotonicidade falha (efeitos heterogêneos) e desenvolver diagnósticos para identificar quando intervenções "reagem" negativamente em contextos específicos.
   • Design Centrado no Stakeholder: Desenvolver interfaces que comuniquem claramente a diferença entre necessidade e suficiência para tomadores de decisão não técnicos.

---

4. Resultados e Exemplo Ilustrativo

O artigo apresenta um exemplo prático com uma simulação de 1.000 threads com e sem um bot de contra-discurso:

• Dados:
  • $p_1$ (sem contra-discurso) = 0.30 (30% de escalada).
  • $p_0$ (com contra-discurso) = 0.08 (8% de escalada).
• Cálculos:
  • PN = 0.73: Em threads que escalaram sem o bot, há 73% de chance de que o bot teria prevenido a escalada. (O bot foi necessário para evitar o dano nesses casos).
  • PS = 0.24: Em threads que permaneceram civis com o bot, apenas 24% teriam escalado se o bot estivesse ausente. (O bot não foi suficiente para explicar a maioria da civilidade, que depende de outros fatores).
• Insight: A assimetria revela que o bot é valioso como intervenção direcionada para threads de alto risco, mas não é uma solução única para a civilidade geral da plataforma.

---

5. Significado e Impacto

• Mudança de Paradigma: O artigo move o foco da validação de simulações baseada em "realismo comportamental" para "validade causal".
• Tomada de Decisão Informada: Permite que plataformas de mídia social e pesquisadores de governança tomem decisões baseadas em probabilidades claras de necessidade e suficiência, em vez de intuição ou médias agregadas enganosas.
• Definição de Fidelidade: Estabelece que a "fidelidade" de um simulador não é apenas sobre parecer humano, mas sobre preservar a estrutura de resposta à intervenção do mundo real para que as estimativas causais sejam transferíveis.
• Fundação para IA Regulatória: Fornece a base semântica necessária para integrar simulações em sistemas de governança assistida por IA, garantindo que as recomendações automatizadas sejam causalmente fundamentadas e eticamente defensáveis.

Em suma, o paper argumenta que, para que simulações sociais baseadas em LLMs sejam úteis para a governança de políticas públicas e corporativas, elas devem abandonar a mera plausibilidade narrativa e adotar rigorosos frameworks contrafactuais para quantificar a causalidade.