Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

Resumo Técnico: EXATLAS – Construindo um Atlas de Experimentos Sociais

Declaração do Problema
As ciências sociais e comportamentais geram milhares de experimentos anualmente, mas suas descobertas frequentemente falham em se acumular em um mapa coerente de conhecimento. Como observado por Watts (2017), o campo sofre de um "problema de incoerência": estudiosos examinam fenômenos relacionados sem integração, descobertas concorrentes coexistem sem arbitragem e estudos isolados se acumulam sem teorias que expliquem suas relações. A organização atual da literatura baseia-se em similaridade superficial ou recuperação rasa, o que falha em capturar a natureza composicional das paisagens experimentais. Solicitar diretamente a Grandes Modelos de Linguagem (LLMs) para resumir ou prever resultados frequentemente carece do fundamento evidencial rigoroso necessário para detectar conflitos, vincular descobertas consistentes ou identificar lacunas genuínas na literatura.

Metodologia: O Framework EXATLAS
Os autores introduzem o EXATLAS, um framework projetado para transformar um arquivo de experimentos sociais em um "atlas" estruturado onde estudos se conectam, entram em conflito ou deixam lacunas superáveis. O framework opera sob a premissa de que as paisagens experimentais são inerentemente composicionais: uma descoberta-alvo pode ser reconstruída a partir de uma combinação ponderada de estudos anteriores, mesmo que nenhum estudo anterior individual corresponda exatamente a ela.

O framework procede em duas etapas principais:

1. Representação e Avaliação de Composibilidade:

   • Enriquecimento: Experimentos são codificados como tuplas $(T_i, O_i, Z_i, \tau_i)$, representando tratamento, resultado, contexto e efeito observado. Um LLM (OpenAI o3) enriquece descrições breves de tratamento/resultado com contexto do artigo completo para melhorar a precisão semântica.
   • Embedding: Experimentos são mapeados para um espaço compartilhado de tratamento-resultado usando embeddings de texto. A representação $x_i$ concatena embeddings do tratamento, do resultado e de seu produto elemento a elemento para capturar relações conjuntas.
   • Busca Local: Para um experimento-alvo $e_t$, o EXATLAS busca um conjunto local de candidatos $C(t)$ de experimentos anteriores. Ele resolve um problema de otimização restrita para encontrar pesos $\alpha_{tj}$ que minimizem a distância euclidiana entre a representação-alvo e a soma ponderada das representações-fonte.
   • Mecanismo de Rejeição: Um resíduo normalizado $\rho_t$ é calculado. Se $\rho_t$ exceder um limiar $\lambda$, o alvo é considerado não composível (uma lacuna). Se $\rho_t \le \lambda$, o alvo é composível. Este design torna o framework "rejeitável", prevenindo composições forçadas onde o suporte local é insuficiente.

2. Organização do Atlas (Três Resultados):

   • Vincular (Consistência): Se o alvo é composível e a direção do efeito composto corresponde à direção observada, o alvo é vinculado à evidência anterior consistente.
   • Reconciliar (Conflito): Se o alvo é composível, mas a direção composta discorda do resultado observado, o sistema identifica uma tensão teórica. Um LLM é solicitado com a evidência conflitante para propor uma meta-teoria ou estrutura de moderador (por exemplo, uma interação oculta $2 \times 2$) que explique a divergência.
   • Conectar (Lacuna): Se o alvo é não composível, o sistema identifica uma lacuna. Um LLM propõe iterativamente "experimentos de conexão" para serem adicionados ao arquivo até que o alvo se torne composível, sugerindo efetivamente novas direções de pesquisa para fechar a lacuna de evidências.

Principais Contribuições

1. Um Framework Rejeitável: O EXATLAS introduz um método para compor evidências experimentais que rejeita explicitamente alvos sem suporte local, distinguindo entre anomalias Kuhnianas (conflitos dentro de uma região composível) e extensões Lakatosianas (lacunas que exigem novas fronteiras).
2. Limites de Erro Teóricos: Os autores fornecem um limite de erro teórico para a composição sob a suposição de suavidade local da superfície de efeito-tratamento. O erro se decompõe em erro de extrapolação, viés do modelo local (curvatura) e variação residual não observada.
3. Modos de Falha Generativos: O framework trata suas "falhas" (conflitos e lacunas) como saídas generativas. Conflitos desencadeiam propostas de reconciliação teórica, e lacunas desencadeiam designs acionáveis de experimentos de conexão.

Resultados Empíricos

• Precisão de Composição: Em um conjunto retido de 72 experimentos de um arquivo de 360 (provenientes de principais periódicos de gestão e psicologia), o EXATLAS certificou 72 alvos como localmente suportados. Para estes, a direção do efeito prevista correspondeu à direção observada em 98,61% (71/72) dos casos. Isso superou significativamente as linhas de base, incluindo previsão direta por LLM, RAG de experimento mais próximo e simulações de participantes sintéticos.
• Reconciliação de Conflitos: Em uma avaliação humana de 13 casos de conflito, especialistas constataram que as reconciliações geradas pelo LLM do EXATLAS frequentemente identificavam as mesmas direções amplas que especialistas humanos, mas forneciam mecanismos ou estruturas de moderador mais explícitos. Em alguns casos, o LLM trouxe à tona anomalias estruturais ocultas (por exemplo, um conflito entre células na literatura de contratação envolvendo idade, criatividade e competição) que especialistas humanos não detectaram sem assistência algorítmica.
• Qualidade do Experimento de Conexão: Avaliadores humanos avaliaram os experimentos de conexão propostos contra uma linha de base de "Composição Forçada" (que ignora o mecanismo de rejeição). Embora as pontuações de viabilidade fossem comparáveis, as propostas de Conexão do EXATLAS foram classificadas significativamente mais altas em Plausibilidade ($p=0,040$) e Conectividade ($p=0,031$), indicando que são mais fundamentadas teoricamente e melhor vinculadas à literatura-fonte.

Significado e Alegações
O artigo alega que o arquivo de experimentos sociais contém mais estrutura latente do que as práticas atuais extraem. Ao tornar essa estrutura explícita, o EXATLAS serve não apenas como uma ferramenta de resumo, mas como um "atlas" para orientar a teoria e a experimentação futuras.

Os autores são modestos em seu escopo, afirmando explicitamente que não alegam que LLMs substituem participantes humanos ou que a composição por embedding de texto é universalmente precisa. Em vez disso, argumentam que um arquivo experimental, quando lido de forma composicional, suporta uma estimativa calibrada de onde a evidência chega, onde ela é insuficiente e onde esses limites apontam para direções de pesquisa significativas. O framework fornece infraestrutura para abordar o "problema de incoerência" tratando a literatura como um mapa, e não como uma pilha de estudos isolados.

Limitações
Os autores reconhecem que a alta precisão (98,6%) aplica-se apenas a alvos localmente suportados e não deve ser generalizada para extrapolações além do arquivo. Eles observam que o framework não pode provar, apenas a partir do texto, que o espaço de embedding preserva mecanismos causais; ele trata a geometria de características como um dispositivo de recuperação e reconstrução. Além disso, o módulo de reconciliação é um gerador, não um verificador, e o arquivo subjacente herda vieses sobre o que é publicado e codificado.