📊 statistics

Hypothesizing an effect size by considering individual variation

O artigo propõe uma abordagem para formular hipóteses realistas sobre o efeito médio de um tratamento, considerando a distribuição de efeitos individuais e ilustrando essa metodologia com exemplos nas áreas de medicina, economia e psicologia.

Autores originais: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Publicado 2026-04-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um arquiteto planejando construir uma ponte. Antes de colocar o primeiro tijolo, você precisa responder a uma pergunta crucial: quão forte essa ponte precisa ser?

Na ciência, essa pergunta se traduz em: "Qual será o tamanho do efeito da nossa intervenção?" (Por exemplo: "Este remédio vai salvar quantas vidas?" ou "Esta nova aula vai melhorar a nota dos alunos em quanto?").

O artigo de Andrew Gelman e seus colegas diz que os cientistas estão fazendo isso errado. Eles estão tentando adivinhar um número único (uma média) e, por isso, estão construindo pontes que caem. A solução proposta é mudar a pergunta: em vez de perguntar "qual é o número?", pergunte "como os efeitos se distribuem entre as pessoas?".

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Ilusão do "Efeito Médio"

Atualmente, quando os cientistas planejam um estudo, eles tentam adivinhar um número mágico. Eles dizem: "Acho que este remédio vai aumentar a sobrevivência em 25%".

A analogia do "Café da Manhã Perfeito":
Imagine que você quer saber se um novo café da manhã faz as pessoas ficarem mais energéticas. Você pergunta a um especialista: "Quanto de energia isso dá?". O especialista diz: "Cerca de 20% a mais".
O problema é que essa média esconde a realidade:

Para algumas pessoas, o café da manhã é mágico (elas ganham 100% de energia).
Para a maioria, é apenas um café normal (ganho de 5%).
Para outras, elas são alérgicas ao pão e ficam doentes (perda de energia).

Se você planejar seu estudo baseado apenas na "média de 20%", você vai achar que seu experimento precisa de poucas pessoas para funcionar. Mas, na realidade, como a maioria das pessoas não sente muita diferença, seu estudo vai falhar ou dar resultados enganosos.

2. A Solução: Pense em "Distribuição" e "Variação"

Os autores propõem que, antes de escolher um número, devemos imaginar quem vai receber o tratamento e como ele vai reagir.

A Analogia do "Filtro de Café":
Em vez de tentar adivinhar o sabor do café final, olhe para os grãos:

Quem é o "Grão Perfeito"? (Pessoas que vão reagir muito bem).
Quem é o "Grão Quebrado"? (Pessoas para quem o tratamento não faz nada, ou até faz mal).
Qual a proporção? Se você tem 100 pessoas, quantas são grãos perfeitos? Quantas são quebradas?

O método sugerido é:

Passo 1: Imagine o cenário ideal. Se o tratamento funcionasse perfeitamente em quem precisa, qual seria o efeito? (Digamos, 100% de melhoria).
Passo 2: Pense na realidade. Quantas pessoas não vão se beneficiar? (Talvez 50% não tomem o remédio, ou 30% tenham o problema tão grave que nada adianta).
Passo 3: Jogue tudo isso numa "sopa". Se você tem 100 pessoas, e apenas 20 delas vão ter uma melhoria gigante, enquanto 80 não mudam nada, a média real do seu estudo será muito menor do que você imaginou.

3. Por que isso é importante? (O Perigo do "Piloto Ruim")

Muitos cientistas fazem um "estudo piloto" (um teste pequeno) para ver o efeito e depois usam esse número para planejar o estudo grande.

A Analogia do "Lançamento de Moeda":
Imagine que você lança uma moeda 10 vezes e dá "cara" 7 vezes. Você pode pensar: "Nossa, essa moeda é viciada, dá cara 70% das vezes!". Mas, na verdade, você só teve sorte. Se você lançar 1.000 vezes, a chance é de 50%.
Estudos pequenos são como lançar a moeda 10 vezes. Eles são muito barulhentos (cheios de ruído). Se você planejar seu estudo grande baseado num piloto pequeno que "sorteou" um efeito alto, você vai acabar com um estudo gigante que não consegue provar nada, porque o efeito real era muito menor.

4. Exemplos Reais (Traduzidos)

Medicina (O Remédio Milagroso):
Um médico acha que um remédio vai salvar 25% a mais de pacientes. Ele planeja um estudo pequeno.
- Pensamento novo: "Espera. Quem vai morrer de qualquer jeito? Quem vai viver de qualquer jeito? Quem é que o remédio realmente salva?"
- Resultado: Talvez o remédio salve 100% das pessoas que estavam "no meio do caminho", mas essas pessoas sejam apenas 20% do total. O efeito real no grupo todo cai para 20%. O médico precisa de um estudo muito maior para ver isso.
Política (Conhecer Pessoas):
"Conhecer uma pessoa gay muda sua opinião sobre casamento gay?"
- Pensamento novo: Algumas pessoas já são contra e não mudam. Algumas já são a favor e não mudam. Apenas um grupo pequeno (os indecisos) vai mudar de ideia. E dentro desse grupo, alguns vão mudar muito, outros pouco.
- Resultado: O efeito médio é minúsculo. Se você não considerar essa variação, vai achar que seu estudo precisa de poucas pessoas, mas vai acabar com resultados confusos.

5. A Grande Lição: A Replicação e a Realidade

O artigo diz que a "crise de replicação" (quando estudos científicos não conseguem ser repetidos com sucesso) acontece porque estamos tentando achar um "número único" para um mundo cheio de variações.

A Analogia do "Clima":
Não faz sentido dizer "a temperatura média do mundo é 20°C" e esperar que faça 20°C em todos os lugares. No Ártico é frio, no deserto é quente.
Da mesma forma, não faz sentido dizer "o efeito do remédio é X". O efeito depende de quem toma, onde toma e quando toma.

Resumo Final

Para planejar uma pesquisa científica (ou qualquer experimento):

Pare de adivinhar um número mágico.
Pense nas pessoas: Quem vai reagir? Quem não vai?
Desenhe a distribuição: Imagine que o efeito é uma montanha-russa, não uma linha reta.
Ajuste seus planos: Se a maioria das pessoas não sentir diferença, você precisará de muito mais dados para provar que o tratamento funciona.

Ao fazer isso, os cientistas evitam criar estudos fracos, economizam dinheiro e, o mais importante, entendem a realidade complexa do mundo, em vez de viverem em uma ilusão de números perfeitos.

Resumo Técnico: Hipotetizar um Tamanho de Efeito Considerando a Variação Individual

1. O Problema

O artigo aborda uma lacuna crítica no desenho e avaliação de estudos experimentais e observacionais: a dificuldade de formular hipóteses realistas sobre o tamanho médio do efeito causal (Average Treatment Effect - ATE).

Falhas nas Abordagens Atuais:
- Revisão de Literatura/Meta-análise: Sofrem do problema "lixo entra, lixo sai" (garbage-in-garbage-out), pois a literatura existente é frequentemente enviesada pela seleção baseada em significância estatística (viés de publicação).
- Elicitação de Especialistas: Especialistas tendem a superestimar efeitos devido a vieses cognitivos, esperança e dependência da literatura publicada.
- Convenções de Cohen (Pequeno, Médio, Grande): São frequentemente excessivamente otimistas no ambiente moderno de melhorias incrementais.
- Estudos Piloto: Estimações derivadas de pilotos com amostras pequenas são extremamente ruidosas e inúteis para cálculos de poder estatístico, levando a superestimações graves do poder do estudo principal.
Consequências: A suposição de efeitos médios fixos e otimistas resulta em estudos subdimensionados (baixo poder), estimativas enviesadas (erros de Tipo M e S), e contribui para a crise de replicação na ciência. A cultura estatística atual, muitas vezes relutante em fazer suposições restritivas ("Bayesian cringe"), agrava esse problema ao permitir efeitos implausivelmente grandes.

2. Metodologia Proposta

Os autores propõem uma mudança de paradigma: em vez de tentar adivinhar um único número (o efeito médio), os pesquisadores devem hipotetizar uma distribuição de tamanhos de efeito (heterogeneidade de efeitos) e derivar a média a partir dessa distribuição.

A estratégia segue um heurístico de "ancoragem e ajuste" estruturado em quatro passos:

Hipótese de um Efeito Plausível (Âncora): Estimar um efeito realista ( $X$ ) se o tratamento funcionar perfeitamente para quem é sensível a ele, baseado em literatura corrigida e raciocínio de domínio.
Consideração da Variação Realista: Definir um intervalo de efeitos possíveis sob condições do mundo real (ex: de 0 a $X$ ), reconhecendo que nem todos respondem da mesma forma.
Conversão em Distribuição: Modelar esse intervalo como uma distribuição (ex: normal centrada em $0.5X$ com escala $0.5X$ ), permitindo casos extremos positivos e negativos.
Inclusão de "Nulos Puros" ( $p_{null}$ ): Estimar a proporção de indivíduos para os quais o efeito é estritamente zero (ex: pacientes que não tomam a medicação, alunos desatentos, clientes não expostos).
- Fórmula Sugerida: $ATE \approx (1 - p_{null}) \cdot 0.5X$ .
- Regra Prática: Para intervenções diretas, dividir o efeito plausível por 4; para intervenções indiretas (ex: marketing), dividir por 20 ou mais.

Validação Empírica:
Os autores realizaram entrevistas formativas com três pesquisadores (medicina e engenharia). Ao serem guiados a pensar em efeitos individuais (quem tem o maior efeito, quem tem o menor, quem tem efeito nulo), os pesquisadores ajustaram suas expectativas iniciais. Embora tenham dificuldade em estimar a proporção de indivíduos "médios", o processo os forçou a considerar a heterogeneidade e a clareza do propósito do estudo.

3. Resultados e Exemplos Aplicados

O artigo demonstra a aplicação da metodologia em três cenários distintos:

Medicina (Resultados Binários):
- Cenário de Eficácia vs. Efetividade: Em um ensaio clínico ideal (eficácia), a amostra é selecionada para maximizar o efeito (ex: 65% de pacientes "salváveis"), resultando em um ATE alto (0.65). Em um estudo de efetividade (população real), a proporção de "salváveis" cai drasticamente (ex: 20%) devido a pacientes que sobreviveriam de qualquer forma ou morreriam de qualquer forma. O ATE realista cai para 0.20.
- Caso do Coronavírus: Um médico estimou um aumento de 25% na sobrevivência. Ao decompor isso em uma distribuição (quem morre de qualquer forma, quem vive de qualquer forma, quem é salvo), percebe-se que o efeito não é de 25% para todos, mas de 100% para apenas 25% dos pacientes. Isso revela que o efeito médio é altamente dependente da mistura de pacientes.
Ciência Política (Dados Numéricos):
- Atitudes Políticas: Ao estudar o efeito de conhecer alguém de um grupo social sobre atitudes (escala 1-5), os autores mostram que muitos respondentes estão nos extremos (1 ou 5) e não mudarão. Ao modelar a distribuição (quem é imune, quem muda positivamente, quem muda negativamente), o efeito médio esperado cai para valores muito pequenos (ex: 0.1), o que justifica a necessidade de grandes amostras para detectar sinais reais.
Interpretação de Resultados Publicados:
- O método é usado para questionar resultados "demasiado bons para ser verdade". Exemplos incluem um programa de intervenção infantil que supostamente aumentou ganhos em 42% (considerado implausível como média, dado que muitos teriam efeito zero e alguns teriam aumentos massivos) e um estudo sobre roupas vermelhas em mulheres (efeito de 3x), onde a heterogeneidade (mulheres que nunca usam vermelho) tornaria o efeito médio próximo de zero, sugerindo que o resultado publicado foi um falso positivo devido a baixo poder e viés de seleção.

4. Contribuições Chave

Inversão do Fluxo de Trabalho: Em vez de começar com uma hipótese de um efeito médio e depois perguntar se há heterogeneidade, os pesquisadores devem começar assumindo a heterogeneidade e derivar o efeito médio esperado.
Dependência do Propósito do Estudo: O tamanho do efeito esperado deve variar dependendo do objetivo (ex: testar a existência de um efeito em condições ideais vs. estimar a efetividade em uma população representativa).
Reconexão com a Crise de Replicação: A abordagem explica por que estudos não replicam: eles não estão medindo "o" efeito, mas sim efeitos que variam conforme a composição da amostra e o contexto.
Ferramenta de Desenho de Estudos: Oferece um método prático para pesquisadores construírem priores realistas (Bayesianos) e cálculos de poder estatístico mais conservadores e robustos.

5. Significância

O artigo é fundamental para a prática estatística moderna porque:

Combate o Otimismo Excessivo: Força os pesquisadores a confrontar a realidade de que intervenções raramente funcionam para todos, reduzindo a superestimação de poder estatístico.
Melhora a Generalização: Ao explicitar a variação individual, facilita a distinção entre eficácia (funciona em condições controladas) e efetividade (funciona no mundo real), crucial para políticas públicas e medicina.
Muda a Cultura de Replicação: Sugere que a falha na replicação não é necessariamente um erro, mas uma consequência natural da variação de efeitos entre diferentes populações e contextos.
Aplicabilidade Universal: A metodologia aplica-se a qualquer campo que utilize inferência causal, desde economia e psicologia até ciências sociais e biológicas, promovendo um desenho de estudo mais honesto e cientificamente rigoroso.

Em suma, o papel defende que a heterogeneidade não é um detalhe secundário, mas o ponto de partida para qualquer hipótese séria sobre tamanhos de efeito.