Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

No mundo dos experimentos científicos, os pesquisadores frequentemente enfrentam uma escolha difícil entre precisão e praticidade. Para descobrir se um novo tratamento funciona, os cientistas frequentemente utilizam um método chamado randomização, onde atribuem pessoas a um grupo de tratamento ou a um grupo de controle por acaso. Uma versão popular e poderosa disso envolve o agrupamento de participantes que são muito semelhantes entre si — talvez vizinhos com rendas semelhantes ou estudantes com pontuações de teste semelhantes — e então atribuir aleatoriamente o tratamento a uma pessoa do par, enquanto a outra serve como o controle. Essa abordagem "por pares" é como ter um controle integrado para cada único sujeito, o que geralmente torna os resultados muito mais nítidos e confiáveis do que apenas comparar dois grandes grupos mistos. No entanto, um problema persistente em estudos do mundo real é a atrição: pessoas abandonando o experimento antes que ele termine. Quando isso acontece, um par pode perder um membro, deixando a outra pessoa sem um parceiro. Durante anos, o conselho padrão foi descartar esses "órfãos" individuais e analisar apenas os pares onde ambas as pessoas permaneceram. A lógica era que, sem um parceiro, os dados eram complexos demais para serem usados. Essa prática, contudo, significava que os pesquisadores estavam descartando informações valiosas, encolhendo efetivamente seu estudo e tornando mais difícil detectar efeitos reais.

Dois pesquisadores, Simon Heß e Patrick W. Schmidt, desafiaram essa regra de longa data. Eles argumentam que o medo de usar dados de pares incompletos é equivocado, desde que o motivo pelo qual as pessoas abandonam o estudo não esteja relacionado ao tratamento que receberam. Em seu novo trabalho, eles demonstram que é possível manter cada observação, mesmo as solitárias, e ainda obter resultados altamente precisos. Eles desenvolveram uma nova maneira de analisar os dados que respeita a estrutura de pareamento original, enquanto combina inteligentemente as informações dos pares completos com as informações dos incompletos. Em vez de descartar os indivíduos isolados, o método deles os trata como peças úteis do quebra-cabeça, ponderando-os apropriadamente com base na quantidade de informação que fornecem. Ao fazer isso, eles mostram que os pesquisadores podem manter a alta precisão do design de pareamento sem sofrer a penalidade estatística de perder dados devido aos abandonos.

O cerne de sua descoberta é um procedimento de teste específico que atua como um filtro inteligente. Quando um estudo perde um participante, a abordagem tradicional seria simplesmente deletar o par inteiro da análise, efetivamente fingindo que aquela pessoa nunca existiu. Os autores mostram que isso joga fora uma quantidade significativa de evidências. O novo método deles utiliza uma técnica chamada inferência de randomização, que se baseia no fato de que o tratamento foi atribuído por um lançamento de moeda dentro de cada par. Eles criam um estatístico de teste que observa a diferença nos resultados dos pares completos e a diferença nos resultados dos indivíduos isolados, e então mistura essas duas fontes de informação. A mistura é feita com precis verdadeiramente matemática: os pares completos, que oferecem uma comparação direta entre duas pessoas semelhantes, recebem mais peso, enquanto os indivíduos isolados, que oferecem uma comparação mais ampla através de todo o grupo, recebem um peso menor, mas ainda significativo. Essa combinação permite que o estudo utilize todos os pontos de dados que restam, maximizando o poder para detectar um efeito real.

Para provar que isso funciona, os pesquisadores realizaram extensas simulações e cálculos teóricos. Eles compararam seu novo método com as duas formas padrão pelas quais os cientistas lidam atualmente com esse problema. O primeiro método padrão é o "teste t pareado", que segue a velha regra de descartar pares incompletos. O segundo é o "teste t de duas amostras", que ignora o pareamento inteiramente e apenas compara a média de todas as pessoas tratadas contra a média de todas as pessoas de controle. Os autores descobriram que sua nova abordagem superou consistentemente ambos. Em cenários onde a qualidade do pareamento era alta — ou seja, os pares eram muito bem combinados — o antigo método pareado perdia muito poder assim que as pessoas começavam a abandonar o estudo. O método que ignorava o pareamento inteiramente era frequentemente muito conservador, falhando em ver efeitos que realmente estavam lá. O novo método, contudo, dominou ambos, entregando resultados mais fortes em todos os níveis de atrição e qualidade de pareamento que testaram.

Os pesquisadores também abordaram uma preocupação comum sobre se este novo método é muito complicado para ser usado na prática. Eles mostraram que a ponderação e o teste complexos podem ser realizados usando uma ferramenta estatística padrão chamada regressão ponderada, que está disponível em quase todos os pacotes de software comuns. Um pesquisador pode simplesmente dizer ao software para incluir todos os dados, atribuir um peso específico aos indivíduos isolados e incluir efeitos fixos para os pares completos. Isso torna o poderoso novo método acessível a qualquer pessoa que possa realizar uma análise básica, removendo a barreira de precisar de código especializado e customizado. Os autores enfatizam que esta solução funciona melhor quando os abandonos ocorrem por razões não relacionadas ao tratamento, como mudar-se de cidade ou perder o interesse, em vez de porque o tratamento fez a pessoa se sentir pior. Se os abandonos estiverem relacionados ao próprio tratamento, o problema torna-se muito mais difícil, mas para a grande maioria dos casos onde os abandonos são aleatórios, o novo método oferece um caminho a seguir.

Em uma verificação final, os autores compararam seu design de pareamento otimizado com uma estratégia diferente recomendada quando se espera atrição: usar grupos maiores em vez de pares, como grupos de quatro pessoas. A ideia é que, em um grupo de quatro, se uma pessoa sai, três permanecem, preservando mais a estrutura do grupo. Os pesquisadores simularam este cenário e descobriram que, mesmo com grupos maiores, o método otimizado deles para pares ainda se sustentava. Em muitos casos, a eficiência ganha com o pareamento rigoroso, quando combinado com o método deles de usar todos os dados disponíveis, foi suficiente para vencer os grupos maiores. Isso sugere que os pesquisadores não precisam abandonar o design de pareamento apenas porque temem a atrição. Em vez disso, podem manter a estratégia de pareamento mais precisa e simplesmente aplicar a nova técnica de análise para garantir que não estão desperdiçando nenhum dos dados que trabalharam tanto para coletar.

As implicações deste trabalho são diretas para qualquer pessoa que realize um estudo. Isso remove o compromisso entre manter um design apertado e eficiente e perder dados devido à atrição. Ao recusar-se a descartar os indivíduos isolados e, em vez disso, tecê-los na análise com o peso correto, os pesquisadores podem manter seus estudos poderosos e suas conclusões robustas. O artigo fornece um conjunto de ferramentas práticas que transforma uma fraqueza potencial — perder participantes — em uma parte gerenciável do processo, garantindo que os resultados finais reflitam todo o escopo do experimento, e não apenas os sobreviventes.