A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

Imagine que você está tentando descobrir se beber uma taça de vinho todos os dias realmente torna as pessoas mais felizes ou mais tristes. Você decide acompanhar um grupo de pessoas ao longo de vários anos para encontrar a resposta. Isso é o que os pesquisadores chamam de "estudo longitudinal".

No entanto, a vida é bagunçada. As pessoas esquecem de preencher questionários, mudam-se para longe ou simplesmente param de responder perguntas sobre seu humor. Isso é dados ausentes (missing data). Ao mesmo tempo, há outras coisas influenciando os resultados, como quanto dinheiro elas ganham ou qual a idade delas. Esses são os confundidores (as "variáveis ocultas" que turvam as águas).

Este artigo é como uma grande competição de culinária de alta tecnologia. Os pesquisadores não cozinharam apenas um prato; eles simularam milhares de cenários diferentes para ver qual "receita" (método estatístico) funciona melhor quando os ingredientes estão faltando e a cozinha está caótica.

Aqui está a divisão de suas descobertas em termos simples:

O Problema: Duas Bagunças ao Mesmo Tempo

Em estudos do mundo real, você geralmente tem dois problemas acontecendo ao mesmo tempo:

1. Dados Ausentes: Algumas pessoas desistiram ou pularam perguntas.
2. Confundimento: É difícil dizer se o álcool causou a mudança de humor, ou se algo mais (como estresse ou renda) causou ambos.

A maioria dos estudos anteriores tentou corrigir esses problemas um de cada vez. Este estudo perguntou: "Se tivermos um conjunto de dados bagunçado, qual é a melhor combinação absoluta de ferramentas para corrigir as peças que faltam E separar a causa real do ruído?"

O Experimento: A Cozinha de Simulação

Os pesquisadores construíram um mundo virtual usando um computador. Eles criaram pessoas falsas com vidas falsas, hábitos de bebida falsos e humores falsos. Então, eles deliberadamente "quebraram" os dados ao:

• Fazer algumas pessoas desaparecerem (dados ausentes).
• Fazer com que os desaparecimentos acontecessem por diferentes razões (alguns aleatórios, outros porque as pessoas estavam infelizes).
• Alterar o número de anos em que foram acompanhados.
• Adicionar diferentes números de "variáveis ocultas" (confundidores).

Eles então testaram 7 maneiras diferentes de corrigir os dados ausentes (como adivinhar os números que faltam) e 6 maneiras diferentes de controlar os confundidores (como ajustar a receita). Eles rodaram esta simulação 1.000 vezes para cada combinação para ver qual dava a resposta mais precisa.

Os Ingredientes: Os Métodos Testados

Para corrigir dados ausentes (O time do "Preencher as Lacunas"):

• Análise de Caso Completo (Complete Case Analysis): Apenas jogue fora qualquer pessoa que tenha uma peça faltando. (Como jogar fora um bolo inteiro porque falta um ovo).
• Imputação pela Média (Mean Imputation): Preencha a lacuna com a média. (Como adivinhar que uma nota de teste ausente é a média da classe).
• Imputação Múltipla (MI): Crie várias versões diferentes de "e se" para os dados ausentes e tire a média dos resultados. (Como pedir a 10 chefs diferentes para adivinhar o ingrediente que falta, depois pegar a média das suposições).
• Random Forest & KNN: Algoritmos de computador inteligentes que olham para pessoas semelhantes para adivinhar os valores ausentes.

Para controlar confundidores (O time do "Cancelamento de Ruído"):

• Ajuste Multivariado (MA): Simplesmente adicionar todas as variáveis conhecidas na equação matemática.
• Métodos de Escore de Propensão (PSM, IPW): Tentar combinar bebedores com não bebedores que pareçam exatamente iguais no papel, ou dar mais peso a tipos de pessoas raras.
• Estimativa Duplamente Robusta (DRE): Um sistema de "dupla verificação". Usa dois modelos matemáticos diferentes; se um estiver errado, o outro salva o dia.
• Variável Instrumental (IV): Usar um terceiro fator (como um traço genético ou um evento aleatório) que influencia o consumo de álcool, mas não o humor diretamente, para agir como um experimento natural.

Os Resultados: Quem Ganhou a Competição?

1. O Mito do "Mecanismo de Ausência"
Os pesquisadores descobriram que o porquê de os dados estarem faltando (se era aleatório ou porque as pessoas estavam tristes) não mudava muito a resposta final. O mais importante era quanto dado estava faltando. Quanto mais dados ausentes, piores eram os resultados, não importa o método usado.

2. O Melhor Time do "Preencher as Lacunas"
Para inferência causal (encontrar a verdadeira causa), os vencedores foram:

• Imputação Múltipla (MI): O padrão ouro. Lida bem com a incerteza.
• Imputação pela Média: Surpreendentemente boa para este objetivo específico, embora seja simples.
• Random Forest: O algoritmo inteligente que aprende com padrões.

Evite: Simplesmente jogar fora pessoas com dados ausentes (Análise de Caso Completo) foi o pior desempenho. Criou o maior número de erros.

3. O Melhor Time do "Cancelamento de Ruído"
Isso dependia da situação:

• Cenário A (Efeitos Complexos, do Mundo Real): Se o efeito do álcool varia de pessoa para pessoa (heterogêneo) e não há segredos ocultos, a Estimativa Duplamente Robusta (DRE) foi a vencedora clara. Foi a mais precisa e estável.
• Cenário B (Efeitos Simples ou Segredos Ocultos): Se o efeito é o mesmo para todos, ou se há confundidores não medidos (segredos que os pesquisadores não conheciam), o método de Variável Instrumental (IV) foi o melhor. É o único que conseguiu espiar por trás da cortina das variáveis ocultas.

4. A Combinação de Ouro
O estudo descobriu que a melhor estratégia para a maioria dos cenários do mundo real (onde os efeitos variam e assumimos que conhecemos os principais confundidores) é:

Imputação Múltipla (ou Random Forest) + Estimativa Duplamente Robusta.

Esta combinação era como ter um mestre chef (MI) e um sistema de dupla verificação (DRE). Produziu os resultados mais precisos com a menor quantidade de erro.

O Teste de Sabor no Mundo Real

Para provar que sua simulação não era apenas uma fantasia de computador, eles aplicaram esses métodos a dados reais do China Health and Retirement Longitudinal Study (CHARLS). Eles observaram a ligação entre álcool e depressão em adultos mais velhos chineses.

O resultado? Os dados do mundo real se comportaram exatamente como sua simulação.

• Todos os métodos encontraram uma ligação entre álcool e depressão.
• Os métodos "Duplamente Robustos" combinados com "Imputação Múltipla" deram os números mais estáveis e confiáveis.
• O método de "Jogar fora dados ausentes" (Caso Completo) combinado com "Ponderação de Probabilidade Inversa" deu os resultados mais erráticos e inflados.

A Conclusão

Se você é um pesquisador tentando descobrir causa e efeito em estudos de longo prazo:

1. Não apenas delete os dados ausentes. Use métodos inteligentes de preenchimento como Imputação Múltipla ou Random Forest.
2. Use um sistema de "Dupla Verificação". Se você acha que o efeito varia entre as pessoas, use a Estimativa Duplamente Robusta.
3. Cuidado com os segredos. Se você suspeita que existem fatores ocultos que não consegue medir, pode precisar de uma Variável Instrumental, mas cuidado — ela perde poder se houver muitos anos de acompanhamento.

O artigo conclui que, ao combinar a ferramenta de "preenchimento" certa com a ferramenta de "cancelamento de ruído" certa, os pesquisadores podem obter respostas muito mais claras e confiáveis a partir de dados bagunçados do mundo real.