A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

Imagina que estás tratando de averiguar si beber una copa de vino cada día realmente hace que las personas sean más felices o más tristes. Decides realizar un seguimiento a un grupo de personas durante varios años para encontrar la respuesta. Esto es lo que los investigadores llaman un "estudio longitudinal".

Sin embargo, la vida se vuelve caótica. La gente olvida completar las encuestas, se mudan de lugar o simplemente dejan de responder preguntas sobre su estado de ánimo. Esto es datos faltantes. Al mismo tiempo, hay otras cosas que influyen en los resultados, como cuánto dinero ganan o qué edad tienen. Estos son confundidores (las "variables ocultas" que enturbian las aguas).

Este artículo es como una competencia de cocina de alta tecnología y gran escala. Los investigadores no solo cocinaron un plato; simularon miles de escenarios diferentes para ver qué "receta" (método estadístico) funciona mejor cuando faltan ingredientes y la cocina es un caos.

Aquí está el desglose de sus hallazgos en términos sencillos:

El Problema: Dos Desastres a la Vez

En los estudios del mundo real, generalmente tienes dos problemas ocurriendo al mismo tiempo:

1. Datos Faltantes: Algunas personas abandonaron el estudio o saltaron preguntas.
2. Confusión: Es difícil determinar si el alcohol causó el cambio de humor, o si algo más (como el estrés o los ingresos) causó ambas cosas.

La mayoría de los estudios previos intentaron solucionar estos problemas uno a la vez. Este estudio se preguntó: "Si tenemos un conjunto de datos desordenado, ¿cuál es la mejor combinación de herramientas para arreglar las piezas faltantes Y separar la causa real del ruido?"

El Experimento: La Cocina de Simulación

Los investigadores construyeron un mundo virtual usando una computadora. Crearon personas falsas con vidas falsas, hábitos de bebida falsos y estados de ánimo falsos. Luego, deliberadamente "rompieron" los datos:

• Hicieron que algunas personas desaparecieran (datos faltantes).
• Hicieron que las desapariciones ocurrieran por diferentes razones (algunas aleatorias, otras porque las personas estaban infelices).
• Cambiaron el número de años que fueron seguidos.
• Añadieron diferentes cantidades de "variables ocultas" (confundidores).

Luego probaron 7 formas diferentes de arreglar los datos faltantes (como adivinar los números faltantes) y 6 formas de controlar los confundidores (como ajustar la receta). Ejecutaron esta simulación 1,000 veces para cada combinación para ver cuál daba la respuesta más precisa.

Los Ingredientes: Los Métodos Probados

Para arreglar los datos faltantes (El equipo de "Rellenar los espacios en blanco"):

• Análisis de Caso Completo (Complete Case Analysis): Simplemente desecha a cualquiera que tenga una pieza faltante. (Como tirar un pastel entero porque falta un huevo).
• Imputación de la Media (Mean Imputation): Rellena el hueco con el promedio. (Como adivinar que la puntuación faltante de un examen es el promedio de la clase).
• Imputación Múltiple (MI): Crea varias versiones diferentes de los datos faltantes ("¿qué pasaría si...?") y promedia los resultados. (Como pedirle a 10 chefs diferentes que adivinen el ingrediente faltante, luego tomar el promedio de sus suposiciones).
• Random Forest y KNN: Algoritmos computacionales inteligentes que buscan personas similares para adivinar los valores faltantes.

Para controlar los confundidores (El equipo de "Cancelación de Ruido"):

• Ajuste Multivariado (MA): Simplemente añadir todas las variables conocidas en la ecuación matemática.
• Métodos de Puntuación de Propensión (PSM, IPW): Intentar emparejar a los bebedores con no bebedores que se vean exactamente iguales en el papel, o dar más peso a tipos de personas poco comunes.
• Estimación Doblemente Robusta (DRE): Un sistema de "doble verificación". Utiliza dos modelos matemáticos diferentes; si uno está mal, el otro salva el día.
• Variable Instrumental (IV): Usar un tercer factor (como un rasgo genético o un evento aleatorio) que influye en la bebida pero no en el estado de ánimo directamente, para actuar como un experimento natural.

Los Resultados: ¿Quién Ganó la Competencia?

1. El Mito del "Mecanismo de Ausencia"
Los investigadores encontraron que el porqué faltaban los datos (si era aleatorio o porque la gente estaba triste) no cambiaba mucho la respuesta final. Lo más importante era cuántos datos faltaban. Cuantos más datos faltaban, peores eran los resultados, sin importar qué método se usara.

2. El Mejor Equipo de "Rellenar los Espacios en Blanco"
Para la inferencia causal (encontrar la verdadera causa), los ganadores fueron:

• Imputación Múltiple (MI): El estándar de oro. Maneja bien la incertidumbre.
• Imputación de la Media: Sorprendentemente buena para este objetivo específico, aunque sea simple.
• Random Forest: El algoritmo inteligente que aprende de los patrones.

Evitar: Simplemente desechar a las personas con datos faltantes (Análisis de Caso Completo) fue el peor desempeño. Creó la mayor cantidad de errores.

3. El Mejor Equipo de "Cancelación de Ruido"
Esto dependía de la situación:

• Escenario A (Efectos complejos del mundo real): Si el efecto del alcohol varía de persona a persona (heterogéneo) y no hay secretos ocultos, la Estimación Doblemente Robusta (DRE) fue la clara ganadora. Fue la más precisa y estable.
• Escenario B (Efectos simples o Secretos Ocultos): Si el efecto es el mismo para todos, o si hay confundidores no medidos (secretos que los investigadores no conocían), el método de Variable Instrumental (IV) fue el mejor. Es el único que podía mirar detrás de la cortina de las variables ocultas.

4. La Combinación Dorada
El estudio encontró que la mejor estrategia para la mayoría de los escenarios del mundo real (donde los efectos varían y asumimos que conocemos los principales confundidores) es:

Imputación Múltiple (o Random Forest) + Estimación Doblemente Robusta.

Esta combinación era como tener un maestro chef (MI) y un sistema de doble verificación (DRE). Produjo los resultados más precisos con la menor cantidad de error.

La Prueba de Sabor en el Mundo Real

Para demostrar que su simulación no era solo una fantasía de computadora, aplicaron estos métodos a datos reales del Estudio Longitudinal de Salud y Envejecimiento de China (CHARLS). Observaron el vínculo entre el alcohol y la depresión en adultos mayores chinos.

El resultado fue que los datos del mundo real se comportaron exactamente como su simulación.

• Todos los métodos encontraron un vínculo entre el alcohol y la depresión.
• Los métodos "Doblemente Robustos" combinados con la "Imputación Múltiple" dieron los números más estables y confiables.
• El método de "desechar datos faltantes" (Caso Completo) combinado con el "Ponderación de la Probabilidad Inversa" dio los resultados más erráticos e inflados.

La Conclusión Final

Si eres un investigador tratando de descubrir causa y efecto en estudios a largo plazo:

1. No te limites a eliminar los datos faltantes. Usa métodos de llenado inteligentes como la Imputación Múltiple o Random Forest.
2. Usa un sistema de "Doble Verificación". Si crees que el efecto varía entre las personas, usa la Estimación Doblemente Robusta.
3. Ten cuidado con los secretos. Si sospechas que hay factores ocultos que no puedes medir, podrías necesitar una Variable Instrumental, pero ten cuidado: pierde potencia si tienes demasiados años de seguimiento.

El artículo concluye que al combinar la herramienta de "llenado" adecuada con la herramienta de "cancelación de ruido" adecuada, los investigadores pueden obtener respuestas mucho más claras y confiables de los desordenados datos del mundo real.