A Total Statistical Error Framework for Comparing Census Data Collection Methods

Imagina que estás intentando tomar una instantánea perfecta de una ciudad bulliciosa. Quieres saber exactamente quién vive dónde, cuántas personas hay en cada casa y dónde suelen dormir. Este es el trabajo de un censo. Pero la vida es caótica. La gente se muda, olvidan completar los formularios o están durmiendo en un lugar temporal como un dormitorio universitario o un campamento de construcción. Cuando los censistas no pueden encontrar a una persona o no conocen su dirección "habitual", tienen que adivinar. Este juego de adivinanzas se llama imputación.

Ahora, imagina que tienes dos formas diferentes de hacer estas conjeturas. Tal vez un método utiliza un enfoque de "vecino más cercano" (encontrar a la persona más similar que sí respondió y copiar sus detalles), y otro utiliza un cerebro informático complejo llamado "bosque aleatorio" (random forest) para predecir la respuesta. ¿Cómo sabes qué adivinador es mejor? Normalmente, los estadísticos comprueban dos cosas por separado: ¿Encontraron a la persona? ¿Y adivinaron su dirección? Pero, ¿qué pasa si un método encuentra a más personas pero adivina mal sus direcciones, mientras que el otro encuentra a menos personas pero acierta las direcciones? Es como comparar a un chef que cocina una comida enorme pero quema la mitad, frente a uno que cocina una comida pequeña perfectamente. Necesitas una forma de medir la comida completa, no solo las partes. Este artículo construye un nuevo "tablero de puntuación" para resolver exactamente ese problema, ayudando a los funcionarios a decidir qué método de adivinación ofrece la imagen más precisa de la población.

---

El Gran Duelo de Adivinaciones del Censo

En el mundo de contar personas, acertar la dirección es tan importante como acertar el recuento. Si un estudiante es contado en su dormitorio universitario pero su dirección "habitual" es en realidad la casa de sus padres, es un error para la planificación local. Los autores de este artículo, Siu-Ming Tam y Anders Holmberg, se dieron cuenta de que los estadísticos no tenían una forma única y justa de comparar diferentes métodos de adivinación. Querían una puntuación que combinara "¿Nos encontraron?" y "¿Acertamos su dirección?" en un solo número sencillo.

Crearon un nuevo marco llamado el marco de Error Estadístico Total (TSE). Piensa en esto como un videojuego donde cada persona en el país es un personaje. Para cada personaje, obtienes un punto de "Correcto" (1) solo si ocurren dos cosas: el censo realmente lo encontró y le asignó la dirección de su hogar correcta. Si el censo lo pasó por alto por completo, o si lo encontró pero lo puso en la casa equivocada, obtienes un punto de "Incorrecto" (0). Al sumar todos estos puntos, obtienes una Tasa de Corrección. Esta tasa es el desempate definitivo. Si el Método A tiene una tasa de corrección más alta que el Método B, el Método A gana. No importa si el Método A encontró a ligeramente menos personas; si encontró a las personas correctas en los lugares correctos, es la mejor herramienta.

Las Dos Formas de Revisar la Puntuación

El artículo explica que existen dos formas de calcular esta puntuación, dependiendo de la información que tengas.

Paradigma I: La Caja Misteriosa (Encuesta de Validación)
A veces, no conoces la dirección "real" de todo el mundo. Solo tienes una muestra. Imagina que tienes una caja gigante de datos del censo, pero no conoces las respuestas reales. Para revisar tu trabajo, envías un equipo especial (una Encuesta de Post-Enumeración, o PES) a una muestra aleatoria de personas para preguntarles: "Oye, ¿dónde vives realmente?". Comparas las conjeturas del censo con las respuestas de la PES. Esto es como un profesor calificando un examen revisando solo algunas preguntas al azar. El artículo muestra que si las personas que no responden a la PES son diferentes de las que sí lo hacen (por ejemplo, si las personas con direcciones incorrectas son más difíciles de encontrar), tu puntuación estará sesgada. Es como si el profesor solo calificara las preguntas fáciles porque las difíciles son demasiado difíciles de leer. Los autores descubrieron que este "no respuesta dependiente" puede hacer que un mal método parezca excelente.

Paradigma II: La Llave Maestra (Referencia Directa)
A veces, tienes la "verdad" para todos. Tal vez tienes un censo anterior o un registro gubernamental perfecto. En este caso, no necesitas adivinar ni muestrear; simplemente comparas el nuevo método directamente contra la lista maestra. Es como tener la clave de respuestas de todo el examen. Puedes calcular la tasa de corrección exacta sin necesidad de conjeturas ni muestreos. El artículo utiliza este método para su experimento principal porque tuvieron acceso a un conjunto de datos masivo del Censo de Australia de 2021, donde conocían las respuestas reales de todos.

El Gran Experimento: ¿Quién Adivina Mejor?

Para probar su nuevo marco, los autores realizaron una simulación masiva utilizando datos reales del Censo de Australia de 2021. Tomaron un grupo de 30,000 personas y fingieron que el 2%, 5% o 10% de ellos tenían datos "faltantes" (como ingresos o tipo de trabajo). Luego, dejaron que dos diferentes máquinas de adivinación intentaran llenar los huecos:

1. k-Vecinos más Cercanos (kNN): Este método busca a la persona en la base de datos que es más similar a la que falta y copia su información.
2. Bosque Aleatorio (Random Forest): Este es un modelo informático más complejo que construye muchos árboles de decisión para predecir la información faltante.

Probaron estos métodos bajo una condición complicada llamada NMAR (No Faltante de Forma Aleatoria). Esto significa que las personas que estaban "faltantes" no faltaban por azar; faltaban porque tenían ingresos altos, y las personas con ingresos altos tenían menos probabilidades de responder al censo. Este es un escenario realista que hace que adivinar sea muy difícil.

El Resultado Sorprendente:
Cuando observaron la "Tasa de Corrección General" (la puntuación total incluyendo a todos), los tres métodos parecían casi idénticos. Todos puntuaron entre el 95% y el 98%. ¿Por qué? Porque la mayoría de la gente no tenía datos faltantes, por lo que fueron contados correctamente de forma automática. La puntuación general estaba ocultando el problema real.

Pero cuando se centraron solo en las personas que necesitaban ser adivinadas (la "Tasa de Corrección Condicional"), la historia cambió por completo.

• El modelo de Bosque Aleatorio (Random Forest) fue el claro ganador al adivinar detalles individuales. Superó al kNN en cada una de las variables probadas. Por ejemplo, adivinó la industria laboral correcta el 34% de las veces (frente al 29% de kNN) e ingresos correctos el 17% de las veces (frente al 12.5% de kNN).
• Sin embargo, al mirar el cuadro completo (obtener los cuatro detalles correctos a la vez para la misma persona), el método de k-Vecinos más Cercanos (kNN) (específicamente usando solo 1 vecino) en realidad tomó la delantera ligeramente. Logró los cuatro detalles correctos para el 3.7% de las personas faltantes, mientras que el Bosque Aleatorio solo logró el 3.4%.

¿Por qué la diferencia? Porque el Bosque Aleatorio adivinaba cada detalle por separado. Podía acertar el trabajo para una persona pero fallar en los ingresos. El método kNN tomaba todos los detalles del mismo "vecino", por lo que las respuestas se mantenían consistentes entre sí. Era como obtener un atuendo completo de un amigo frente a obtener una camisa de un amigo y pantalones de otro; el atuendo completo simplemente encaja mejor. Así que, aunque el Bosque Aleatorio es el mejor "especialista" en hechos individuales, el método más simple de kNN fue ligeramente mejor para mantener la coherencia de toda la historia.

La Trampa de la Encuesta Sesgada

El hallazgo más crítico del artículo proviene de la simulación del "Paradigma I". Los autores simularon un escenario donde el "equipo de revisión" (la PES) tuvo problemas para encontrar a las personas a las que se les había adivinado incorrectamente.

• El Enfoque Estándar: Si solo miras a las personas que respondieron a la PES, podrías pensar que tu método de adivinación tiene un 97% de precisión.
• La Realidad: La precisión real era de aproximadamente el 95%.
• El Sesgo: El enfoque estándar estaba sobreestimando la calidad en aproximadamente 2.5 puntos porcentuales.

Pero aquí está el detalle: cuando miraron grupos específicos (como personas empleadas), el error explotó. Debido a que el grupo de personas faltantes era pequeño (solo entre el 1.5% y el 6% del grupo), el pequeño sesgo se magnificó masivamente. El enfoque estándar afirmaba que la precisión para los empleados era de alrededor del 50-60%, cuando la precisión real era en realidad cercana al 0%! Fue una sobreestimación catastrófica.

La Solución:
Los autores probaron un arreglo llamado CBB-NR. Esto implica añadir una simple "etiqueta" al modelo de la encuesta: "¿Fue la información de esta persona faltante e imputada en primer lugar?".

• Cuando añadieron esta simple etiqueta, el sesgo cayó en un 90%.
• Sorprendentemente, añadir los valores adivinados reales (los ingresos o el trabajo adivinado) no ayudó mucho. La simple etiqueta de "Sí/No" que decía "Esta persona fue una conjetura" fue el ingrediente mágico.

Por qué esto importa

Este artículo ofrece a los estadísticos una nueva regla justa para medir la calidad del censo. Demuestra que mirar el "cuadro general" (la precisión global) puede ocultar fallas graves en cómo se adivinan los datos faltantes. También nos advierte que si nuestras encuestas de revisión pierden a las personas que son más difíciles de encontrar (aquellas con respuestas incorrectas), pensaremos que nuestros métodos son mucho mejores de lo que realmente son.

Los autores demuestran que, al usar su nuevo "Tasa de Corrección" y corregir el sesgo de la encuesta con una simple etiqueta, finalmente podemos comparar métodos como kNN y Bosque Aleatorio de manera justa. Encontraron que, si bien los modelos informáticos complejos son excelentes para adivinar hechos individuales, los métodos más simples que mantienen todos los hechos juntos podrían ser mejores para contar la historia completa. Lo más importante es que demostraron que, sin corregir el sesgo en nuestras encuestas de revisión, estamos volando a ciegas, pensando que nuestros mapas son perfectos cuando en realidad pueden estar llenos de agujeros.