A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Imagina que eres un detective tratando de resolver un misterio sobre toda la población de una ciudad, pero solo puedes entrevistar a un pequeño grupo de personas elegidas al azar. Este es el mundo de las encuestas de probabilidad, la herramienta estadística que los gobiernos y los investigadores utilizan para entender todo, desde cuántas ovejas hay en un campo hasta cómo se siente la gente con sus empleos. ¿El gran problema? No todo el mundo abre la puerta. Algunas personas ignoran al detective, otras cuelgan el teléfono y otras simplemente se niegan a hablar. Esto se llama no respuesta.

Durante mucho tiempo, la regla estándar para estos detectives fue simple: "Toca en cada una de las puertas que no respondieron hasta que alguien abra". El objetivo era obtener la mayor tasa de respuesta posible —el porcentaje de personas que dijeron "sí". La lógica era que si hablas con más personas, tu imagen de la ciudad debe ser más clara. Sin embargo, los estadísticos se han dado cuenta de que una alta tasa de respuesta no siempre significa una imagen de alta calidad. Podrías tocar mil puertas solo para descubrir que las personas que finalmente respondieron son todas de un mismo vecindario, dejándote con una visión sesgada de toda la ciudad. El verdadero objetivo no es solo obtener más respuestas de "sí"; es obtener la respuesta más precisa posible con el dinero que tienes. Este artículo plantea una pregunta crucial: Si tienes un presupuesto limitado para tocar puertas, ¿cómo deberías gastarlo para obtener el mejor resultado posible, en lugar de solo el más ruidoso?

---

El dilema del detective: Por qué tocar en cada puerta puede ser una pérdida de tiempo

En el mundo de la estadística oficial, como la recopilada por la Oficina de Estadísticas de Australia, existe un clásico tira y afloja entre coste y calidad. Los estadísticos de encuestas tienen un presupuesto para el "Seguimiento de la No Respuesta" (NFU, por sus siglas en inglés)—el dinero y el tiempo dedicados a perseguir a las personas que no respondieron la primera vez. La estrategia de la vieja escuela era usar este presupuesto para dar seguimiento a cada uno de los no respondedores, con la esperanza de convertirlos en respondedores. El pensamiento era: "Más respondedores equivale a mejores datos".

Pero los autores de este artículo, SM Tam, A Holmberg y S Wang, argumentan que esto es como un detective gastando todo su dinero intentando entrevistar al mismo testigo poco cooperativo una y otra vez, solo para decir que lo intentó, mientras ignora otros cabos sueltos que podrían resolver el caso más rápido. Señalan que la tasa de respuesta es un indicador deficiente de la calidad de los datos. A veces, aumentar la tasa de respuesta en realidad empeora los datos al introducir más sesgo.

En lugar de perseguir una alta tasa de respuesta, los autores proponen una nueva estrategia: Minimizar el Error Cuadrático Medio (MSE). En lenguaje sencillo, el MSE es una medida de qué tan lejos está tu suposición de la respuesta real. El objetivo es gastar tu dinero de seguimiento de tal manera que tu estimación final sea lo más cercana posible a la verdad, no solo la más ruidosa.

La nueva estrategia: El mapa de "Grupos de Homogeneidad de Respuesta"

Para resolver esto, los autores sugieren un método que suena un poco como una guía de estrategia de un videojuego. Dividen a los no respondedores en grupos llamados Grupos de Homogeneidad de Respuesta (RHG). Piensa en estos grupos como vecindarios donde todos tienen una puntuación similar de "voluntad de hablar", conocida como puntuación de propensión.

• Grupo A: Personas que son muy propensas a responder si se les pide amablemente (Alta Propensión).
• Grupo B: Personas que son muy obstinadas y poco propensas a responder sin importar qué se haga (Baja Propensión).

El artículo argumenta que no se debe tratar a todos por igual. Si tienes un presupuesto limitado, no deberías desperdiciarlo intentando convencer a los miembros del súper obstinado Grupo B para que hablen después de haber llamado cinco veces. En su lugar, deberías centrar tu energía en los grupos donde unos pocos toques adicionales realmente aportarán información nueva y útil.

Los autores utilizan un marco matemático llamado cuasi-aleatorización e ponderación de la inversa de la propensión. Imagina que estás tomando una foto de una multitud. Si solo fotografías a las personas que están en la primera fila, tu foto estará sesgada. Pero si sabes exactamente cuántas personas hay en la última fila y qué tan propensas eran a dar un paso adelante, puedes matemáticamente "estirar" la foto para que parezca que viste a todos. Este artículo sugiere usar esa matemática para decidir quién merece el esfuerzo adicional de una visita de seguimiento.

El experimento de la granja de ovejas

Para probar su idea, los autores realizaron una simulación utilizando datos reales de la Encuesta de Entorno Rural y Productos Agrícolas (REACS) 2018/19 en Australia. Intentaban estimar el número de ovejas en las granjas.

Así es como configuraron el experimento:

1. Los Datos: Analizaron 4,696 granjas. 3,525 eran granjas continuas (habían sido encuestadas anteriormente) y 1,171 eran granjas nuevas.
2. La Predicción: Utilizaron un algoritmo informático llamado Random Forest (un tipo de aprendizaje automático que actúa como un equipo de árboles de decisión) para predecir qué tan probable era que cada granja respondiera. Para las granjas nuevas, utilizaron un método de "k-Vecinos más Cercanos", encontrando las granjas antiguas más similares para adivinar el comportamiento de las nuevas.
3. Los Grupos: Clasificaron a todas las granjas que no respondieron en 10 grupos (RHG) basados en su probabilidad de responder, que variaba desde "Muy Improbable" (0% a 10% de probabilidad) hasta "Muy Probable" (90% a 100%).
4. El Presupuesto: Establecieron un presupuesto hipotético de seguimiento de $30,000.

Los Resultados: Gastar con inteligencia, no con dureza

Los autores utilizaron un solucionador informático (como una calculadora súper inteligente) para determinar el número perfecto de visitas de seguimiento para cada grupo para minimizar el error en su conteo de ovejas, sin exceder el presupuesto.

La Vieja Forma (Práctica Común):
Si simplemente tocas en cada puerta el mismo número de veces, podrías terminar gastando demasiado tiempo en las granjas súper obstinadas (donde no obtienes resultados) y no lo suficiente en las granjas que "tal vez" respondan. En su simulación, este enfoque de "talla única" costó $30,000 y resultó en una tasa de respuesta del 99%. Sin embargo, el error en su conteo de ovejas seguía siendo relativamente alto.

La Nueva Forma (Asignación Óptima):
El método de los autores sugirió un plan muy diferente:

• Para los grupos de "Muy Improbable": Tocar 6 veces en el primer grupo y 5 veces en el segundo. Estos grupos tienen una alta varianza en sus datos, lo que significa que contribuyen más a la incertidumbre general de la estimación. Al asignar más visitas aquí, la estrategia apunta a los grupos específicos que reducirán el error de la manera más efectiva.
• Para los grupos de "Muy Probable": Tocar solo 1 vez. Estas personas ya son propensas a responder; no necesitas desperdiciar dinero tocando 6 veces.
• El Coste: Esta estrategia inteligente solo costó $19,640 (aproximadamente dos tercios del presupuesto).
• El Resultado: Incluso gastando menos dinero, redujeron la varianza de la no respuesta (el error causado por las personas ausentes) de 57.77 mil millones de unidades a 38.21 mil millones de unidades.

La Gran Sorpresa:
La "Práctica Común" obtuvo una tasa de respuesta del 99%, mientras que la "Estrategia Óptima" obtuvo una tasa del 97%.

• Práctica Común: 99% de tasa de respuesta, mayor error, costo $30,000.
• Estrategia Óptima: 97% de tasa de respuesta, menor error, costo $19,640.

El artículo muestra que la tasa de respuesta del 99% fue una "falsa victoria". Parecía impresionante, pero costó más dinero y en realidad dio una imagen menos precisa de la población de ovejas. La estrategia óptima ahorró dinero y dio una mejor respuesta, incluso con menos personas diciendo "sí". Específicamente, comparado con el método estándar de "tocar en cada puerta", la asignación óptima redujo la varianza de la no respuesta en aproximadamente un 3.9%. (Nota: La reducción del 10.4% mencionada en el documento se refiere a la reducción del Error Cuadrático Medio en comparación con el hecho de no realizar ningún seguimiento, no en comparación con el método estándar).

Lo que esto significa para el futuro

Los autores concluyen que perseguir una alta tasa de respuesta es una trampa. Es como intentar ganar un juego contando cuántas veces gritas "¡Jaque!" en lugar de realmente comprobar si tienes una mano ganadora.

Sus hallazgos sugieren que los estadísticos de encuestas deberían dejar de intentar convertir a cada no respondedor. En su lugar, deberían usar los datos para identificar qué grupos necesitan un pequeño empujón adicional y cuáles ya están bien. Al asignar los recursos basados en dónde reducirán más el Error Cuadrático Medio, las agencias pueden obtener mejores datos por menos dinero.

En el caso específico de la encuesta de ovejas, la asignación óptima redujo el error significativamente en comparación con no hacer nada, y por un margen menor pero significativo en comparación con el método estándar de "tocar en cada puerta", todo ello ahorrando miles de dólares. El artículo no afirma que sea una solución mágica para todos los problemas, pero proporciona una forma clara y matemáticamente sólida de hacer que los seguimientos de las encuestas sean más inteligentes, demostiendo que, a veces, saber cuándo dejar de tocar es tan importante como saber cuándo empezar.