Effects of interviewers on response to income and wealth items

Este estudio demuestra que las expectativas de los entrevistadores sobre la disposición de los encuestados a reportar ingresos y patrimonio influyen significativamente en la respuesta a preguntas financieras sensibles en la encuesta SHARE, sugiriendo que estas expectativas son útiles para diseñar estrategias de formación y campo, aunque el promediado de modelos no ofrece ventajas claras sobre métodos más simples para manejar datos faltantes.

Lo esencial

¡Claro que sí! Imagina que este estudio es como una investigación sobre por qué algunas personas se niegan a contarle a un extraño cuánto dinero tienen en el banco, y cómo la actitud de ese extraño (el entrevistador) puede cambiar todo el juego.

Aquí tienes la explicación de este trabajo académico, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🕵️‍♂️ El Problema: El "Muro de Silencio" Financiero

Imagina que estás haciendo una encuesta gigante sobre la vida de las personas mayores en Europa (como un censo de la salud y el dinero). Quieres saber cuánto ganan y cuánto tienen ahorrado. Pero, ¡oh no! Mucha gente se niega a responder. Es como si hubiera un muro de silencio frente a las preguntas de dinero.

En la estadística, a esto se le llama "no respuesta". Si mucha gente no responde, los datos quedan incompletos y el mapa de la realidad se distorsiona.

🎭 El Héroe (o Villano) Inesperado: El Entrevistador

El estudio se centra en una pregunta curiosa: ¿El entrevistador (la persona que hace las preguntas) influye en si la gente responde o no?

No se trata de si el entrevistador es guapo o feo, ni de su edad. Se trata de su "barriga" o su "intuición".

• La Analogía del Pronóstico del Tiempo: Imagina que el entrevistador es un meteorólogo. Antes de salir a la calle, piensa: "¿Crees que la gente va a estar de buen humor y abrir sus arcas, o va a estar cerrada y asustada?".
  • Si el meteorólogo (entrevistador) piensa: "¡Oh, seguro que todos me van a decir sus secretos!" (es optimista), resulta que la gente realmente responde más.
  • Si el meteorólogo piensa: "Nadie me va a hablar, son todos paranoicos" (es pesimista), entonces la gente realmente se cierra en banda.

Es como un efecto espejo: la energía que el entrevistador proyecta (confianza vs. duda) rebota en el encuestado y decide si abre la puerta o la cierra con llave.

🧪 El Experimento: ¿Cómo lo midieron?

Los autores tomaron datos de 41,934 personas en 12 países europeos (como Italia, Alemania, España, etc.). Tuvieron que lidiar con un problema técnico: ¡muchos datos faltaban!

Imagina que tienes un rompecabezas gigante, pero faltan muchas piezas. Para armarlo, los científicos probaron tres métodos diferentes:

1. El Método "Solo lo que tengo" (Análisis de casos completos):

   • La analogía: Tiras al suelo todas las piezas del rompecabezas que están rotas o faltan y solo usas las que están perfectas.
   • Resultado: Es fácil, pero te quedas con la mitad del rompecabezas. Pierdes mucha información.

2. El Método "Adivina y Rellena" (Imputación Múltiple):

   • La analogía: Eres un chef que tiene que cocinar un pastel pero te faltan huevos. Haces 100 versiones diferentes del pastel, cada una con una estimación ligeramente distinta de los huevos que faltan, y luego mezclas los resultados para obtener el sabor promedio.
   • Resultado: Usas toda la información, pero introduces un poco de "ruido" o incertidumbre porque estás adivinando.

3. El Método "El Juez Sabio" (Promedio de Modelos):

   • La analogía: En lugar de elegir un solo método, pides opinión a un panel de jueces que usan las dos técnicas anteriores y toman una decisión ponderada.
   • Resultado: Intentan encontrar la verdad absoluta, pero en este estudio, descubrieron que no fue mucho mejor que los métodos simples. A veces, lo simple funciona igual de bien.

📊 ¿Qué descubrieron? (La Magia)

Los resultados fueron muy claros y positivos:

• La actitud lo es todo: Cuando los entrevistadores tenían una expectativa alta (creían que la gente respondería), los encuestados sí respondían.
• El impacto es real: En algunos países, tener un entrevistador optimista redujo la falta de respuestas en hasta un 14% para ingresos y hasta un 26% para bienes (como casas o cuentas bancarias).
• La lección: No es magia negra, es psicología. Si el entrevistador cree que la tarea es posible y que la gente es cooperativa, esa confianza se transmite y rompe el hielo.

🎓 La Conclusión para el Mundo Real

Este estudio nos dice que para mejorar las encuestas (y obtener datos reales sobre la economía y la salud), no basta con tener buenas preguntas. Hay que entrenar a los entrevistadores.

• Antes: Se entrenaba solo en cómo hacer las preguntas.
• Ahora: Se debe entrenar a los entrevistadores para que tengan confianza, para que crean que la gente puede y quiere responder.

Es como decirle a un vendedor: "No pienses que el cliente va a decir que no; piensa que va a decir que sí, y verás que cambia el resultado".

En resumen: La mentalidad del mensajero puede cambiar el mensaje. Si el mensajero cree que el mensaje será recibido, el receptor lo escuchará.

Resumen técnico

Título: Efectos de los entrevistadores en la respuesta a ítems de ingresos y riqueza

1. El Problema

Las encuestas por muestreo sufren frecuentemente de errores de no muestreo, siendo la no respuesta a ítems (item nonresponse) una fuente persistente de error, especialmente en preguntas financieras sensibles como ingresos y patrimonio. En las encuestas administradas por entrevistadores, el rol del entrevistador es crucial. Aunque se ha estudiado cómo las características sociodemográficas de los entrevistadores afectan la respuesta, existe evidencia empírica de que características no demográficas (como rasgos de personalidad, actitudes y expectativas) también influyen significativamente.

El problema central que aborda este trabajo es determinar si las expectativas de los entrevistadores sobre la disposición de los encuestados a reportar ingresos se correlacionan con la respuesta real a preguntas financieras. Además, el estudio enfrenta el desafío técnico de manejar los valores faltantes en las covariables (tanto de encuestados como de entrevistadores) de manera robusta, comparando diferentes enfoques estadísticos para evitar sesgos y pérdida de eficiencia.

2. Metodología

El estudio utiliza datos de la 6ª Ola del Estudio sobre Salud, Envejecimiento y Jubilación en Europa (SHARE), combinados con la encuesta a entrevistadores (SHARE_IWS) y bases de datos administrativas (roster de entrevistadores).

• Muestra: 41,934 encuestados en 12 países (Austria, Bélgica, Estonia, Alemania, Grecia, Italia, Luxemburgo, Polonia, Portugal, Eslovenia, España y Suecia).
• Variables de Interés:
  • Dependientes: Indicadores binarios de respuesta a cuatro ítems financieros: ingresos totales del hogar, pensiones (vejez/jubilación temprana/supervivencia), cuentas bancarias y valor de la residencia principal.
  • Independiente Principal: Una variable binaria que indica si el entrevistador espera que más del 50% de sus encuestados respondan a preguntas de ingresos (basado en la mediana de la distribución específica por país).
  • Covariables: Características sociodemográficas de encuestados y entrevistadores, estado de salud, carga de trabajo y comportamiento durante la entrevista.
• Enfoques para Valores Faltantes: Dado que los datos de los entrevistadores tienen tasas de no respuesta significativas, el autor compara tres métodos para manejar covariables faltantes:
  1. Análisis de Casos Completos (CCA): Elimina observaciones con datos faltantes.
  2. Método de Relleno (Fill-in - FI): Utiliza Imputación Múltiple (MI) con especificación condicional completa (FCS) y dos samplers Gibbs secuenciales (uno para encuestados y otro para entrevistadores). Se utilizaron 100 imputaciones.
  3. Marco de Indicador de Falta Generalizado (GMI) con Promedio de Modelos (MA): Utiliza el enfoque de "gran modelo" de Dardanoni et al. (2011, 2012, 2015), que considera un espacio de modelos expandido y aplica Promedio Bayesiano de Modelos (BMA) ponderado por criterios de información (BIC y AIC) para manejar la incertidumbre del modelo.

3. Contribuciones Clave

• Extensión Temporal y Geográfica: A diferencia de estudios previos (como Friedel, 2020) que usaron la 5ª ola de SHARE, este trabajo analiza la 6ª ola, abarcando 12 países y permitiendo un análisis de la heterogeneidad entre países.
• Integración de Datos: Combina la encuesta principal, la encuesta a entrevistadores y datos administrativos (roster) para mitigar el sesgo de no respuesta en las características de los entrevistadores.
• Comparación Metodológica Rigurosa: Ofrece una comparación técnica exhaustiva entre CCA, Imputación Múltiple y el marco GMI con promedio de modelos, evaluando no solo la consistencia de los estimadores, sino también la precisión (errores estándar) y la incertidumbre del modelo.
• Enfoque en Expectativas: Cuantifica el impacto de las expectativas subjetivas de los entrevistadores, más allá de sus características demográficas u observables.

4. Resultados

• Efecto de las Expectativas: Los resultados muestran una asociación positiva y significativa en la mayoría de las especificaciones: los encuestados entrevistados por personas con mayores expectativas de respuesta (esperan >50% de respuesta) tienen una probabilidad significativamente mayor de proporcionar información financiera.
  • La magnitud del efecto es sustancial: las expectativas más optimistas se asocian con reducciones en la no respuesta de hasta un 14% para preguntas de ingresos y hasta un 26% para preguntas de activos en ciertos países.
• Comparación de Métodos:
  • El CCA descarta una gran cantidad de datos (de 41,934 a 22,609 observaciones), reduciendo la precisión.
  • La Imputación Múltiple (FI) incorpora más información, pero los errores estándar agrupados suelen ser mayores que en el CCA debido a la varianza entre imputaciones (incertidumbre añadida).
  • El Promedio de Modelos (BMA) no mostró ganancias claras sobre los enfoques más simples. Los estimadores de BMA con pesos AIC se acercaron a los resultados del CCA, mientras que los de BIC se acercaron a los de la Imputación Múltiple.
• Excepciones: En casos muy específicos (Grecia para valor de la vivienda y España para pensiones), se observaron efectos negativos significativos, pero son la excepción y no la regla.

5. Significancia e Implicaciones

• Diseño de Encuestas: Los hallazgos sugieren que las expectativas de los entrevistadores contienen información valiosa para modelar la no respuesta a ítems sensibles. Esto implica que la selección y capacitación de entrevistadores debe incluir estrategias para fomentar actitudes optimistas y proactivas respecto a la disposición de los encuestados.
• Corrección de Sesgos: Las características de los entrevistadores pueden utilizarse como restricciones de exclusión válidas para identificar mecanismos de datos faltantes más generales y ajustar los pesos de la encuesta o realizar imputaciones ex-post.
• Recomendación Metodológica: Aunque el promedio de modelos (BMA) es teóricamente atractivo para manejar la incertidumbre del modelo, en la práctica de este estudio no superó a los métodos más simples (CCA o MI) en términos de claridad de resultados, sugiriendo que la simplicidad puede ser preferible cuando los costos computacionales son altos y los resultados son estables.

En conclusión, el estudio demuestra que el factor humano (la actitud y expectativa del entrevistador) es un determinante crítico de la calidad de los datos financieros en encuestas de envejecimiento, y que ignorar este factor puede llevar a subestimar la magnitud de la no respuesta y los sesgos asociados.