Statistical significance in choice modelling: computation, usage and reporting

Este artículo critica el uso excesivo y a menudo impreciso de la significancia estadística en la modelización de elecciones, abogando por una mayor claridad en el reporte de incertidumbre y por priorizar la relevancia conductual y política junto con consideraciones específicas del campo, como la disposición a pagar y la heterogeneidad aleatoria.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un manual de instrucciones para cocineros que están intentando crear la receta perfecta para predecir cómo se comportará la gente (por ejemplo, si tomarán el autobús, el coche o la bicicleta).

Los autores (un grupo de expertos en modelado de elecciones) dicen: "Oye, estamos muy obsesionados con una regla de oro llamada 'significancia estadística' (el famoso 95% o p < 0.05), y eso nos está haciendo cometer errores. Vamos a explicar por qué y cómo arreglarlo".

Aquí tienes la explicación, traducida a un lenguaje sencillo con analogías:

1. El problema de la "Regla del 95%" (La obsesión por el semáforo verde)

Imagina que estás en una carretera y solo te fijas en el semáforo verde. Si la luz está verde (el resultado es "significativo"), conduces. Si está roja, te detienes y tiras el dato a la basura.

• Lo que dicen los autores: En el mundo de la ciencia, nos volvimos locos con el "verde" (95% de confianza). Pensamos que si algo no es verde, no existe. Pero la realidad es más compleja. A veces, un dato es "amarillo" (no es 95% seguro, pero es muy probable) y sigue siendo muy importante para tomar decisiones.
• La analogía: Si un político quiere construir un puente, no le importa si la probabilidad de que funcione es del 95.1% o del 94.9%. Le importa si el puente sirve para cruzar el río. A veces, un efecto es pequeño estadísticamente, pero enorme en la vida real (como el costo de un viaje).

2. La diferencia entre "Existe" y "Importa"

Muchos estudios se preguntan: "¿Existe este efecto?" (¿Es diferente de cero?).
Los autores dicen: *"¡Eso es aburrido! Pregunta mejor: ¿Cuánto importa este efecto?"*.

• La analogía: Imagina que estás pesando una pluma y un elefante.
  • Con una balanza muy precisa, puedes decir con certeza del 99.9% que la pluma pesa algo (es "significativa").
  • Pero si estás construyendo un puente, la pluma no importa en absoluto. El elefante, aunque tu balanza tenga un poco de error, es lo que realmente importa.
  • En economía, a veces nos enfocamos tanto en la pluma (el dato estadístico) que olvidamos al elefante (el impacto real en el comportamiento).

3. El "Sándwich" de la incertidumbre (Cómo medir el error)

Para saber si un dato es bueno, necesitamos medir cuánto puede variar (su incertidumbre). Los autores explican que hay diferentes formas de hacer esto, como diferentes tipos de "sándwiches".

• La analogía: Imagina que quieres saber cuánto mide tu perro.
  • El método clásico: Mides al perro una vez con una cinta métrica estándar.
  • El método "Sándwich" (Robusto): Imagina que el perro se mueve, está nervioso o la cinta métrica es un poco elástica. El método "sándwich" es como envolver al perro en varias capas de protección para medirlo mejor, incluso si se mueve.
  • El "Bootstrapping" (Resampling): Es como tener 100 fotógrafos que toman fotos del perro en diferentes momentos y luego promedian todas las fotos para ver la imagen más clara. Es más lento y costoso, pero muy preciso.

Los autores advierten que a veces usamos la cinta métrica simple (método clásico) cuando deberíamos usar el "sándwich" o los 100 fotógrafos, especialmente cuando tenemos datos repetidos (como la misma persona tomando el autobús todos los días).

4. La trampa de los "Estrellas" (***, **, *)

En muchos artículos científicos, verás números acompañados de estrellas: *** (muy importante), ** (importante), * (poco importante).

• La analogía: Es como un examen escolar donde solo te dan la nota con estrellas, pero no te dicen la puntuación exacta.
  • Si un profesor te dice "Tienes 3 estrellas", no sabes si sacaste un 99 o un 91.
  • Los autores dicen: Dejen de usar solo las estrellas. Esos símbolos ocultan información valiosa. Si solo ves las estrellas, no puedes calcular los márgenes de error ni entender la precisión real. Es como decir "hace calor" en lugar de decir "hacen 35 grados".

5. El peligro de los "Modelos Mal Especificados"

A veces, los investigadores construyen un modelo (una receta) que no encaja bien con la realidad.

• La analogía: Imagina que intentas predecir el clima usando una receta para hacer pan. Puedes obtener un resultado, pero será un pan quemado y un pronóstico de lluvia incorrecto.
  • Si usas el modelo equivocado, tus "estrellas" y tus "significancias" son falsas. Es como si el sándwich estuviera hecho con pan podrido; no importa cuánto lo envuelvas, el sabor será malo.
  • Los autores advierten que a veces los modelos tienen "errores de identificación" (como intentar adivinar el precio de un producto sin tener datos suficientes), lo que hace que los resultados sean inestables.

6. La conclusión: ¡Piensa con la cabeza, no solo con la calculadora!

El mensaje final es un llamado a la sensatez:

1. No seas un robot: No elimines un dato solo porque no tiene 3 estrellas. Pregúntate: "¿Tiene sentido esto en la vida real?". Si el costo del viaje afecta a la gente, inclúyelo en el modelo aunque la estadística diga que es "dudoso".
2. Sé honesto con los números: No redondees demasiado. Si tu error es pequeño, dilo con precisión.
3. Cuida el contexto: Un resultado puede ser estadísticamente "ruidoso" pero comportamentalmente crucial.
4. Mejora la comunicación: En lugar de decir "es significativo", di "podemos rechazar la idea de que no tiene efecto con un 95% de confianza". ¡El lenguaje importa!

En resumen:
Este artículo es un "baño de realidad" para los científicos de datos. Les dice: "Dejen de obsesionarse con el número 0.05 y las estrellas. Entiendan qué significa realmente la incertidumbre, usen herramientas más robustas (como el sándwich o el bootstrapping) y, sobre todo, piensen en si sus hallazgos tienen sentido para la gente real, no solo para la calculadora".

Resumen técnico

1. El Problema

El artículo aborda la crítica creciente y el mal uso de los conceptos de significancia estadística en el campo de la modelización de elecciones (choice modelling). A pesar de ser ubicua, la disciplina sufre de:

• Sobre-reliance en el nivel de confianza del 95%: Un apego mecánico a $p < 0.05$ sin considerar el contexto o el tamaño del efecto.
• Malentendidos conceptuales: Confusión entre la probabilidad de los datos dada una hipótesis ($p$-valor) y la probabilidad de que la hipótesis sea cierta dados los datos (falacia del condicional transpuesto).
• Falta de precisión en el reporte: Uso excesivo de valores $p$ redondeados o medidas de "estrellas" ($*, **, ***$) que ocultan la magnitud de la incertidumbre y dificultan la replicación o el cálculo de intervalos de confianza.
• Ignorancia de la importancia conductual/política: La tendencia a descartar variables o modelos basándose únicamente en la significancia estadística, ignorando si el efecto tiene relevancia real para la toma de decisiones o la política pública.
• Especificidades del campo: La modelización de elecciones presenta desafíos únicos (heterogeneidad aleatoria, datos de panel, transformaciones de parámetros como la disposición a pagar) que a menudo se tratan con métodos estándar inadecuados.

2. Metodología y Marco Teórico

Los autores no presentan un nuevo modelo econométrico, sino que realizan una revisión técnica exhaustiva y un comentario metodológico sobre cómo se calcula, interpreta y reporta la incertidumbre en los modelos de elección discreta (DCM).

A. Cálculo de la Incertidumbre

• Estimación de Máxima Verosimilitud (MLE): Se basa en la distribución asintótica de los estimadores. Se discuten tres matrices de covarianza:
  1. Clásica: Inversa negativa de la Hessiana ($\hat{\Omega} = -\hat{H}^{-1}$).
  2. Robusta (Sandwich): $\hat{\Omega}_R = \hat{H}^{-1}\hat{O}\hat{H}^{-1}$, que corrige errores de especificación del modelo (como correlación no modelada en datos de panel).
  3. Bootstrap: Método no paramétrico que simula el proceso de muestreo para obtener distribuciones empíricas de los parámetros, útil cuando las asunciones asintóticas fallan.
• Transformaciones de Parámetros: Se utiliza el Método Delta para calcular errores estándar en derivadas como las Tasas Marginales de Sustitución (MRS) o la Disposición a Pagar (WTP), especialmente complejas cuando hay heterogeneidad aleatoria (ej. Mixed Logit).
• Datos de Panel: Se enfatiza la necesidad de corregir los errores estándar para la correlación intra-individual, ya sea mediante matrices de covarianza robustas agrupadas por individuo o bootstrap a nivel de individuo.

B. Pruebas de Hipótesis

• Tipos de Pruebas: Se analiza la "trinidad" de pruebas asintóticamente equivalentes:
  1. Likelihood Ratio (LR): Compara log-verosimilitudes de modelos restringidos y no restringidos.
  2. Wald: Utiliza solo el modelo no restringido (basado en el estimador y su error estándar).
  3. Lagrange Multiplier (LM): Utiliza solo el modelo restringido.
• Pruebas Unilaterales vs. Bilaterales: Los autores argumentan fuertemente que, dado que la mayoría de los parámetros en elección tienen una asunción de signo a priori (ej. el costo debe ser negativo), se deben utilizar pruebas unilaterales. El uso de pruebas bilaterales por defecto duplica los valores $p$, aumentando el riesgo de error Tipo II (no detectar un efecto real).
• Selección de Modelos: Se discuten pruebas para modelos anidados (LR) y no anidados (criterios de información AIC/BIC, prueba de Ben-Akiva y Swait).

C. Caso Empírico

Se presenta un ejemplo con datos de preferencias reveladas (RP) del proyecto DECISIONS (3,438 viajes de 358 individuos). Se estima un modelo Logit Multinomial (MNL) y se comparan:

• Errores estándar clásicos vs. robustos vs. bootstrap.
• Diferentes niveles de significancia y tipos de pruebas.
• La asimetría de los intervalos de confianza obtenidos mediante bootstrap frente a los asintóticos.

3. Contribuciones Clave

El artículo ofrece directrices técnicas específicas para la comunidad de modelización de elecciones:

1. Redefinición del Lenguaje: Se debe evitar decir que un parámetro es "significativo". Lo correcto es decir que "podemos rechazar la hipótesis nula de que el efecto es cero con un nivel de confianza del X%". La significancia se refiere al riesgo de error Tipo I, no a la verdad de la hipótesis alternativa.
2. Crítica al Umbral del 95%: El nivel de $\alpha = 0.05$ no debe ser una regla rígida. En grandes conjuntos de datos, efectos pequeños pueden ser "significativos" pero irrelevantes. En datos pequeños, efectos importantes pueden no alcanzar el umbral. Se debe priorizar la importancia conductual/política sobre la estadística pura.
3. Precisión en el Reporte:
   • Se debe reportar al menos dos dígitos significativos en errores estándar y estadísticos $t$.
   • El uso de valores $p$ o estrellas no debe reemplazar al reporte de errores estándar o estadísticos $t$, ya que impide el cálculo de intervalos de confianza y la comparación de precisión.
   • Es crucial especificar si la prueba es unilateral o bilateral.
4. Distinción entre Significancia y Precisión: Dos parámetros pueden ser altamente significativos (rechazar $H_0$), pero tener intervalos de confianza de anchuras muy diferentes. La precisión del intervalo es a menudo más relevante para la política que la mera existencia del efecto.
5. Asimetría de Intervalos: Los intervalos de confianza asintóticos (basados en normalidad) pueden ser inexactos lejos del óptimo. Los intervalos de confianza Bootstrap (especialmente los de Densidad Posterior Máxima - HPD) ofrecen una representación más precisa y a menudo asimétrica de la incertidumbre.
6. Heterogeneidad Aleatoria: Se advierte sobre la confusión entre la incertidumbre de los parámetros (error de muestreo) y la heterogeneidad real de la población. Las pruebas sobre la varianza de la distribución (heterogeneidad) son distintas a las pruebas sobre la media.

4. Resultados Principales del Ejemplo Empírico

En el estudio de caso con datos de transporte:

• Errores Estándar: Los errores robustos y bootstrap fueron consistentemente mayores que los clásicos (a veces hasta 3 veces más grandes), indicando que ignorar la correlación en datos de panel subestima la incertidumbre.
• Divergencia de Pruebas: Para ciertos parámetros (ej. tiempo de viaje en tren), la prueba clásica rechazaba $H_0$ al 99%, mientras que las pruebas robustas y bootstrap solo lo hacían al 96-97%. Esto demuestra que la elección del método de cálculo de errores puede cambiar la conclusión sobre la significancia.
• Relevancia Conductual: El parámetro de tiempo en taxi no fue estadísticamente significativo en ninguna prueba (debido a la baja frecuencia de uso del taxi), pero los autores argumentan que no debe eliminarse del modelo por razones de política y comportamiento, ilustrando que la significancia estadística no debe dictar la especificación del modelo en variables clave.
• Asimetría: Los intervalos de confianza bootstrap mostraron asimetría (skewness) significativa, especialmente en parámetros de tiempo y costo, lo que invalida la suposición de simetría de los intervalos asintóticos estándar.

5. Significancia e Implicaciones

Este artículo es fundamental para elevar el rigor metodológico en la modelización de elecciones:

• Para Investigadores: Proporciona un marco para evitar el "p-hacking" y la interpretación mecánica de resultados. Fomenta la transparencia al exigir el reporte de errores estándar y la especificación del tipo de prueba.
• Para Políticas Públicas: Avisa contra la eliminación de variables importantes basándose únicamente en valores $p$ altos, lo cual podría llevar a modelos mal especificados y predicciones erróneas.
• Para la Comunidad Científica: Aboga por un cambio de paradigma donde la magnitud del efecto y su incertidumbre (precisión) sean más importantes que la dicotomía binaria de "significativo/no significativo".
• Alternativa Bayesiana: Menciona brevemente que el enfoque bayesiano (probabilidades posteriores) podría ofrecer una interpretación más intuitiva de la incertidumbre y la evidencia, aunque el foco del artículo sigue siendo la inferencia frecuentista.

En conclusión, el paper actúa como una guía de "buenas prácticas" para corregir la mala interpretación de la significancia estadística, promoviendo un enfoque más matizado, preciso y contextualizado en la modelización de elecciones.