Introducing RobustiPy: An efficient next generation multiversal library with model selection, averaging, resampling, and explainable artificial intelligence

El artículo presenta RobustiPy, una biblioteca de código abierto en Python que sistematiza el análisis multiverso y la cuantificación de incertidumbre mediante la unificación de inferencia por bootstrap, búsqueda combinatoria de especificaciones, selección y promediado de modelos, y métodos de IA explicable, logrando una eficiencia computacional sin precedentes para mejorar la reproducibilidad y transparencia en la investigación científica.

Lo esencial

Imagina que eres un chef y quieres descubrir cuál es la receta perfecta para hacer un pastel. Tienes ingredientes básicos (harina, huevos, azúcar), pero también tienes muchas opciones: ¿usarás azúcar morena o blanca? ¿Horno a 180°C o 200°C? ¿Un poco de vainilla o de limón?

En la ciencia, los investigadores son como esos chefs. Quieren entender cómo funciona el mundo (por ejemplo, ¿por qué la gente se enferma? ¿o qué hace que un país sea más rico?). Para ello, crean "modelos" (sus recetas matemáticas).

El problema es que, al igual que el chef, el investigador tiene muchas decisiones que tomar. Y aquí es donde surge el caos: el "Multiverso".

¿Qué es el problema?

Imagina que hay un millón de recetas diferentes para hacer ese pastel. Si el chef prueba solo una receta, la publica y dice: "¡Esta es la mejor!". Pero, ¿y si otra receta con un ingrediente ligeramente diferente diera un resultado totalmente distinto?

En la ciencia, esto es un gran problema. A veces, los investigadores prueban muchas recetas (modelos) en secreto, solo para publicar la que les da el resultado que querían. Esto se llama "p-hacking" (hacer trampa con los datos). El resultado es que la ciencia a veces parece confusa o poco fiable, porque diferentes estudios sobre el mismo tema llegan a conclusiones opuestas.

La solución: RobustiPy

Los autores de este artículo han creado una herramienta llamada RobustiPy. Piensa en RobustiPy como un "Robot Chef Superpotente" que no se cansa nunca.

En lugar de que el investigador pruebe una sola receta, RobustiPy cocina todas las recetas posibles al mismo tiempo.

1. El Multiverso de Recetas: RobustiPy toma todos los ingredientes posibles (variables) y todas las formas posibles de cocinarlos (modelos). Si tienes 10 ingredientes para elegir, RobustiPy prueba más de un millón de combinaciones en segundos.
2. La "Curva de Especificación": Imagina que en lugar de darte un solo pastel, el robot te muestra un espectáculo de luces. Te muestra una línea con todos los resultados posibles.
   • Si la línea es recta y todos los pasteles saben igual, ¡excelente! La conclusión es sólida.
   • Si la línea es un caos, con pasteles que saben a chocolate y otros a sal, entonces la conclusión es frágil y no se puede confiar en ella.
3. Transparencia Total: RobustiPy no oculta nada. Te muestra qué recetas funcionaron mejor, cuáles fallaron y por qué. Esto evita que los científicos elijan solo la receta que les conviene.

¿Cómo funciona en la vida real?

El papel explica que RobustiPy ha sido probado en diez estudios reales, desde la economía hasta la medicina.

• Ejemplo 1 (Economía): Analizaron por qué los trabajadores de sindicatos ganan más. La receta tradicional decía "sí, ganan un 15% más". Pero RobustiPy probó miles de variaciones y descubrió que, dependiendo de qué ingredientes (datos) usaras, ese porcentaje podía variar enormemente. Esto obliga a los economistas a ser más honestos sobre la incertidumbre.
• Ejemplo 2 (Medicina): Analizaron si el gasto en cuidados sociales mejora la salud. RobustiPy confirmó que sí, pero mostró exactamente cuánto depende de cómo se midan los datos.
• Ejemplo 3 (Psicología): Replicaron un estudio famoso que luego fue retirado por fraude. RobustiPy pudo ver a través de la manipulación de datos, mostrando que cuando se prueban todas las recetas, el "truco" se revela.

¿Por qué es importante?

Antes, para hacer esto, los científicos necesitaban escribir programas informáticos muy complejos y lentos, o simplemente no lo hacían porque era demasiado difícil.

RobustiPy es como un "Google Translate" para la ciencia:

• Es rápido: Puede probar cientos de millones de modelos en un tiempo récord.
• Es fácil de usar: No necesitas ser un genio de la programación; es una herramienta diseñada para que cualquier científico la use.
• Es honesto: Obliga a la ciencia a admitir: "No estamos 100% seguros, pero aquí está el rango de posibilidades".

En resumen

La ciencia a veces se siente como un laberinto donde cada investigador toma un camino diferente y llega a un destino distinto. RobustiPy es el mapa que te muestra todos los caminos a la vez.

En lugar de decirte "la respuesta es X", te dice: "La respuesta podría ser X, Y o Z, dependiendo de cómo mires el problema. Aquí tienes todas las opciones para que tú decidas qué es lo más razonable".

Es una herramienta para limpiar el desorden, hacer la ciencia más transparente y asegurarnos de que las conclusiones que leemos en las noticias son realmente sólidas y no solo un "pasteles" que salió bien por casualidad.

Resumen técnico

1. El Problema: La Incertidumbre del Modelo y el "Multiverso" Analítico

La inferencia científica en ciencias sociales, salud y economía a menudo se ve socavada por la vasta cantidad de elecciones de modelado defensibles pero raramente exploradas, conocidas como el "multiverso" de análisis.

• El Dilema: Los investigadores tienen múltiples grados de libertad (selección de variables de control, transformaciones de datos, especificaciones funcionales, etc.). Pequeños cambios en estas decisiones pueden alterar drásticamente los resultados, llevando a la "jardín de caminos que se bifurcan" (garden of forking paths).
• Consecuencias: Esto fomenta prácticas cuestionables como el p-hacking (modificar modelos hasta obtener significancia estadística) y el HARKing (formular hipótesis después de conocer los resultados), generando una asimetría de información donde solo se publican las especificaciones que funcionan, ocultando la variabilidad real.
• Limitaciones Actuales: Aunque existen herramientas para el análisis de curvas de especificación y multiverso (principalmente en R como multiverse, specr o en Stata), carecen de eficiencia computacional a gran escala, no integran validación fuera de muestra robusta, y su implementación en Python (el lenguaje dominante en ciencia de datos) es limitada o fragmentada.

2. Metodología: RobustiPy

RobustiPy es una biblioteca de código abierto en Python diseñada para sistematizar el análisis multiversal y la cuantificación de la incertidumbre del modelo a escala.

Arquitectura y Funcionalidades Clave:

• Espacio de Especificaciones Defensibles: Formaliza el problema como una búsqueda en un espacio de modelos $\Pi$, definido por combinaciones de:
  • Operacionalizaciones de la variable dependiente ($\vec{Y}$).
  • Especificaciones de predictores focales ($\vec{X}$).
  • Subconjuntos de variables de control ($\vec{Z}$).
  • Formas funcionales/estimadores ($\vec{F}$).
• Tipos de Análisis Soportados:
  1. Cálculo "Vanilla": Análisis estándar de curvas de especificación con variables fijas y controles variables.
  2. Arrays de Variables Fijas: Permite incluir predictores que no varían en el espacio de covariables (útil para hipótesis teóricas fuertes), reduciendo la carga computacional.
  3. OLS de Efectos Fijos: Soporte para datos de panel con variables de agrupación (grouping variables), aplicando desviación de la media (demeaning) automática.
  4. Variables Dependientes Binarias: Implementación de regresión logística (LRobust) con validación cruzada agrupada.
  5. Múltiples Dependientes: Generación automática de combinaciones compuestas de múltiples medidas de una misma variable latente (promedios de puntuaciones Z estandarizadas).
• Inferencia y Validación:
  • Resampling: Soporte para bootstrapping (incluyendo cluster bootstrap para datos agrupados) y validación cruzada K-fold.
  • Selección y Promedio de Modelos: Cálculo de criterios de información (AIC, BIC, HQIC) para ponderar modelos y realizar promedios bayesianos (BMA).
  • Inferencia Conjunta: Pruebas de hipótesis a nivel de curva (Stouffer's Z) para evaluar si el patrón de resultados en todo el multiverso es consistente con un efecto nulo.
  • Explicabilidad (XAI): Cálculo de valores SHAP para el modelo completo y métricas de contribución marginal de covariables.
  • Validación Fuera de Muestra: Métricas como $R^2$ pseudo, RMSE, Entropía Cruzada y InterModel Vigorish (IMV).

Eficiencia Computacional:

La biblioteca está optimizada para el paralelismo (multicore) y ha sido probada estimando aproximadamente 672 millones de regresiones simuladas. El tiempo de ejecución escala aproximadamente como $O(K(2^b + k))$, donde $b$ es el número de draws (bootstraps) y $k$ los pliegues de validación.

3. Contribuciones Clave

1. Unificación en Python: Proporciona la primera herramienta integral en Python que combina selección de modelos, promedio, validación fuera de muestra y explicabilidad en un marco reproducible.
2. Escalabilidad: Permite explorar espacios de especificación que antes eran computacionalmente prohibitivos (miles de millones de modelos) gracias a una arquitectura eficiente y paralelización.
3. Transparencia y Reproducibilidad: Automatiza la generación de curvas de especificación y visualizaciones (distribuciones de estimadores, mapas de calor de especificaciones, valores SHAP), haciendo visible la variabilidad de los resultados que normalmente se oculta.
4. Validación Rigurosa: Integra métricas de rendimiento fuera de muestra y pruebas de inferencia conjunta, moviendo el enfoque de la "significancia estadística" a la "robustez predictiva".

4. Resultados y Aplicaciones Empíricas

Los autores validaron RobustiPy mediante 5 diseños de simulación y 10 réplicas empíricas de alto perfil en economía, sociología, psicología y medicina:

• Replicación de Hallazgos Controversiales:
  • Gino et al. (2020): Al reanalizar el estudio sobre "impureza moral" con datos reconstruidos, RobustiPy demostró que el efecto original desaparecía o se invertía al explorar el multiverso de especificaciones, validando la retractación del estudio original.
  • Mankiw et al. (1992): Replicación del modelo de crecimiento de Solow, mostrando cómo la inclusión de capital humano altera significativamente la explicabilidad ($R^2$) y la magnitud de los coeficientes.
  • Acemoglu et al. (2001) y Ehrlich (1973): Análisis de la relación entre instituciones/colonialismo y desarrollo, y crimen e ingresos, revelando una alta sensibilidad de los coeficientes a la selección de controles.
• Métricas de Rendimiento:
  • En el conjunto de datos Union, la mediana del efecto del sindicato sobre los salarios varió entre 13.5 y 14.0 en el multiverso, muy lejos de la estimación "convencional" de 10.18, pero consistente con otras réplicas robustas.
  • En el estudio de Framingham (salud cardíaca), se demostró la capacidad de manejar variables binarias y seleccionar modelos óptimos mediante criterios de información.
• Eficiencia: El benchmarking confirmó que RobustiPy es capaz de procesar grandes volúmenes de datos y especificaciones en tiempos razonables, superando a implementaciones ad-hoc anteriores.

5. Significado e Impacto

RobustiPy representa un cambio de paradigma en la práctica de la investigación cuantitativa:

• Cambio de Cultura: Transforma la forma en que los investigadores interrogan la sensibilidad de sus hallazgos, pasando de reportar un único modelo "preferido" a presentar la distribución completa de resultados defensibles.
• Herramienta de Auditoría: Actúa como un mecanismo de control de calidad para la ciencia, permitiendo auditar la solidez de estudios publicados y detectar hallazgos frágiles que dependen de decisiones analíticas arbitrarias.
• Fundamento para la Ciencia Reproducible: Al estandarizar y acelerar los métodos de robustez, reduce la barrera de entrada para realizar análisis multiversales, fomentando una ciencia más transparente y menos susceptible a la manipulación de resultados.

En conclusión, RobustiPy no solo es una herramienta de software, sino una respuesta tecnológica a la crisis de reproducibilidad, ofreciendo un marco práctico para navegar y cuantificar la incertidumbre inherente a la modelización científica.