📊 statistics

To select or not to select: predictively consistent priors instead of model selection

Este artículo sostiene que la selección de modelos es a menudo innecesaria o incluso perjudicial para el rendimiento predictivo en regímenes de datos finitos, proponiendo en su lugar el uso de distribuciones a priori predictivamente consistentes que mantengan implicaciones predictivas sensatas a medida que aumenta la complejidad del modelo, permitiendo así que los modelos flexibles igualen o superen a los modelos más simples seleccionados.

Autores originales: Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando crear la sopa perfecta. Tienes una receta básica (un modelo simple) que funciona bien, pero sospechas que añadir más especias y verduras exóticas (complejidad) podría hacer que sepa aún mejor. Sin embargo, has oído una advertencia: "Si añades demasiados ingredientes, podrías arruinar el sabor y hacer que sepa raro para cualquiera que no lo haya probado antes" (sobreajuste o overfitting).

Durante mucho tiempo, los estadísticos han seguido una regla de oro: "Manténlo simple". Construían una sopa compleja, la probaban y, si parecía demasiado complicada, descartaban los ingredientes extra y se quedaban con la versión más sencilla. Esto se llama selección de modelos.

Este artículo, escrito por Anna Riha y sus colegas, plantea una pregunta audaz: ¿Y si el problema no es la complejidad de la sopa, sino la forma en que la sazonamos en primer lugar?

El problema central: El sazón "salvaje"

Los autores argumentan que cuando los estadísticos construyen modelos complejos, a menudo utilizan un "sazón por defecto" (prioras o distribuciones a priori) que es demasiado laxo. Imagina espolvorear sal sin medirla. Si añades solo una pizca de sal a un tazón pequeño de sopa, está bien. Pero si usas esa misma lógica de la "pizca" para una olla gigante con 50 ingredientes diferentes, terminas con una sopa excesivamente salada e incomible.

En términos estadísticos, cuando añades más variables (ingredientes) a un modelo pero sigues utilizando "prioras" independientes y no medidas (reglas de sazón), las predicciones del modelo pueden volverse locas. Empieza a predecir cosas imposibles, como una sopa que sabe a pura sal o a pura agua, solo porque las matemáticas lo permitieron. Para solucionar esto, la gente solía decir: "Bien, eliminemos algunos ingredientes (seleccionemos un modelo más simple)".

La solución: Prioras "predictivamente consistentes"

Los autores proponen una nueva forma de pensar. En lugar de tirar los ingredientes, deberíamos cambiar la forma en que sazonamos la olla desde el principio. Ellos llaman a esto "prioras predictivamente consistentes".

Piensa en esto como una cuchara de medir inteligente.

La forma antigua: Tienes una cuchara que contiene una cantidad fija de sal. Si añades 10 ingredientes, añades 10 cucharadas. La sopa se vuelve demasiado salada.
La nueva forma (Predictivamente consistente): Tienes una cuchara mágica que sabe cuántos ingredientes hay en la olla. Si añades 10 ingredientes, la cuchara se ajusta automáticamente para asegurar que la salinidad total de la sopa se mantenga exactamente donde tú quieres.

Al usar estas "prioras inteligentes", el modelo puede manejar 50 ingredientes tan bien como maneja 5. Las predicciones siguen siendo estables y sensatas, sin importar qué tan complejo sea el modelo.

Los experimentos: Probando la sopa

Los investigadores realizaron varios experimentos para probar esta idea, comparando "La forma antigua" (seleccionar modelos más simples) contra "La nueva forma" (usar prioras inteligentes en modelos complejos).

Añadir ingredientes (Regresión lineal y logística): Añadieron más y más variables a un modelo.
- Resultado: "La forma antigua" (modelos simples) a menudo funcionaba bien, pero "La nueva forma" (modelo complejo con prioras inteligentes) funcionaba igual de bien o mejor. El modelo complejo no se volvió "salado" ni extraño.
Selección hacia adelante (Forward Selection - Elegir los mejores ingredientes): Intentaron construir un modelo añadiendo ingredientes uno por uno, eligiendo los mejores.
- Resultado: Al usar "La forma antigua", el proceso de selección a menudo se confundía y elegía ingredientes malos porque el sazón estaba mal. Al usar "La nueva forma", el modelo complejo con todos los ingredientes era seguro de usar, y el proceso de selección funcionaba mucho mejor.
Formas no lineales (Recetas curvas): Intentaron modelar patrones complejos y curvos (como una montaña rusa) usando polinomios.
- Resultado: "La forma antigua" (polinomios brutos) explotó en caos a medida que añadían más curvas. "La nueva forma" (usando Procesos Gaussianos, un tipo de priora inteligente) mantuvo las curvas suaves y precisas, sin importar cuántas añadieran.

La gran conclusión

El artículo concluye que a menudo no necesitamos seleccionar modelos más simples.

Si te preocupa que un modelo sea demasiado complejo y se produzca un sobreajuste, la solución no es recortarlo. La solución es arreglar el sazón (las prioras) para que el modelo sepa cómo comportarse a medida que crece.

Si seleccionas un modelo más simple y este funciona mejor: El artículo sugiere que esto es una señal de alerta. Normalmente significa que tu "sazón" original era malo (demasiada masa en predicciones imposibles) y el modelo más simple simplemente ocultó ese defecto.
La recomendación: Deja de obsesionarte con la "dispersión" (tener pocos ingredientes). En su lugar, enfócate en la "consistencia predictiva" (asegurarte de que tus reglas de sazón sigan siendo sensatas a medida que añades más ingredientes).

Una metáfora final

Imagina que estás construyendo una torre de bloques.

La visión antigua: "Si la torre se hace demasiado alta, se caerá. Dejemos de construir al llegar a los 10 bloques".
La visión del artículo: "La torre se cae porque estás usando un pegamento inestable. Si usas un pegamento fuerte y consistente (prioras predictivamente consistentes), puedes construir una torre de 100 bloques que se mantenga tan recta como la de 10 bloques. No necesitas dejar de construir; solo necesitas un mejor pegamento".

En resumen: No temas a la complejidad. Teme a las malas prioras. Si haces bien tus prioras, podrás usar el modelo más grande y complejo disponible, y probablemente prediga el futuro tan bien como, o mejor que, cualquier versión simplificada que pudieras elegir.

Resumen Técnico: Seleccionar o no seleccionar: Priores predictivamente consistentes en lugar de la selección de modelos

Planteamiento del problema

En los flujos de trabajo de modelado bayesiano, los profesionales a menudo se enfrentan a un compromiso entre la complejidad del modelo y la capacidad de generalización. El folclore estadístico sugiere que seleccionar modelos más simples (parsimonia) es necesario para evitar el sobreajuste, particularmente en regímenes de datos finitos. Sin embargo, la propia selección de modelos es una fuente de inestabilidad y puede introducir un sesgo inducido por la selección, favoreciendo potencialmente modelos que sobreajustan o bajoajustan dependiendo de los criterios utilizados.

El problema central abordado es determinar cuándo la selección de modelos es necesaria frente a cuándo es innecesaria o incluso perjudicial para el rendimiento predictivo fuera de la muestra. Los autores investigan si la necesidad percibida de seleccionar modelos más simples proviene de la estructura del modelo en sí o de especificaciones de priores deficientes que no logran permanecer sensatas a medida que aumenta la complejidad del modelo. Específicamente, examinan cómo la elección de los priores afecta la estabilidad del rendimiento predictivo al añadir covariables o aumentar la complejidad no lineal.

Metodología

Marco Teórico

El artículo formaliza el concepto de priores predictivamente consistentes. Los autores definen una secuencia de modelos anidados $\{M_d\}$ con complejidad creciente $d$ (por ejemplo, número de predictores o funciones de base). Introducen dos propiedades clave para los priores en esta secuencia:

Consistencia Predictiva de Segundo Orden: Una secuencia de priores es predictivamente consistente si la varianza de la distribución de la señal inducida (el componente sistemático $\eta_d$ ) permanece globalmente acotada y converge a un límite finito a medida que $d \to \infty$ . Formalmente, $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ y $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$ . Esto asegura que añadir componentes al modelo no cause que la distribución predictiva a priori se dispare o se vuelva sin sentido.
Parsimonia Predictiva: Una condición más débil que requiere que la divergencia de Kullback-Leibler (KL) entre las sucesivas distribuciones de señal inducidas sea sumable. Los autores demuestran que la parsimonia predictiva por sí sola es insuficiente para prevenir la explosión de la varianza (por ejemplo, los priores normales independientes satisfacen la parsimonia pero fallan en la consistencia).

Los autores contrastan estos con los priores normales independientes estándar (por ejemplo, $\beta_j \sim \mathcal{N}(0, \tau^2)$ ), los cuales muestran que a menudo violan la consistencia predictiva porque la varianza total de la señal crece linealmente con el número de predictores ( $d\tau^2$ ), lo que conduce a distribuciones predictivas a priori implausibles.

Diseño Experimental

Los autores evalúan estos conceptos a través de cuatro entornos experimentales utilizando datos simulados:

Añadir Covariables en Regresión Logística: Un régimen denso donde el proceso generador de datos (DGP) incluye todas las covariables. Comparan los priores normales independientes contra los priores R2D2 (que colocan un prior sobre el $R^2$ bayesiano).
Selección Paso a Paso (Forward Stepwise Selection): Un régimen disperso donde solo un subconjunto de las covariables es relevante. Comparan la selección hacia adelante usando priores normales independientes frente a los priores R2D2, junto con la inferencia de proyección predictiva (projpred).
Aumento de la Complejidad No Lineal: Un entorno de un solo predictor con un grado de polinomio o funciones de base crecientes (polinomios crudos, polinomios ortogonales, splines de placa fina y Procesos Gaussianos Aproximados en el Espacio de Hilbert).
Ensayos Controlados Aleatorizados (RCTs): Un entorno de inferencia causal que estima efectos de tratamiento condicionando sobre covariables de alta dimensión. Comparan los priores conjuntos (R2D2 sobre todos los coeficientes) frente a los priores divididos (R2D2 para las covariables, normal independiente para el tratamiento).

El rendimiento se mide mediante la Densidad Logarítmica Predictiva Esperada (elpd) en datos de prueba independientes, estimada vía PSIS-LOO-CV cuando no se dispone de datos de prueba.

Contribuciones Clave

Formalización de Priores Predictivamente Consistentes: El artículo proporciona una definición matemática riguroosa para los priores que mantienen estables las implicaciones predictivas a medida que la complejidad del modelo crece. Distingue entre "parsimonia" (penalizar la complejidad) y "consistencia predictiva" (controlar la escala de la distribución predictiva a priori).
Demostración de la Selección Perjudicial: Los autores muestran que, cuando se utilizan priores predictivamente consistentes, seleccionar un modelo más simple suele ser innecesario. En muchos experimentos, el modelo completo con un prior consistente iguala o supera el rendimiento de los modelos seleccionados más simples. Por el contrario, cuando la selección de modelos parece "ayudar" (es decir, un modelo más simple funciona mejor), a menudo indica que el prior del modelo complejo estaba mal especificado (por ejemplo, colocando una masa excesiva en valores implausibles), en lugar de que la estructura del modelo fuera inherentemente defectuosa.
R2D2 y los Priores de Espacio de Función como Soluciones: El artículo operacionaliza la consistencia predictiva mediante:
- Priores R2D2: Al colocar un prior sobre la proporción de la varianza explicada ( $R^2$ ), la varianza inducida sobre los coeficientes se escala automáticamente para prevenir la explosión de la varianza a medida que se añaden predictores.
- Priores de Espacio de Función: Se demuestra que los procesos gaussianos y los splines penalizados satisfacen naturalmente la consistencia predictiva al acotar la varianza marginal de la función.
Implicaciones para la Inferencia Causal: En el experimento de RCT, el artículo revela que un prior conjunto R2D2 puede introducir sesgo en la estimación del efecto del tratamiento a medida que aumenta el número de covariables ( $p$ ), debido a un exceso de contracción (shrinkage) en el coeficiente del tratamiento. Esto resalta que, si bien la consistencia predictiva es crucial para la predicción, la inferencia causal puede requerir la división de los priores para evitar la contracción no deseada en parámetros de interés específicos.

Resultados

Regresión Lineal y Logística: En los experimentos de adición de covariables, los modelos con priores normales independientes mostraron una disminución aguda en el rendimiento predictivo fuera de la muestra (elpd) a medida que aumentaba el número de predictores, debido a la explosión de la varianza a priori. En contraste, los modelos con priores R2D2 mantuvieron un rendimiento estable hasta el tamaño real del modelo.
Selección hacia Adelante (Forward Selection): Cuando se usan priores normales independientes, la selección hacia adelante a menudo se detenía prematuramente para evitar el sobreajuste, pero los modelos resultantes seguían rindiendo por debajo del modelo completo con un prior R2D2. El prior R2D2 permitió el uso de todas las covariables sin degradación del rendimiento.
Modelado No Lineal: La regresión polinómica cruda con priores independientes exhibió una explosión de la varianza predictiva a priori y un deterioro del rendimiento de prueba en grados superiores. Los splines de placa fina penalizados y los HSGP (que son predictivamente consistentes) se mantuvieron estables.
Inferencia Causal: En el experimento de RCT, el prior R2D2 conjunto condujo a un severo sesgo descendente en la estimación del efecto del tratamiento a medida que aumentaba el número de covariables ( $p$ ), resultando en una pobre cobertura. El prior "dividido" (R2D2 para las covariables, normal fijo para el tratamiento) logró el mejor equilibrio, proporcionando reducción de varianza de las covariables sin introducir sesgo.

Significado y Afirmaciones

El artículo argumenta que la dependencia tradicional de la selección de modelos para gestionar la complejidad es a menudo un paliativo para una mala especificación de los priores. Los autores afirman que los priores predictivamente consistentes permiten a los modeladores expandir sus modelos de forma segura para incluir toda la información disponible sin el temor al sobreajuste, siempre que los priores se especifiquen para mantener sensible la distribución predictiva a priori.

Las conclusiones clave para los profesionales incluyen:

Especificación de Prior Conjunto: Los supuestos de independencia entre los componentes del modelo no son un valor por defecto seguro; pueden implicar priores conjuntos altamente informativos e irreales.
Chequeos de la Distribución Predictiva a Priori: Verificar las cantidades conjuntas (como el $R^2$ a priori) es esencial para detectar cuándo los priores colocan demasiada masa en valores sin sentido.
Reevaluación de la Selección: Si la selección de modelos favorece a un modelo más simple, puede ser una indicación de un mal prior en el modelo complejo, en lugar de una verdadera necesidad de parsimonia.
El Contexto Importa: Aunque la consistencia predictiva es vital para la predicción, la inferencia causal requiere una consideración cuidadosa de qué parámetros deben sufrir contracción. Un prior conjunto que es predictivamente consistente para el resultado puede seguir siendo sesgado para parámetros causales específicos.

Los autores concluyen que el objetivo debe ser especificar priores que permanezcan sensatos en el espacio predictivo a medida que los modelos se vuelven más complejos, en lugar de forzar la dispersión a nivel de componente mediante la selección. Este enfoque respalda flujos de trabajo de expansión de modelos más seguros e iterativos.