Objective Model Prior Probabilities in Variable Selection

Resumen Técnico: Probabilidades a Priori Objetivas en la Selección de Variables

Autores: James Berger, Gonzalo García-Donato, Elias Moreno y Luis Pericchi.
Contexto: El artículo aborda el problema de la selección de variables en modelos estadísticos bayesianos, específicamente en espacios de modelos grandes (como en genómica), donde la elección de las probabilidades a priori de los modelos es crítica.

1. Planteamiento del Problema

En el análisis de incertidumbre de modelos bayesianos, el objetivo es seleccionar un subconjunto de variables $x_1, \dots, x_k$ para incluir en un modelo. Se define un vector $\gamma$ donde $\gamma_i=1$ si la variable está incluida y $0$ en caso contrario. Existen $2^k$ modelos posibles.

El problema central identificado es la falta de parsimonia en las elecciones de probabilidades a priori tradicionales:

• Probabilidades Uniformes ($Pr(M_\gamma) = 2^{-k}$): Asignar la misma probabilidad a todos los modelos implica que la masa de probabilidad se concentra en modelos de tamaño medio (alrededor de $k/2$). En escenarios con muchas variables (ej. $k=1,000,000$), esto sugiere a priori que miles de variables son relevantes, lo cual es irrealista y carece de control de multiplicidad.
• Probabilidades de Jeffreys: Basadas en una distribución uniforme sobre la probabilidad de inclusión $p$ ($p \sim Un(0,1)$). Aunque mejoran el control de multiplicidad, asignan la misma probabilidad a priori al modelo nulo y al modelo completo ($1/(k+1)$). Esto puede llevar a seleccionar modelos excesivamente complejos (como el modelo completo) cuando la evidencia no es abrumadora, contradiciendo la creencia científica de que los modelos simples son más probables.

El objetivo del artículo es proponer y evaluar alternativas objetivas que incorporen una parsimonia necesaria pero mínima, evitando tanto la sobre-selección como la penalización excesiva de la complejidad.

2. Metodología

Los autores comparan ocho enfoques de probabilidades a priori para los modelos, evaluándolos desde perspectivas numéricas y teóricas bajo el marco de modelos lineales generales utilizando priors intrínsecos para los parámetros del modelo.

Las probabilidades a priori analizadas son:

1. Uniforme: $Pr(M_\gamma) = 2^{-k}$.
2. Jeffreys: Basada en $p \sim Un(0,1)$.
3. Armónica (Harmonic): Asigna probabilidad proporcional a $(1+d)^{-1}$ al conjunto de modelos de dimensión $d$.
4. CMG: Propuesta por [3], basada en una mezcla de Poisson con un prior intrínseco para la tasa $\lambda$.
5. Half-p Jeffreys: Basada en $p \sim Un(0, 1/2)$, limitando la probabilidad de inclusión a la mitad.
6. Half-k Jeffreys: Una versión suavizada de Jeffreys que asigna probabilidad constante a modelos grandes (dimensión $> k/2$) para evitar discontinuidades.
7. Beta(1, 2): Basada en $p \sim Beta(1, 2)$, que impone una penalización moderada.
8. Beta Jerárquica: Asigna un prior a $\alpha$ en la distribución $Beta(1, \alpha)$, resultando en una distribución marginal compleja para $p$.

Herramientas de Evaluación:

• Simulación Numérica: Se utiliza el paquete R BayesVarSel y el algoritmo branch-and-bound (leaps) para calcular probabilidades posteriores, el Modelo de Mayor Probabilidad Posterior (HPM) y el Modelo de Probabilidad Media (MPM).
• Caso de Estudio: Se aplica a un conjunto de datos de obesidad infantil con $k=47$ variables.
• Análisis Teórico: Se estudian las propiedades asintóticas para $k$ grande, específicamente la probabilidad total asignada a modelos de una dimensión dada $M(d)$ y la probabilidad de inclusión a priori de una variable individual $Pr(x_j)$.

3. Contribuciones Clave y Resultados

A. Comparación Numérica (Ejemplo de Obesidad, $k=47$):

• Uniforme y Jeffreys: Fallan en la parsimonia. Con Jeffreys, el HPM resultó ser el modelo completo (47 variables), lo cual es científicamente improbable.
• CMG: Demasiado parsimonioso; elimina casi todos los modelos con dimensión $>14$, resultando en probabilidades de inclusión muy bajas.
• Half-p y Half-k: Eliminan modelos grandes ($>34$ variables), lo que podría considerarse excesivamente restrictivo.
• Armónica (Harmonic): Aunque parece prometedora, en el ejemplo de obesidad también seleccionó el modelo completo, indicando que no es suficientemente parsimoniosa en la práctica.
• Beta(1,2) y Beta Jerárquica: Mostraron un comportamiento equilibrado. El MPM (Modelo de Probabilidad Media) fue estable en casi todas las elecciones de prior (excepto CMG), sugiriendo que el MPM es más robusto que el HPM para la selección de variables.

B. Análisis Teórico y Asintótico:

• Probabilidad de Inclusión ($Pr(x_j)$):
  • Uniforme y Jeffreys: $Pr(x_j) = 0.5$ (no deseable por falta de parsimonia).
  • Beta(1,2): $Pr(x_j) \approx 1/3$.
  • Beta Jerárquica: $Pr(x_j) \approx 0.22$.
  • Armónica y CMG: La probabilidad de inclusión disminuye a medida que $k$ aumenta, lo cual es deseable si se asume que muchas variables son "basura" o ruido.
• Comportamiento de $M(d)$ (Probabilidad total por dimensión):
  • Las priors Armónica y Beta Jerárquica ofrecen un equilibrio superior, asignando peso razonable a modelos pequeños sin anular completamente a los grandes.
  • La prior Beta(1,2) destaca por su simplicidad analítica y buen desempeño.

4. Conclusiones y Significado

El artículo concluye que no existe una única solución "perfecta" objetiva, pero se descartan las opciones tradicionales (Uniforme y Jeffreys) por su falta de parsimonia.

Recomendaciones según el contexto científico:

1. Si se requiere parsimonia estricta: Las priors Half-p o Half-k son adecuadas, aunque su naturaleza de "cortar" modelos grandes puede ser indeseable en algunos contextos. La Half-p se prefiere por su simplicidad.
2. Si se busca un equilibrio y objetividad: Las priors Beta(1,2) y Beta Jerárquica son las más recomendadas. La Beta(1,2) es atractiva por su forma cerrada, mientras que la Jerárquica da más peso a los modelos pequeños.
3. Si se asume que la probabilidad de inclusión debe disminuir con $k$: La prior Armónica es la mejor opción, aunque mostró deficiencias en el ejemplo de obesidad al no penalizar lo suficiente los modelos grandes.
4. Rechazo de opciones extremas: La prior CMG es demasiado restrictiva para ser considerada objetiva en la mayoría de los casos.

Significado del trabajo:
Este estudio proporciona un marco riguroso para la selección de priors en problemas de alta dimensión. Demuestra que la "objetividad" en la selección de variables no puede lograrse simplemente asumiendo igualdad (Uniforme) o una distribución natural simple (Jeffreys), sino que requiere una penalización sutil pero necesaria hacia la simplicidad (parsimonia). La propuesta de utilizar priors como Beta(1,2) o Armónica ofrece herramientas prácticas para investigadores en genómica y otras áreas con grandes espacios de modelos, mejorando la fiabilidad de la inferencia bayesiana.