Robust model selection using likelihood as data

Aquí presento un resumen técnico detallado del artículo "Robust model selection using likelihood as data" (Selección robusta de modelos utilizando la verosimilitud como datos), escrito por Jongwoo Choi, Neil A. Spencer y Jeffrey W. Miller.

1. Planteamiento del Problema

La selección de modelos es una tarea fundamental en estadística, pero los métodos estándar (como el Criterio de Información de Akaike - AIC, el Criterio de Información Bayesiano - BIC y las distribuciones posteriores bayesianas) tienen limitaciones críticas cuando el proceso generador de datos verdadero (DGP) no está incluido en el conjunto de modelos candidatos (escenario de mala especificación).

• Falta de cuantificación de incertidumbre: Los criterios de información proporcionan una estimación puntual de qué modelo es "mejor", pero no cuantifican la incertidumbre sobre qué tan cerca está cada modelo del DGP real.
• Inestabilidad en empates: Cuando múltiples modelos tienen una divergencia de Kullback-Leibler (KL) mínima similar, los métodos estándar tienden a ser inestables o a concentrarse arbitrariamente en uno solo, sin reconocer que varios modelos podrían ser igualmente válidos.
• Sesgo hacia la complejidad: En presencia de mala especificación, los métodos bayesianos tradicionales y criterios como AIC/BIC a menudo seleccionan modelos excesivamente complejos a medida que aumenta el tamaño de la muestra, en lugar de identificar el modelo más simple que se aproxime suficientemente bien a la realidad.

El objetivo del artículo es desarrollar un marco que cuantifique la incertidumbre en la aproximación de los modelos al DGP y permita una selección robusta que equilibre la complejidad y el ajuste, incluso cuando ningún modelo es correcto.

2. Metodología: El Marco "Likelihood as Data" (LaD)

La propuesta central es tratar los valores de la verosimilitud negativa por observación como datos en sí mismos, en lugar de utilizarlos solo para calcular una estadística resumen.

2.1. Formulación Básica

Dado un conjunto de $K$ modelos candidatos y $n$ observaciones i.i.d., se define la matriz de datos $Z \in \mathbb{R}^{n \times K}$, donde cada entrada $Z_{ik} = -\log(f_k(X_i))$ es la verosimilitud negativa del modelo $k$ para la observación $i$.

• Se trata cada vector fila $Z_i = (Z_{i1}, \dots, Z_{iK})^T$ como un punto de datos.
• La esperanza de cada componente $\mu_k = E[Z_{ik}]$ es igual a la divergencia KL entre el DGP real y el modelo $k$, más una constante de entropía desconocida:
  $$\mu_k = D(f_0 \| f_k) + H(f_0)$$
• Por lo tanto, estimar el vector $\mu = (\mu_1, \dots, \mu_K)^T$ equivale a estimar las distancias relativas de los modelos al DGP.

2.2. Inferencia Bayesiana Multivariada

En lugar de usar intervalos de confianza asintóticos (Wald), los autores proponen un modelo bayesiano multivariado normal:
$$Z_1, \dots, Z_n \mid \mu, \Sigma \overset{iid}{\sim} N(\mu, \Sigma)$$
Se coloca un prior Normal-Inverso-Wishart (NIW) sobre $(\mu, \Sigma)$. Esto permite:

1. Obtener una distribución posterior completa para $\mu$, cuantificando la incertidumbre en las distancias KL relativas.
2. Capturar las correlaciones entre los modelos (crucial para la estabilidad).
3. Ser computacionalmente eficiente mediante actualizaciones analíticas de los parámetros del posterior.

2.3. Selección de Modelos Robusta y el Criterio SLC

Para manejar la mala especificación, se introduce el concepto de modelo $\delta$-óptimo: un modelo cuyo KL está dentro de una tolerancia $\delta$ del mínimo posible.

• Definición: Un modelo $k$ es $\delta$-óptimo si $D(f_0 \| f_k) \le \min_j D(f_0 \| f_j) + \delta$.
• Objetivo: Identificar el modelo de mínima complejidad dentro del conjunto de modelos $\delta$-óptimos, y entre ellos, el que tenga el mejor ajuste.

Para lograr esto, proponen el Criterio Suave LaD (SLC - Smooth LaD Criterion), que evita la inestabilidad de los mínimos duros (hard-minimum) cuando hay empates. El puntaje $w_\delta(k)$ se calcula como el producto de dos factores estimados mediante Monte Carlo:

1. Factor entre clases: Probabilidad de que el modelo $k$ pertenezca a la clase de complejidad mínima dentro de los modelos $\delta$-óptimos.
2. Factor dentro de clase: Una puntuación de selección suave ($r_{nk}$) que evalúa el rendimiento relativo del modelo dentro de su clase de complejidad, utilizando un parámetro de temperatura $\alpha_n$ que crece con $n$.

2.4. Ajuste por Sesgo de Sobreajuste

Cuando los parámetros del modelo se estiman a partir de los mismos datos (caso general), la verosimilitud negativa tiende a estar sesgada hacia abajo. Los autores proponen una corrección de sesgo basada en el teorema de Wilks (o una aproximación empírica si los modelos están mal especificados):
$$Z_{ik}^{bc} = \ell_k(X_i; \hat{\theta}_k) + \frac{d_k}{2n}$$
donde $d_k$ es el número de parámetros del modelo $k$.

2.5. Escala Interpretativa ($\tau$)

Para hacer interpretable la tolerancia $\delta$, se introduce un modelo de "ruido" (ej. una distribución uniforme o un modelo nulo). Se define una tolerancia reescalada:
$$\tau = \frac{\delta}{\mu_{noise} - \mu_{min}}$$
Esto representa la proporción de información explicable que se está dispuesto a sacrificar a cambio de la simplicidad del modelo.

3. Contribuciones Clave

1. Paradigma "Likelihood as Data": Cambiar la perspectiva de usar la verosimilitud solo para puntuar modelos a tratarla como un conjunto de datos multivariados para inferencia directa sobre las distancias KL.
2. Robustez ante Mala Especificación: El método no asume que el DGP está en el conjunto de candidatos. Infere directamente las distancias relativas, lo que lo hace robusto.
3. Estabilidad en Empates: A diferencia de los métodos bayesianos estándar o reglas de mínimo duro, el SLC es estable cuando múltiples modelos tienen la misma distancia KL, asignando puntuaciones proporcionales en lugar de concentrar la probabilidad arbitrariamente.
4. Consistencia Teórica: Se demuestra que el método es asintóticamente consistente: a medida que $n \to \infty$, la puntuación SLC se concentra en el conjunto verdadero de modelos de mínima complejidad $\delta$-óptimos.
5. Interpretabilidad: La introducción de la escala $\tau$ permite a los usuarios elegir la complejidad del modelo basándose en una métrica de "costo de información" comprensible.

4. Resultados Empíricos

Los autores validan el método en cuatro escenarios:

1. Mezclas Gaussianas (Datos de Galaxias Shapley):

   • Los métodos tradicionales (AIC, BIC, Bayesiano estándar) seleccionan un número de componentes $k$ que crece indefinidamente con $n$ debido a la mala especificación.
   • El método LaD estabiliza la selección, identificando que un número menor de componentes es suficiente para capturar la estructura de los datos dentro de una tolerancia razonable.

2. Modelos de Media Multivariada Escasa:

   • En un escenario de simulación con modelos que tienen diferentes patrones de esparsidad, LaD selecciona correctamente el modelo más simple que está dentro de la tolerancia $\delta$.
   • Cuando hay empates (dos modelos con igual complejidad y ajuste), LaD asigna puntuaciones similares a ambos, mientras que otros métodos fallan al elegir uno aleatoriamente.
   • Comparado con el c-posterior (otro método robusto), LaD muestra un rendimiento superior y más estable en diferentes niveles de tolerancia.

3. Curvas de Rendimiento Térmico (Ecología Microbiana):

   • Aplicación a 9 modelos de crecimiento microbiano.
   • El método identifica que modelos muy complejos (7 parámetros) no son necesarios si se permite una pequeña pérdida de ajuste, favoreciendo modelos de 3-4 parámetros que son más interpretables y robustos.

4. Modelos de Estructura Poblacional (Genética):

   • Aplicado a datos de trucha de arroyo para inferir el número de poblaciones ($k$) usando el software STRUCTURE.
   • El método de Evanno (estándar en la industria) sugiere $k=2$, pero LaD muestra que $k=2$ no ofrece una mejora sustancial sobre $k=1$ en términos de ajuste, y que la mejora real ocurre en $k=3$ o $4$. Esto evita la selección de estructuras espurias.

5. Significado e Impacto

El trabajo de Choi et al. representa un avance significativo en la inferencia estadística bajo incertidumbre de modelo.

• Práctico: Ofrece una herramienta computacionalmente eficiente (basada en muestreo de NIW) que los estadísticos pueden implementar fácilmente para seleccionar modelos de manera más honesta y robusta.
• Teórico: Proporciona garantías de consistencia y estabilidad que faltan en los métodos actuales, especialmente en situaciones donde la "verdad" no está en el modelo.
• Filosófico: Promueve un cambio de mentalidad desde la búsqueda de "el modelo correcto" hacia la identificación de "el modelo más simple que es suficientemente bueno", cuantificando explícitamente el trade-off entre simplicidad y ajuste.

En resumen, el marco LaD transforma la selección de modelos de un problema de optimización puntual a uno de inferencia probabilística sobre la calidad de los modelos, ofreciendo una solución robusta y teóricamente fundamentada a uno de los problemas más persistentes en la práctica estadística moderna.