Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

Aquí presento un resumen técnico detallado del artículo "Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective" (Cuantificación de la incertidumbre y estabilidad entre predictores altamente correlacionados: una perspectiva de subespacios), escrito por Xiaozhu Zhang, Jacob Bien y Armeen Taeb.

---

1. El Problema: Selección de Variables en Entornos de Alta Correlación

La selección de variables es un desafío fundamental en la ciencia de datos, especialmente cuando las características (predictores) están altamente correlacionadas (multicolinealidad). En estos escenarios, las metodologías tradicionales de selección de modelos enfrentan dos obstáculos principales:

1. Definición de Similitud: Las métricas estándar de similitud entre modelos (como el número de características compartidas, $|S_1 \cap S_2|$) son engañosas. Dos modelos pueden no compartir ninguna variable, pero si las variables seleccionadas en cada modelo son altamente correlacionadas (casi linealmente dependientes), los modelos pueden tener capacidades predictivas casi idénticas. Las métricas discretas fallan al capturar esta equivalencia.
2. Evaluación de Estabilidad: Los métodos basados en estabilidad (como Stability Selection) sufren del fenómeno de "división de votos" (vote splitting). Cuando hay características correlacionadas, los algoritmos de selección pueden elegir una variable en una submuestra y su correlada en otra. Esto resulta en que ninguna de las dos variables obtenga una puntuación de estabilidad alta, a pesar de ser ambas predictores fuertes. Además, seleccionar solo las variables "estables" individualmente a menudo conduce a modelos demasiado pequeños con un rendimiento predictivo deficiente.

El núcleo del problema es que las nociones existentes de similitud y estabilidad son discretas (basadas en conjuntos de características), mientras que la realidad de la correlación alta requiere un enfoque continuo.

2. Metodología: La Perspectiva de Subespacios

Los autores proponen un marco teórico y algorítmico basado en subespacios de características para superar estas limitaciones.

A. Representación de Modelos como Subespacios

En lugar de representar un modelo $S$ como un conjunto de índices de características, lo representan como el subespacio generado por las columnas de la matriz de datos $X$ correspondientes a esas características, denotado como $\text{col}(X_S)$.

• Si dos conjuntos de características generan subespacios alineados (debido a la alta correlación), se consideran similares, independientemente de si comparten índices exactos.

B. Nuevas Métricas Continuas

Se definen métricas basadas en la geometría de los subespacios (ángulos principales):

1. Similitud ($\tau$): Se define como la traza del producto de las matrices de proyección de los dos subespacios:
   $$\tau(S_1, S_2) := \text{trace}(P_{\text{col}(X_{S_1})} P_{\text{col}(X_{S_2})})$$
   Esta métrica varía suavemente con la correlación y se reduce al conteo de intersección cuando las características son ortogonales.

2. Verdaderos Positivos (TP) y Falsos Positivos (FP) Continuos:

   • TP: La alineación entre el subespacio del modelo verdadero y el estimado.
   • FP: La alineación entre el subespacio estimado y el subespacio ortogonal al modelo verdadero. Esto permite cuantificar el error incluso cuando se selecciona una variable "sustituta" altamente correlacionada en lugar de la señal original.

3. Estabilidad de Subespacios ($\pi$):
   Para un conjunto de características $S$, la estabilidad se mide por qué tan alineado está su subespacio con la matriz de proyección promedio ($P_{\text{avg}}$) obtenida de múltiples submuestras:
   $$\pi(S) := \sigma_{|S|}(P_{\text{col}(X_S)} P_{\text{avg}} P_{\text{col}(X_S)})$$
   Donde $\sigma_{|S|}$ es el $|S|$-ésimo valor singular. Esta medida captura la estabilidad del subespacio en su conjunto, no solo de variables individuales, mitigando el problema de la división de votos.

C. Algoritmo: FSSS (Feature Subspace Stability Selection)

Se propone un algoritmo para enumerar modelos estables múltiples (conjuntos maximalmente estables):

1. Entrada: Submuestras de datos y un procedimiento base de selección (ej. Lasso o regresión $\ell_0$).
2. Cálculo: Se calcula $P_{\text{avg}}$ a partir de las proyecciones de los modelos seleccionados en cada submuestra.
3. Búsqueda: Se realiza una búsqueda en el espacio de modelos (expansión de características) utilizando un criterio de estabilidad $\alpha$.
   • Se utilizan reglas de poda para reducir el espacio de búsqueda (monotonía de la estabilidad, rechazo temprano).
   • El algoritmo devuelve una colección de conjuntos de características que son estables y maximalmente grandes bajo el umbral $\alpha$.
4. Salida: Múltiples modelos estables que capturan la intercambiabilidad de las características correlacionadas.

3. Contribuciones Clave

1. Marco Teórico de Subespacios: Introducen una perspectiva continua para la selección de variables que trata la correlación alta como una propiedad estructural (alineación de subespacios) en lugar de un obstáculo.
2. Definiciones de Error y Estabilidad: Reformulan los conceptos de Verdaderos/Falsos Positivos y Estabilidad para que sean invariantes a la permutación de características correlacionadas, reduciéndose a las definiciones clásicas solo cuando las características son ortogonales.
3. Algoritmo FSSS: Desarrollan un procedimiento eficiente que combina la búsqueda discreta de modelos con la evaluación continua de estabilidad, capaz de encontrar múltiples modelos estables en lugar de uno solo.
4. Garantías Teóricas: Proporcionan límites teóricos para el error de falsos positivos y demuestran la consistencia de la selección de características bajo supuestos de agrupamiento (clustering) de características correlacionadas.

4. Resultados Empíricos

Los autores validan su método (FSSS) mediante experimentos en datos sintéticos y un conjunto de datos real de expresión génica para el pronóstico del cáncer de mama (GSE2990).

• Datos Sintéticos:

  • FSSS supera a la Stability Selection (SS) y a la Cluster Stability Selection (CSS).
  • Mientras que SS sufre de división de votos (seleccionando pocos o ningún predictor), y CSS depende de una agrupación predefinida que puede ser imperfecta, FSSS logra separar limpiamente el ruido de las señales.
  • Rendimiento: FSSS produce modelos más grandes con un Error Cuadrático Medio (MSE) significativamente menor y una mayor tasa de verdaderos positivos, manteniendo una baja tasa de falsos positivos.
  • Estabilidad de Salida: FSSS genera una colección de modelos estables que son intercambiables, capturando la incertidumbre del proceso de selección.

• Datos Reales (Cáncer de Mama):

  • FSSS identifica múltiples modelos estables con genes biológicamente relevantes (ej. CEP55, SETD8).
  • El análisis de similitud entre los modelos encontrados revela que las diferencias entre ellos a menudo involucran pares de genes altamente correlacionados, validando la intuición de que existen múltiples descripciones equivalentes del fenómeno biológico (efecto Rashomon).
  • En comparación, los métodos tradicionales tienden a seleccionar modelos pequeños con peor rendimiento predictivo.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Resolución del Problema de Intercambiabilidad: Reconoce que en presencia de multicolinealidad, no existe un único "mejor modelo", sino un conjunto de modelos equivalentes. FSSS proporciona una herramienta para explorar este conjunto en lugar de forzar una selección arbitraria.
• Superación de la "División de Votos": Al evaluar la estabilidad del subespacio en lugar de la frecuencia de selección de variables individuales, el método recupera la señal incluso cuando las variables correlacionadas compiten entre sí.
• Interpretabilidad Mejorada: Al ofrecer múltiples modelos estables, los investigadores pueden entender mejor la estructura de dependencia de los datos y la robustez de sus conclusiones, en lugar de confiar en un único conjunto de variables frágil.
• Implementación Práctica: El método está disponible en el paquete de R substab, facilitando su adopción en la comunidad estadística y de ciencia de datos.

En resumen, el artículo propone un cambio de paradigma: pasar de una visión discreta de la selección de variables a una visión continua basada en subespacios, lo que permite una gestión más robusta, precisa e interpretable de la incertidumbre en modelos con predictores altamente correlacionados.