Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA

Resumen Técnico: Homogeneidad y Búsqueda de Sub-homogeneidad mediante PCA de Agrupamiento Complementario Iterativo

1. Planteamiento del Problema

El Análisis de Componentes Principales (PCA) es la técnica de reducción de dimensionalidad más utilizada para datos de alta dimensión. Su objetivo principal es identificar la homogeneidad (patrones compartidos por todo el conjunto de datos) y crear un espacio de características reducido.

Sin embargo, el PCA tradicional falla cuando los datos poseen una estructura de grupos (ej. acciones de diferentes industrias). En tales casos:

• El PCA captura la variación global (homogeneidad), pero ignora los patrones específicos de cada grupo, conocidos en este estudio como sub-homogeneidad.
• La sub-homogeneidad a menudo tiene una varianza menor que la homogeneidad global, por lo que el PCA la trata como ruido y la descarta.
• Esto resulta en una representación incompleta de los datos y en un rendimiento deficiente en aplicaciones como la predicción de retornos de acciones o la estimación de matrices de covarianza.
• Además, existe un dilema circular: para identificar la sub-homogeneidad, primero se necesita conocer la estructura de grupos (clústeres), pero para identificar los clústeres correctamente, primero se debe eliminar la homogeneidad dominante que enmascara las diferencias entre grupos.

2. Metodología Propuesta: CPCA

Los autores proponen un nuevo método llamado PCA de Agrupamiento Complementario Iterativo (CPCA - Complement Clustering PCA). Este método estima iterativamente tanto la homogeneidad (componentes comunes) como la sub-homogeneidad (componentes específicos de grupo).

Representación de los Datos:
El modelo asume que un vector de observación $x_i$ se descompone en:
$$x_i = \sum_{k=1}^{r_c} g_{ik}\phi_k + u_i$$
Donde:

• La primera parte representa la homogeneidad (componentes comunes $g_{ik}$ y vectores propios $\phi_k$).
• El residuo $u_i$ contiene la sub-homogeneidad, que se modela como una suma de componentes específicos de cada clúster $j$ ($f^{(j)}_{ih}$) más un error. Esto implica que, una vez removido el efecto común, los datos tienen una estructura de covarianza bloque-diagonal (los grupos no están correlacionados entre sí).

Algoritmo Iterativo (CPCA):
El algoritmo sigue un proceso de tres etapas para resolver el dilema circular:

1. Paso Inicial:

   • Se aplica PCA estándar a todos los datos para estimar los componentes comunes iniciales ($G_0, \Phi_0$).
   • Se calcula el "complemento" (residuos): $X^c_0 = X - G_0\Phi_0^\top$.
   • Se realiza un agrupamiento jerárquico sobre $X^c_0$ para obtener una partición inicial de los clústeres.

2. Paso Iterativo (S = 1, 2, ...):

   • Refinamiento de Componentes Comunes: Se agrupan las variables según los clústeres actuales. Se aplica PCA dentro de cada grupo y luego se combina la información para realizar un segundo nivel de PCA. Esto extrae los componentes comunes compartidos por los grupos, reduciendo el efecto de la "maldición de la dimensionalidad" al trabajar con dimensiones más pequeñas ($p_j$) antes de la reducción global.
   • Refinamiento de Clústeres (LOO-PCR Clustering): Se introduce un nuevo método de agrupamiento basado en Regresión de Componentes Principales (PCR) con "dejar uno fuera" (Leave-One-Out).
     • Para cada variable $k$, se deja fuera y se intenta predecirla usando los componentes principales de cada grupo candidato.
     • La variable se asigna al grupo que minimiza la Suma de Cuadrados de los Residuos (SSR).
     • Si el SSR es demasiado alto (mayor que un umbral $\tau$), la variable se considera un clúster por sí misma.
   • Este proceso se repite hasta que la asignación de clústeres converge (medido por el Índice Rand Ajustado - ARI).

3. Paso Final:

   • Se realiza una última estimación de los componentes comunes y específicos utilizando los clústeres convergidos finales.

3. Contribuciones Clave

1. Detección de Sub-homogeneidad: El método es capaz de identificar y estimar patrones específicos de grupo que el PCA tradicional ignora, incluso cuando su varianza es pequeña.
2. Método de Agrupamiento Robusto (LOO-PCR): Se desarrolla una técnica de agrupamiento basada en la capacidad predictiva de los componentes de un grupo sobre sus variables. Esto supera a los métodos jerárquicos tradicionales, especialmente en escenarios de alta dimensionalidad ($p \gg n$) donde las correlaciones simples pueden ser engañosas.
3. Estimación Iterativa: Resuelve el problema de la enmascaramiento mutuo entre homogeneidad y estructura de grupos mediante un ciclo de estimación y refinamiento.
4. Fundamento Teórico: Se demuestra teóricamente que, bajo ciertas condiciones de distinción entre sub-homogeneidades de diferentes clústeres, el método de agrupamiento LOO-PCR puede identificar correctamente la pertenencia a los grupos.

4. Resultados

Los autores validaron el método mediante estudios de simulación y un análisis de datos reales de retornos de acciones.

• Estudios de Simulación:

  • Se comparó CPCA con PCA tradicional y con una versión no iterativa (CPCA I).
  • Precisión de Recuperación: CPCA (versión final iterativa) logró un Error Cuadrático Medio de Recuperación (MSRE) significativamente menor que el PCA tradicional, especialmente cuando $n$ es pequeño y $p$ es grande.
  • Regresión de Componentes Principales (PCR): En la predicción de respuestas, CPCA combinado con Group Lasso superó ampliamente al PCA tradicional, logrando seleccionar correctamente los grupos relevantes (incluso aquellos con baja varianza pero alta importancia predictiva).
  • Estimación de Covarianza: CPCA proporcionó estimaciones de la matriz de covarianza y precisión más precisas que PCA y el método POET (Principal Orthogonal complEment Thresholding), capturando mejor la estructura bloque-diagonal.

• Análisis de Datos Reales (Retornos de Acciones):

  • Datos: 160 acciones de 8 industrias diferentes (2014).
  • Clustering: El PCA tradicional y el agrupamiento jerárquico directo fallaron en separar las industrias (ARI = 0.09) debido al efecto común del mercado. CPCA logró separar las industrias con un ARI de 0.72 tras la iteración.
  • Cartera de Mínima Varianza (MVP): Al construir una cartera global de mínima varianza utilizando la matriz de covarianza estimada por CPCA, se obtuvo el menor desvío estándar (STD) y las mejores razones de Sharpe e Información en comparación con PCA y POET. Esto demuestra que capturar la sub-homogeneidad (efectos industriales) mejora la gestión de riesgos.

5. Significado e Impacto

Este trabajo es significativo porque:

• Redefine el uso del PCA: Propone ir más allá de la simple reducción de dimensionalidad global para desentrañar estructuras jerárquicas de datos (global vs. local/grupo).
• Soluciona un problema práctico: En finanzas y otras áreas, ignorar los patrones específicos de subgrupos (como industrias o sectores) lleva a modelos de predicción y riesgo subóptimos.
• Herramienta versátil: El método CPCA no solo mejora la reducción de dimensionalidad, sino que también ofrece una herramienta superior para la estimación de matrices de covarianza en alta dimensión y la selección de variables en regresión.
• Aplicabilidad: Es particularmente útil en escenarios de "alta dimensión, baja muestra" ($p \gg n$), donde los métodos tradicionales de PCA fallan debido a la inconsistencia de los estimadores.

En conclusión, CPCA proporciona un marco robusto para analizar datos complejos con estructuras de grupos ocultas, logrando una representación más fiel de la realidad al capturar simultáneamente la homogeneidad global y la sub-homogeneidad local.