Resumen Técnico: PCA No Lineal mediante Estrategias de Evolución

Planteamiento del Problema

El Análisis de Componentes Principales (PCA) es una técnica de reducción de dimensionalidad dominante, valorada por su interpretabilidad y su naturaleza determinista. Sin embargo, su dependencia de transformaciones lineales limita su capacidad para capturar estructuras no lineales complejas inherentes a los datos del mundo real. Las extensiones no lineales existentes enfrentan compromisos significativos:

• Kernel PCA (kPCA): Aunque captura la no linealidad, sacrifica la interpretabilidad (los componentes principales no se mapean directamente a las variables originales) y presenta dificultades en la selección de hiperparámetros.
• Auto-encoders: Carecen de las propiedades intrínsecas de maximización de la varianza y ortogonalidad del PCA, y sus variables latentes suelen ser difíciles de interpretar.
• Manejo de Datos Categóricos: El PCA estándar y muchos métodos de NLPCA fallan al manejar de forma nativa variables categóricas u ordinales. La conversión de estas a codificaciones one-hot provoca una "explosión dimensional", donde los niveles categóricos dominan la contribución de la varianza, sesgando el análisis. Además, los métodos existentes como el Análisis de Factores Múltiples (MFA) requieren codificación one-hot, lo que conduce a la inestabilidad en conjuntos de datos con muchos niveles únicos.

Los autores identifican un vacío para un marco que unifique la interpretabilidad del PCA con la flexibilidad de las redes neuronales, capaz de manejar tipos de datos mixtos sin explosión dimensional.

Metodología

El marco propuesto, PCA No Lineal mediante Estrategias de Evolución (ES), consta de tres componentes principales:

1. Parametrización de las Transformaciones

En lugar de aprender un mapeo no lineal global, el método parametriza una función de transformación $\Phi_l$ separada para cada variable original $X^{(l)}$.

• Arquitectura: Cada $\Phi_l$ se implementa como una red neuronal feed-forward simple.
• Manejo de Categóricos: Para las variables categóricas, la entrada se codifica mediante one-hot, pero la red produce un único valor escalar. Esto asegura que cada variable original (ya sea numérica o categórica) se mapee exactamente a una dimensión transformada, evitando la explosión dimensional asociada con el one-hot encoding estándar en PCA o MFA.
• Interpretabilidad: El mapeo uno a uno permite que los componentes resultantes puedan rastrearse hasta las variables originales específicas.

2. Optimización mediante Estrategias de Evolución

La función objetivo involucra la descomposición en autovalores de la matriz de covarianza, la cual no es diferenciable. En consecuencia, no se puede utilizar la retropropagación (backpropagation) estándar.

• Algoritmo: Los autores emplean Estrategias de Evolución (ES), un método de optimización de caja negra libre de derivadas.
• Proceso: Los parámetros de las redes neuronales se perturban con ruido Gaussiano. Se calcula el valor de la función objetivo para cada perturbación, y los parámetros se actualizan basándose en una aproximación de gradiente derivada de las muestras de ruido ponderadas. Esto evita las restricciones de diferenciabilidad de la descomposicón en autovalores estándar.

3. Funciones Objetivo Novedosas

El artículo introduce dos funciones objetivo para maximizar la varianza explicada de los primeros $k$ componentes principales:

• Objetivo Global ($F^k_{global}$): Maximiza la suma de las varianzas de los primeros $k$ componentes. Esto proporciona una señal escalar única para todo el sistema.
• Objetivo Parcial (Granular) ($F^k_l$): Una contribución novedosa que descompone la varianza global para maximizar la contribución de varianza individual de cada variable transformada.
  • Basado en la Proposición 3.1, se calcula la contribución de varianza $c_{j,l}$ de la variable $l$ al autovalor $j$.
  • El objetivo maximiza la suma de estas contribuciones individuales para cada variable por separado.
  • Escalamiento: Para asegurar una comparación justa con el objetivo global, el objetivo global se escala hacia abajo por el número de variables $p$ para igualar la magnitud del paso de aprendizaje en ES.

Principales Contribuciones

1. Extensión No Lineal vía Neuroevolución: El artículo propone un marco de NLPCA robusto donde las transformaciones de las variables están parametrizadas por redes neuronales y optimizadas mediante ES. Esto permite mapeos arbitrariamente complejos evitando los problemas de diferenciabilidad de la descomposicón en autovalores estándar.
2. Maximización de Varianza Granular: La introducción de la función objetivo parcial es una contribución primaria. Al aislar y maximizar la contribución de varianza específica de cada variable, el método proporciona una señal de aprendizaje más fuerte y robusta que la maximización de la varianza global, particularmente en dimensiones altas.
3. Manejo Unificado de Datos: El método maneja de forma nativa variables numéricas, categóricas y ordinales simultáneamente. Al mapear cada variable categórica a una sola columna transformada, evita la explosión dimensional del one-hot encoding, cerrando la brecha entre el Kernel PCA y los métodos tradicionales basados en componentes como MFA.

Resultados Experimentales

El método fue evaluado en tres conjuntos de datos sintéticos (círculos anidados, esferas, rayas alternas) y cinco conjuntos de datos del mundo real (crédito, ionosfera, cáncer de mama, corazón, vino) de OpenML.

• Varianza Explicada: El método propuesto (ES-PCA) superó consistentemente al PCA lineal en todos los conjuntos de datos.
• Comparación con kPCA: El método ES-PCA, particularmente con el objetivo parcial (ES-Partial), superó significativamente al Kernel PCA (kPCA) en conjuntos de datos del mundo real para $k=2$ (varianza acumulada de los dos primeros componentes).
  • Nota: La comparación con kPCA fue favorable para kPCA, ya que se reportó el mejor resultado de cuatro núcleos (rbf, coseno, polinómico, sigmoide) sin ajuste de parámetros, mientras que ES-PCA utilizó parámetros por defecto.
• Rendimiento del Objetivo: El objetivo parcial produjo consistentemente una mayor varianza explicada y una convergencia más rápida en comparación con el objetivo global. La ganancia de rendimiento del objetivo parcial sobre el global se correlacionó fuertemente con la dimensionalidad del conjunto de datos ($\rho=0.87$ para $k=1$ y $\rho=0.98$ para $k=2$).
• Interpretabilidad: Los resultados cualitativos en los conjuntos de datos sintéticos demostraron que las transformaciones aprendidas eran intuitivamente interpretables (por ejemplo, capturando diferencias de radio en esferas o periodicidad en rayas). El método preservó la capacidad de utilizar herramientas estándar de visualización de PCA, como los biplots.

Significado y Reivindicaciones

El artículo afirma abordar el "vacío" en la investigación de NLPCA identificado en revisiones previas: la necesidad de un marco general con transformaciones parametrizadas que mantenga la interpretabilidad.

• Interpretabilidad: A diferencia de los auto-encoders o el kPCA, este método preserva el mapeo uno a uno entre las variables originales y las transformadas, permitiendo a los analistas utilizar herramientas estándar (biplots) para visualizar las contribuciones de las características y las relaciones no lineales.
• Robustez a Tipos de Datos: Al manejar variables categóricas sin one-hot encoding, el método ofrece un enfoque más estable y eficiente para conjuntos de datos del mundo real no curados donde los niveles categóricos pueden ser numerosos o inconsistentes.
• Señal de Aprendizaje: Los autores afirman que el objetivo parcial granular proporciona una señal de aprendizaje superior, permitiendo que el modelo aprenda de manera más efectiva en espacios de alta dimensión donde los objetivos globales pueden tener dificultades para proporcionar una guía específica para las transformaciones individuales.

Los autores mantienen la modestia respecto al estado actual del trabajo, señalando que la varianza explicada sigue aumentando con el número de generaciones, lo que sugiere que es posible obtener más ganancias. También reconocen que, aunque el método maneja mejor los valores atípicos que el PCA estándar en algunos contextos, técnicas de PCA robusto podrían integrarse en trabajos futuros.