Resumen Técnico: Agrupamiento de Subespacios en Datos Incompletos con Aprendizaje Contrastivo Autosupervisado

Definición del Problema

El agrupamiento de subespacios (subspace clustering) tiene como objetivo particionar puntos de datos de alta dimensión que residen en la unión de subespacios de baja dimensión. Aunque es efectivo en dominios como el análisis de la expresión génica, la obtención de imágenes hiperespectrales y los sistemas de recomendación, los métodos existentes asumen predominantemente datos completamente observados. En escenarios del mundo real, los datos suelen estar incompletos debido a la oclusión, fallos en los sensores o restricciones de recursos. Los enfoques tradicionales, que dependen de afinidades por pares o de la descomposición de matrices, tienen dificultades con las entradas faltantes, lo que a menudo produce resultados subóptimos cuando se utiliza una imputación ingenua o fallan al escalar con grandes conjuntos de datos. Además, muchos métodos de agrupamiento de subespacios basados en aprendizaje profundo también asumen entradas completas, sobreajustándose a las entradas observadas o requiriendo estrategias de imputación sesgadas.

Metodología: Agrupamiento de Subespacios Contrastivo (CSC)

Los autores proponen el Agrupamiento de Subespacios Contrastivo (CSC), un marco de trabajo autosupervisado diseñado para aprender representaciones (embeddings) robustas a partir de datos incompletos sin requerir etiquetas o reconstrucción explícita de datos.

Marco Central

El proceso opera en dos etapas principales: entrenamiento e inferencia.

1. Aumento de Datos mediante Enmascaramiento Aleatorio:
   Para cada muestra parcialmente observada $y_i = M_i \odot x_i$ (donde $M_i$ es una máscara binaria), el método genera dos vistas aumentadas disjuntas, $y_i^a$ y $y_i^b$, aplicando dos máscaras aleatorias disjuntas ($M_i^a$ y $M_i^b$) a la muestra incompleta original. Estas vistas sirven como pares positivos para el aprendizaje contrastivo.

2. Aprendizaje Contrastivo (estilo SimCLR):
   Una red neuronal profunda compartida (backbone) $f_\theta$ procesa ambas vistas aumentadas para producir representaciones latentes $h_i^a$ y $h_i^b$. Estas se proyectan a través de una cabeza $g_\phi$ hacia un espacio latente. El modelo se entrena utilizando una pérdida de Entropía Cruzada con Temperatura Normalizada (NT-Xent). Este objetivo acerca las representaciones de las dos vistas del mismo ejemplo y aleja las representaciones de muestras diferentes. Esto fomenta que la red aprenda características invariantes que capturen la estructura del subespacio subyacente a pesar de las entradas faltantes.

3. Inferencia y Agrupamiento:
   Después del entrenamiento, la cabeza de proyección se descarta. El backbone entrenado $f_\theta$ incrusta las muestras incompletas originales en un espacio latente. Estas representaciones se introducen luego en un algoritmo estándar de Agrupamiento de Subespacio Disperso (SSC) para recuperar las asignaciones finales de los grupos. Notablemente, el método no reconstruye los datos faltantes; agrupa directamente las representaciones aprendidas.

Contribuciones Clave

• Marco Novedoso para Datos Incompletos: CSC es el primer método que aplica un marco de aprendizaje contrastivo autosupervisado específicamente para el agrupamiento de subespacios con datos faltantes. Trata el enmascaramiento aleatorio como una estrategia de aumento de datos en lugar de un problema a resolver mediante imputación.
• Robustez ante la Ausencia de Datos: Al aprender la invarianza a través de vistas enmascaradas, el método captura estructuras de subespacios incluso cuando los valores de características individuales están ausentes, evitando los artefactos introducidos por los métodos de imputación de dos etapas.
• Escalabilidad: A diferencia de los métodos basados en optimización que escalan cuadráticamente con el número de muestras (debido a la construcción de la matriz de afinidad), CSC utiliza una pasada hacia adelante (forward pass) para la inferencia, ofreciendo un agrupamiento casi instantáneo y una demanda computacional significativamente reducida.
• Modularidad: El enfoque desacopla el aprendizaje de representaciones del algoritmo de agrupamiento, permitiendo que las representaciones aprendidas se utilicen con cualquier técnica de agrupamiento estándar (por ejemplo, k-means, agrupamiento espectral o SSC).

Resultados Experimentales

Los autores evaluaron CSC en seis conjuntos de datos de referencia, incluyendo conjuntos de datos estándar de visión por computadora (MNIST, COIL20) y conjuntos de datos de imágenes hiperespectrales (HSI) (IndianPines, Pavia University, Salinas).

• Rendimiento vs. Baselines: CSC superó consistentemente tanto a los métodos clásicos (por ejemplo, EWZF-SSC, GSSC, MSC) como a los baselines de aprendizaje profundo (por ejemplo, DSC, MAE, DMFMC).
  • En MNIST, CSC superó a todos los referentes por más del 15% en precisión media.
  • En Pavia e IndianPines (conjuntos de datos HSI), se observaron mejoras de más del 5% y 6%, respectivamente.
  • En conjuntos de datos con altas tasas de ausencia (bajas tasas de muestreo $\rho$), CSC mantuvo un rendimiento estable, mientras que los métodos clásicos y los Autoencoders enmascarados (MAE) sufrieron una degradación significativa, particularmente bajo condiciones de alto ruido.
• Estudios de Ablación:
  • Profundidad del Modelo: El aumento de la profundidad de la red mejoró la precisión hasta cierto punto (estancándose alrededor de la profundidad 5), lo que indica el beneficio de la expresividad del modelo.
  • Conexiones Residuales: La elección de la estrategia de conexión residual (Completa, Bloque o Ninguna) tuvo un impacto menor en el rendimiento, siendo "Sin Residual" ligeramente mejor en grandes conjuntos de datos.
  • Robustez al Ruido: CSC demostró una robustez superior en comparación con MAE tanto en regímenes de bajo como de alto ruido, manteniendo errores de agrupamiento bajos incluso cuando las tasas de muestreo eran moderadas o bajas ($\rho \approx 0.5$).

Significado y Reivindicaciones

El artículo afirma que CSC ofrece una solución escalable, robusta y libre de etiquetas para el agrupamiento de subespacios en presencia de datos faltantes. Su importancia radica en:

1. Superar el Cuello de Botella de la Imputación: Al evitar la reconstrucción explícita, el método elude la distorsión de la geometría del subespacio que a menudo causan los pasos de imputación en escenarios de alta tasa de ausencia.
2. Eficiencia: La capacidad de realizar la inferencia mediante una simple pasada hacia adelante hace que el método sea significativamente más eficiente que los métodos tradicionales de agrupamiento de subespacios basados en optimización.
3. Generalizabilidad: El marco es aplicable a diversos tipos de datos, incluyendo imágenes estándar y datos hiperespectrales de alta dimensión, sin requerir cambios arquitectónicos específicos del dominio más allá de la selección del backbone.

Los autores concluyen que, si bien el agrupamiento de subespacios con datos faltantes sigue siendo un problema desafiante, particularmente en regímenes de alta dimensión, el enfoque contrastivo propuesto proporciona una base sólida para trabajos futuros en entornos de flujo continuo (streaming) y de múltiples vistas.