Resumen Técnico: TreeCCA

Planteamiento del Problema

El Análisis de Correlación Canónica (CCA) es una técnica fundamental para encontrar proyecciones de dos vistas emparejadas que maximicen las correlaciones entre vistas. Aunque el CCA se ha aplicado con éxito en dominios como la multiómica para descubrir asociaciones entre genómica, transcriptómica y proteómica, los métodos existentes enfrentan limitaciones significativas:

1. Linealidad: El CCA clásico depende de proyecciones lineales, lo que le impide capturar relaciones no lineales.
2. Limitaciones Neuronales: El Deep CCA (DCCA) aborda la no linealidad mediante codificadores neuronales, pero frecuentemente rinde por debajo de los árboles potenciados por gradiente (GBT) en datos tabulares, debido a la capacidad superior de estos últimos para manejar estructuras de umbral, interacciones de características y tamaños de muestra moderados.
3. Ceguera ante la Esparcidad: Los métodos de Sparse CCA (por ejemplo, PMD) utilizan penalizaciones L1 para seleccionar características, pero permanecen estructuralmente ciegos a señales con covarianza cruzada lineal cero.
4. Interpretabilidad: Los codificadores neuronales carecen de interpretabilidad nativa, lo que dificulta entender qué características impulsan las correlaciones entre vistas.

Actualmente no existe un método que utilice ensambles de árboles potenciados por gradiente como codificadores de CCA, a pesar de que los GBT dominan los benchmarks de aprendizaje automático tabular.

Metodología: TreeCCA

Los autores proponen TreeCCA, el primer método que entrena ensambles de árboles potenciados por gradiente de extremo a extremo como codificadores de CCA. El habilitador técnico central es la pérdida de Eckart-Young (EY), que reformula el CCA como un problema de minimización sin restricciones sobre matrices de incrustación (embeddings) $Z_1$ y $Z_2$, evitando la necesidad de problemas de autovalores generalizados.

Componentes Técnicos Clave

1. Pérdida EY y Gradientes:
   La pérdida EY se define como:
   $$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$$
   donde $C$ es la covarianza cruzada simetrizada y $V$ es la covarianza dentro de la vista. Crucialmente, esta formulación proporciona gradientes de forma cerrada por muestra:
   $$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$$
   Estos gradientes dependen únicamente de las incrustaciones empíricas, no de la arquitectura del codificador. Esto permite que los gradientes se suministren directamente a cualquier librería estándar de GBT (XGBoost, LightGBM) a través de su API de objetivos personalizados sin modificar la librería misma.

2. Procedimiento de Entrenamiento:

   • Configuración de Dos Codificadores: Se entrenan dos boosters, $B_1$ y $B_2$, para mapear las vistas $X_1$ y $X_2$ a las incrustaciones $Z_1$ y $Z_2$.
   • Caché de Incrustación Incremental: Para evitar el costo de $O(R^2NK)$ de reevaluar todos los árboles en cada ronda, el método mantiene una incrustación en caché $Z$ y la actualiza incrementalmente evaluando solo el árbol recién añadido. Esto produce una aceleración de 50 a 100 veces.
   • Hesianos Unitarios: El método establece el Hesiano $h_i = 1$ para todas las muestras. El uso del verdadero Hesiano de EY causaría que el denominador en el cálculo del peso de la hoja fuera dominado por el término de regularización L2 $\lambda$, provocando la divergencia. Los Hesianos unitarios aseguran que el valor de la hoja sea igual al promedio del gradiente, proporcionando estabilidad.
   • Normalización de Gradientes: Los gradientes brutos de EY escalan con $O(1/\sqrt{N})$. El método normaliza los gradientes a una desviación estándar objetivo fija ($\sigma_{target} = 0.1$) para desacoplar la velocidad de entrenamiento del tamaño del conjunto de datos y asegurar la interpretabilidad uniforme de la tasa de aprendizaje.

3. Extensiones:

   • TreeMCCA: Generaliza a $M > 2$ vistas sumando los objetivos EY por pares.
   • TreeCCA-SSL: Una variante siamesa de codificador único para aprendizaje autosupervisado, donde se entrena un booster compartido en vistas aumentadas independientemente.

Contribuciones Clave

1. Primer GBT-basado en CCA: Demuestra que la pérdida EY permite entrenar GBT como codificadores de CCA sin modificaciones de librería, aprovechando el paisaje de optimización global de la pérdida EY (sin mínimos locales espurios).
2. Entrenamiento Eficiente: Introduce una caché de incrustación incremental y Hesianos unitarios con principios, logrando aceleraciones significativas y estabilidad.
3. Recuperación de Características No Lineales: Logra una precisión perfecta en la recuperación de señales dispersas y no lineales donde la covarianza cruzada lineal es cero, un régimen donde PMD falla completamente.
4. Interpretabilidad Nativa: A diferencia de los codificadores neuronales, TreeCCA proporciona importancias de ganancia que revelan qué características específicas impulsan las correlaciones entre vistas sin costo adicional.
5. Escalabilidad y Generalización: Demuestra una generalización superior en conjuntos de datos a gran escala (Split MNIST) comparado con Deep CCA, evitando el sobreajuste gracias a la regularización inherente de los GBT.

Resultados Experimentales

El artículo evalúa TreeCCA a través de benchmarks sintéticos y del mundo real:

• Benchmarks Sintéticos (Signed Power & Hermite):

  • TreeCCA supera a Deep CCA y Kernel CCA (KCCA) en la Correlación Total Capturada (TCC).
  • En el benchmark de Hermite (covarianza lineal cero), TreeCCA logra 2.93 TCC frente a 2.89 de Deep CCA y casi cero para CCA lineal.
  • El tiempo de entrenamiento es significativamente menor que el de Deep CCA (~50s vs. ~300s) y evita la memoria $O(N^2)$ de KCCA.

• Escala (Split MNIST):

  • En un conjunto de datos con $N=54,000$ y $K=50$, Deep CCA se sobreajusta (ratio TCC Entrenamiento/Validación = 1.95×), mientras que TreeCCA generaliza efectivamente (ratio = 1.04×).

• Fusión de Sensores (UCI HAR):

  • TreeCCA logra una precisión comparable a Deep CCA (0.466 vs. 0.510 de precisión de sonda) con un costo de tiempo de ejecución 5 veces menor (17s vs. 80s).
  • Interpretabilidad: Las importancias de ganancia de XGBoost validaron una hipótesis motivada por la física: las características de magnitud (relacionadas con la velocidad angular) fueron los principales impulsores de la correlación en la vista del giroscopio, un conocimiento estructural no disponible fácilmente con codificadores neuronales.

• Recuperación Dispersa:

  • En un benchmark sintético con covarianza cruzada lineal cero, TreeCCA logró una Precisión@S = 1.00 en $p=50$, mientras que PMD permaneció en el nivel base aleatorio.

• Multi-Vista (TreeMCCA):

  • Evaluado en cinco conjuntos de datos reales de múltiples vistas (ej. Caltech101-7, 3Sources). TreeMCCA consistentemente igualó o superó a Linear CCA en TCC y precisión de clasificación descendente, observándose las mayores ganancias donde las señales entre vistas eran altamente no lineales.

• Aprendizaje Autosupervisado (TreeCCA-SSL):

  • En un benchmark sintético donde la señal es invisible para cualquier codificador afín (debido a interacciones de signo), TreeCCA-SSL logró una precisión de 0.630 (3.8× por encima del azar), mientras que PCA falló en el azar (0.159).

Significado y Reivindicaciones

El artículo afirma que TreeCCA ofrece una combinación única de propiedades previamente no disponibles en un solo método:

1. Recuperación de Señales No Lineales y Dispersas: Igualar o superar a Deep CCA en benchmarks sintéticos y generalizar mejor a escala, mientras recupera señales que los métodos lineales dispersos estructuralmente no pueden.
2. Interpretabilidad: Proporciona diagnósticos de características nativos (importancias de ganancia) que permiten a los practicantes validar hipótesis sobre los datos (ej. estructuras de señal basadas en la física) directamente desde el modelo.
3. Amplitud Práctica: Logra un rendimiento comparable al de Deep CCA con un costo computacional significativamente menor y sin necesidad de búsqueda de arquitectura o ajuste de hiperparámetros más allá de los valores por defecto de los GBT.

Los autores posicionan a TreeCCA como un primer paso natural para los practicantes que inician análisis de múltiples vistas, particularmente en campos como la multiómica y las aplicaciones clínicas donde los tamaños de muestra son moderados, los datos son tabulares y la interpretabilidad es crítica. El artículo reconoce limitaciones, incluyendo la degradación de la precisión de recuperación dispersa en relaciones $p/N$ muy altas y la falta de una teoría de convergencia formal para el procedimiento de actualización alternante de los GBT.