Resumo Técnico: TreeCCA

Declaração do Problema

A Análise de Correlação Canônica (CCA) é uma técnica fundamental para encontrar projeções de duas visões pareadas que maximizam as correlações entre as visões. Embora a CCA tenha sido aplicada com sucesso em domínios como multi-ômica para descobrir associações entre genômica, transcriptômica e proteômica, os métodos existentes enfrentam limitações significativas:

1. Linearidade: A CCA clássica baseia-se em projeções lineares, falhando em capturar relações não lineares.
2. Limitações Neurais: A Deep CCA (DCCA) aborda a não linearidade usando codificadores neurais, mas frequentemente apresenta desempenho inferior aos modelos de árvores de boosting de gradiente (GBTs) em dados tabulares, devido à capacidade superior destes últimos em lidar com estruturas de limiar, interações de características e tamanhos moderados de amostra.
3. Cegueira de Esparsidade: Métodos de CCA esparsa (ex: PMD) utilizam penalidades L1 para selecionar características, mas permanecem estruturalmente cegos a sinais com covariância cruz vista-vista linear zero.
4. Interpretabilidade: Codificadores neurais carecem de interpretabilidade nativa, tornando difícil entender quais características impulsionam as correlações entre as visões.

Atualmente, não existe um método que utilize conjuntos de árvores de boosting de gradiente como codificadores de CCA, apesar de os GBTs dominarem os benchmarks de aprendizado de máquina tabular.

Metodologia: TreeCCA

Os autores propõem o TreeCCA, o primeiro método a treinar conjuntos de árvores de boosting de gradiente de ponta a ponta como codificadores de CCA. O principal facilitador técnico é a perda de Eckart-Young (EY), que reformula a CCA como um problema de minimização não restrito sobre matrizes de incorporação $Z_1$ e $Z_2$, evitando a necessidade de problemas de autovalores generalizados.

Componentes Técnicos Principais

1. Perda EY e Gradientes:
   A perda EY é definida como:
   $$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$$
   onde $C$ é a covariância cruzada simetrizada e $V$ é a covariância dentro da visão. Crucialmente, esta formulação fornece gradientes de forma fechada por amostra:
   $$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$$
   Estes gradientes dependem apenas das incorporações empíricas, não da arquitetura do codificador. Isso permite que os gradientes sejam fornecidos diretamente a qualquer biblioteca padrão de GBT (XGBoost, LightGBM) via sua API de objetivo customizado sem modificar a própria biblioteca.

2. Procedimento de Treinamento:

• Configuração de Dois Codificadores: Dois boosters, $B_1$ e $B_2$, são treinados para mapear as visões $X_1$ e $X_2$ para as incorporações $Z_1$ e $Z_2$.
• Cache de Incorporação Incremental: Para evitar o custo $O(R^2NK)$ de reavaliar todas as árvores em cada rodada, o método mantém uma incorporação em cache $Z$ e a atualiza incrementalmente avaliando apenas a árvore recém-adicionada. Isso resulta em um aumento de velocidade de 50 a 100 vezes.
• Hessianos Unitários: O método define o Hessiano $h_i = 1$ para todas as amostras. Usar o verdadeiro Hessiano EY faria com que o denominador no cálculo do peso da folha fosse dominado pelo termo de regularização L2 $\lambda$, levando à divergência. Os Hessianos unitários garantem que o valor da folha seja igual à média do gradiente, proporcionando estabilidade.
• Normalização de Gradiente: Os gradientes brutos da EY escalam com $O(1/\sqrt{N})$. O método normaliza os gradientes para um desvio padrão alvo fixo ($\sigma_{target} = 0.1$) para desacoplar a velocidade de treinamento do tamanho do conjunto de dados e garantir a interpretabilidade uniforme da taxa de aprendizado.

3. Extensões:

• TreeMCCA: Generaliza para $M > 2$ visões somando objetivos EY pareados.
• TreeCCA-SSL: Uma variante siamesa de codificador único para aprendizado autossupervisionado, onde um booster compartilhado é treinado em visões aumentadas independentemente.

Principais Contribuições

1. Primeiro GBT-baseado em CCA: Demonstra que a perda EY permite treinar GBTs como codificadores de CCA sem modificações na biblioteca, aproveitando o cenário de otimização global da perda EY (sem mínimos locais espúrios).
2. Treinamento Eficiente: Introduz um cache de incorporação incremental e Hessianos unitários principísticos, alcançando acelerações e estabilidade significativas.
3. Recuperação de Características Não Lineares: Alcança precisão perfeita na recuperação de sinais esparsos e não lineares onde a covariância cruz vista-vista linear é zero — um regime onde o PMD falha completamente.
4. Interpretabilidade Nativa: Ao contrário dos codificadores neurais, o TreeCCA fornece importâncias de ganho que revelam quais características específicas impulsionam as correlações entre visões sem custo adicional.
5. Escalabilidade e Generalização: Demonstra generalização superior em grandes conjuntos de dados (Split MNIST) comparado ao Deep CCA, evitando o overfitting através da regularização inerente dos GBTs.

Resultados Experimentais

O artigo avalia o TreeCCA através de benchmarks sintéticos e do mundo real:

• Benchmarks Sintéticos (Signed Power & Hermite):

  • O TreeCCA supera o Deep CCA e o Kernel CCA (KCCA) em Correlação Total Capturada (TCC).
  • No benchmark Hermite (covariância linear zero), o TreeCCA atinge 2.93 TCC contra 2.89 para o Deep CCA e quase zero para o CCA Linear.
  • O tempo de treinamento é significativamente menor que o do Deep CCA (~50s vs. ~300s) e evita o uso de memória $O(N^2)$ do KCCA.

• Escala (Split MNIST):

  • Em um conjunto de dados com $N=54.000$ e $K=50$, o Deep CCA sofre overfitting (razão TCC Treino/Val = 1.95×), enquanto o TreeCCA generaliza efetivamente (razão = 1.04×).

• Fusão de Sensores (UCI HAR):

  • O TreeCCA alcança precisão de probe comparável ao Deep CCA (0.466 vs. 0.510) com um custo de tempo de execução 5× menor (17s vs. 80s).
  • Interpretabilidade: As importâncias de ganho do XGBoost validaram uma hipótese motivada pela física: características de magnitude (relacionadas à velocidade angular) foram os principais drivers de correlação na visão do giroscópio, um insight estrutural não prontamente disponível com codificadores neurais.

• Recuperação Esparsa:

  • Em um benchmark sintético com covariância cruz vista-vista linear zero, o TreeCCA alcançou Precisão@S = 1.00 em $p=50$, enquanto o PMD permaneceu no baseline aleatório.

• Multi-Visão (TreeMCCA):

  • Avaliado em cinco conjuntos de dados reais de múltiplas visões (ex: Caltech101-7, 3Sources). O TreeMCCA consistentemente igualou ou superou o CCA Linear em TCC e precisão de classificação downstream, com os maiores ganhos observados onde os sinais entre visões eram altamente não lineares.

• Aprendizado Autossupervisionado (TreeCCA-SSL):

  • Em um benchmark sintético onde o sinal é invisível para qualquer codificador afim (devido a interações de sinal), o TreeCCA-SSL alcançou 0.630 de precisão (3.8× acima do aleatório), enquanto o PCA falhou no acaso (0.159).

Significância e Alegações

O artigo afirma que o TreeCCA oferece uma combinação única de propriedades anteriormente indisponíveis em um único método:

1. Recuperação de Sinais Não Lineares e Esparsos: Ele iguala ou supera o Deep CCA em benchmarks sintéticos e generaliza melhor em escala, além de recuperar sinais que métodos lineares esparsos estruturalmente não conseguem.
2. Interpretabilidade: Fornece diagnósticos de características nativos (importâncias de ganho) que permitem aos praticantes validar hipóteses sobre os dados (ex: estruturas de sinais baseadas em física) diretamente do modelo.
3. Amplitude Prática: Alcança desempenho comparável ao Deep CCA com um custo computacional significativamente menor e sem necessidade de busca de arquitetura ou ajuste de hiperparâmetros além dos padrões de GBT.

Os autores posicionam o TreeCCA como um primeiro passo natural para praticantes que iniciam análises de múltiplas visões, particularmente em campos como multi-ômica e aplicações clínicas, onde o tamanho das amostras é moderado, os dados são tabulares e a interpretabilidade é crítica. O artigo reconhece limitações, incluindo a degradação da precisão de recuperação esparsa em razões $p/N$ muito altas e a falta de uma teoria de convergência formal para o procedimento de atualização alternada de GBT.