🤖 machine learning

TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees

L'article présente TreeCCA, une méthode novatrice qui entraîne des ensembles d'arbres à boosting de gradient de bout en bout en tant qu'encodeurs d'analyse de corrélation canonique via une perte d'Eckart-Young personnalisée, atteignant ainsi l'état de l'art en matière d'extraction de corrélation non linéaire et d'interprétabilité avec la fiabilité et l'efficacité « plug-and-play » des bibliothèques standard basées sur les arbres.

Auteurs originaux : James Chapman

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Chapman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous possédiez deux carnets différents remplis d'indices. L'un de vos carnets répertorie la taille, le poids et la pointure des suspects, tandis que l'autre liste leurs aliments préférés, leurs genres musicaux et leurs loisirs. Votre tâche est de trouver le lien caché entre ces deux listes. Peut-être que les suspects les plus grands ont tendance à aimer le jazz, ou peut-être que les personnes qui adorent la nourriture épicée préfèrent aussi la randonnée. C'est le cœur d'un jeu de détection statistique appelé Analyse de Corrélation Canonique (CCA). C'est un outil que les scientifiques utilisent pour trouver les liens les plus forts entre deux ensembles de données différents, les aidant à comprendre comment différentes parties du monde — comme les gènes et les maladies, ou l'activité cérébrale et le comportement — communiquent entre elles.

Pendant longtemps, les détectives ont utilisé de simples règles à lignes droites pour trouver ces connexions. Ils supposaient que la relation était aussi directe que « plus grand égale amateur de jazz ». Mais le monde réel est désordonné et courbe ; parfois, la connexion est une courbe tortueuse et complexe qu'une règle droite ne peut tout simplement pas mesurer. Pour y remédier, les scientifiques ont commencé à utiliser le « Deep Learning » (apprentissage profond), qui revient à embaucher une équipe de robots super intelligents et flexibles pour trouver ces motifs courbes. Ces robots sont puissants, mais ils sont aussi comme des boîtes noires : ils sont difficiles à régler, peuvent être déroutés par de petites quantités de données, et une fois qu'ils ont trouvé une réponse, il est souvent impossible de comprendre pourquoi ils ont fait ce choix. Ils vous donnent simplement la réponse sans montrer leur raisonnement.

C'est ici qu'un nouvel article intervient avec une idée fraîche. Les auteurs, dirigés par James Chapman, demandent : « Et si nous utilisions les outils qui sont déjà les rois des données tabulaires — les Arbres de Boost de Gradient (Gradient-Boosted Trees) ? » Vous connaissez peut-être ces arbres comme les moteurs derrière XGBoost et LightGBM, les outils qui gagnent presque toutes les compétitions de prédiction, comme les prix de l'immobilier ou les risques de prêt. Ils sont célèbres pour être fiables, faciles à utiliser et, surtout, transparents. Vous pouvez regarder un arbre et voir exactement quel indice a été le plus important. L'article présente TreeCCA, une méthode qui entraîne ces moteurs basés sur les arbres pour trouver les connexions complexes et courbes entre deux ensembles de données, tout comme les robots sophistiqués, mais avec la fiabilité et la clarté d'un arbre bien construit.

L'arbre qui apprend à corréler

L'article propose TreeCCA, la première méthode qui entraîne des ensembles d'arbres de décision de boost de gradient comme « encodeurs » pour la CCA. Considérez un encodeur comme un traducteur qui prend des données brutes (comme une liste de nombres) et les transforme en un code secret (un plongement ou embedding) qui met en évidence les relations les plus importantes. Habitéralement, ces traducteurs sont des réseaux de neurones (les robots). TreeCCA remplace les robots par une forêt d'arbres de décision.

La recette secrète qui rend cela possible est ce qu'on appelle la perte d'Eckart-Young (EY). Par le passé, entraîner des arbres pour cette tâche revenait à essayer d'apprendre le calcul différentiel à un chien ; les mathématiques ne correspondaient pas. La perte EY, cependant, fournit un ensemble spécial d'instructions (gradients) qui disent aux arbres exactement comment ajuster leurs branches pour devenir meilleurs dans la recherche de corrélations. C'est comme donner aux arbres une carte qui dit : « Si vous divisez ici, vous vous rapprochez de la vérité. » Comme ces instructions sont si claires, elles peuvent être injectées directement dans les bibliques d'arbres standards comme XGBoost ou LightGBM sans avoir besoin de réécrire le logiciel.

Pourquoi les arbres pourraient être meilleurs que les robots

Les auteurs ont testé TreeCCA contre les champions actuels : le Deep CCA (l'approche robot) et le Linear CCA (la règle à ligne droite). Les résultats ont été étonnamment bons, et dans certains cas, les arbres ont gagné la course.

Sur des tests synthétiques conçus pour être difficiles, TreeCCA a trouvé des connexions plus fortes que les robots. Par exemple, sur un test appelé « Signed Power », TreeCCA a obtenu un score de 2,61, battant le Deep CCA qui a obtenu 2,43. Sur un autre test, « Hermite », où la connexion était si complexe qu'une règle droite ne pouvait absolument pas la voir (avec un score proche de zéro), TreeCCA a trouvé un signal fort avec un score de 2,93, dépassant légèrement le Deep CCA à 2,89.

Mais la véritable magie opère lorsque les données deviennent massives ou désordonnées. Dans un test utilisant un ensemble massif de données de chiffres manuscrits (Split MNIST avec 54 000 images), l'approche robot (Deep CCA) a commencé à mémoriser les données d'entraînement au lieu d'apprendre les règles, entraînant un énorme écart entre son score d'entraînement et son score de test (un ratio de 1,95). TreeCCA, cependant, est resté calme et cohérent, avec un ratio de seulement 1,04. Il semble que les arbres soient naturellement meilleurs pour ne pas trop réfléchir, ce qui les rend plus fiables pour les données du monde réel où l'on ne possède pas des millions d'exemples.

Le superpouvoir du « Pourquoi »

Peut-être que la partie la plus excitante de TreeCCA n'est pas seulement qu'il fonctionne, mais qu'il explique comment il fonctionne. Les réseaux de neurones sont souvent critiqués pour leur opacité ; vous ne pouvez pas facilement dire quel trait ils ont utilisé pour prendre une décision. Les arbres, en revanche, sont construits sur des divisions : « Est-ce que la température est supérieure à 70 ? Oui/Non. » Cette structure leur confère une interprétabilité native.

Les auteurs ont démontré cela sur le jeu de données UCI HAR, qui suit les mouvements humains à l'aide de capteurs de smartphones (accéléromètres et gyroscopes). Ils voulaient voir si le modèle pouvait comprendre que la magnitude du mouvement (la force avec laquelle le téléphone tourne) était la clé pour identifier les activités. TreeCCA n'a pas seulement donné la bonne réponse ; ses scores d'« importance des caractéristiques » ont clairement montré que les caractéristiques de magnitude étaient les plus importantes, correspondant parfaitement à une hypothèse physique sur le fonctionnement de la rotation. Un réseau de neurones a donné la bonne réponse mais n'a pas pu expliquer pourquoi, laissant le « pourquoi » caché dans ses millions de paramètres. TreeCCA a exposé le raisonnement sur la table.

Trouver des signaux dans le bruit

L'article a également abordé un problème spécifique où les autres méthodes échouent : les signaux creux (sparse signals). Imaginez que vous avez 500 indices, mais que seulement 5 d'entre eux comptent réellement, et que la connexion entre eux est non linéaire (courbe). Une méthode appelée PMD (un outil de CCA creux populaire) repose sur des mathématiques linéaires, elle est donc complètement déroutée par ce type de signal et performe non mieux que le hasard. TreeCCA, cependant, a traité le problème comme une partie de « 20 questions ». Il a demandé : « Sur quelle caractéristique dois-je effectuer une division ? » et a naturellement ignoré les 495 caractéristiques de bruit inutiles. Sur un test avec 50 caractéristiques, TreeCCA a atteint une précision parfaite (1,00), identifiant correctement les 5 vrais indices à chaque fois, alors que PMD n'a rien trouvé.

L'essentiel

TreeCCA n'est pas seulement un nouvel algorithme ; c'est un changement de perspective. Il suggère que pour de nombreux problèmes impliquant des données tabulaires (des lignes et des colonnes de chiffres), nous n'avons pas besoin de recourir aux réseaux de neurones complexes et difficiles à régler pour trouver des connexions profondes. Au lieu de cela, nous pouvons utiliser les arbres robustes, fiables et explicables qui dominent déjà le domaine.

Les auteurs ont constaté que TreeCCA égale ou bat le Deep CCA en termes de précision, s'exécute 5 fois plus vite sur certains benchmarks, et fournit une explication claire de son raisonnement. Bien que l'article note que les preuves mathématiques formelles sur la convergence des arbres sont encore en cours d'élaboration, les simulations et les tests en conditions réelles sont probants. Cela ouvre la porte à un nouveau type d'« apprentissage auto-supervisé » où les arbres peuvent apprendre des données sans étiquettes, résolvant potentiellement des problèmes que les méthodes linéaires ne peuvent tout simplement pas voir. Dans le monde de la science des données, TreeCCA est un rappel que parfois, le meilleur outil n'est pas le plus complexe, mais celui qui sait exactement quelle branche suivre.

Résumé Technique : TreeCCA

Énoncé du Problème

L'Analyse de Corrélation Canonique (CCA) est une technique fondamentale pour trouver des projections de deux vues appariées qui maximisent les corrélations inter-vues. Bien que la CCA ait été appliquée avec succès dans des domaines tels que l'omique multi-omique pour découvrir des associations entre la génomique, la transcriptomique et la protéomique, les méthodes existantes font face à des limitations significatives :

Linéarité : La CCA classique repose sur des projections linéaires, échouant à capturer les relations non linéaires.
Limites Neurales : La Deep CCA (DCCA) traite la non-linéarité à l'aide d'encodeurs neuronaux, mais sous-performe fréquemment par rapport aux arbres de décision boostés par gradient (GBT) sur les données tabulaires, en raison de la supériorité de ces derniers pour gérer les structures de seuil, les interactions de caractéristiques et les tailles d'échantillons modérées.
Aveuglement face à la parcimonie : Les méthodes de CCA parcimonieuse (ex. PMD) utilisent des pénalités L1 pour sélectionner les caractéristiques, mais restent structurellement aveugles aux signaux ayant une covariance croisée linéaire nulle.
Interprétabilité : Les encodeurs neuronaux manquent d'interprétabilité native, ce qui rend difficile la compréhension de quelles caractéristiques pilotent les corrélations inter-vues.

Il n'existe actuellement aucune méthode utilisant des ensembles d'arbres boostés par gradient comme encodeurs de CCA, bien que les GBT dominent les benchmarks d'apprentissage automatique tabulaire.

Méthodologie : TreeCCA

Les auteurs proposent TreeCCA, la première méthode capable d'entraîner des ensembles d'arbres boostés par gradient de bout en bout en tant qu'encodeurs de CCA. Le catalyseur technique central est la perte d'Eckart-Young (EY), qui reformule la CCA en un problème de minimisation non contraint sur les matrices d'incorporation $Z_1$ et $Z_2$ , évitant ainsi le recours aux problèmes de valeurs propres généralisées.

Composants Techniques Clés

Perte EY et Gradients :
La perte EY est définie par :
$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$
où $C$ est la covariance croisée symétrisée et $V$ est la covariance intra-vue. Crucialement, cette formulation fournit des gradients par échantillon en forme close :
$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$
Ces gradients dépendent uniquement des incorporations empiriques, et non de l'architecture de l'encodeur. Cela permet de fournir les gradients directement à n'importe quelle bibliothèque GBT standard (XGBoost, LightGBM) via leur API d'objectif personnalisé sans modifier la bibliothèque elle-même.
Procédure d'Entraînement :
- Configuration à deux encodeurs : Deux boosters, $B_1$ et $B_2$ , sont entraînés pour mapper les vues $X_1$ et $X_2$ vers les incorporations $Z_1$ et $Z_2$ .
- Cache d'Incorporation Incrémental : Pour éviter le coût $O(R^2NK)$ de la réévaluation de tous les arbres à chaque tour, la méthode maintient une incorporation $Z$ mise en cache et la met à jour de manière incrémentale en évaluant uniquement l'arbre nouvellement ajouté. Cela permet un gain de vitesse de 50 à 100×.
- Hessiens Unitaires : La méthode définit le Hessien $h_i = 1$ pour tous les échantillons. L'utilisation du véritable Hessien EY ferait en sorte que le dénominateur dans le calcul du poids des feuilles soit dominé par le terme de régularisation L2 $\lambda$ , entraînant une divergence. Les Hessiens unitaires garantissent que la valeur de la feuille égale la moyenne du gradient, assurant la stabilité.
- Normalisation des Gradients : Les gradients EY bruts évoluent en $O(1/\sqrt{N})$ . La méthode normalise les gradients vers un écart-type cible fixe ( $\sigma_{target} = 0.1$ ) pour découpler la vitesse d'entraînement de la taille du jeu de données et assurer une interprétabilité uniforme du taux d'apprentissage.
Extensions :
- TreeMCCA : Généralise à $M > 2$ vues en sommant les objectifs EY par paires.
- TreeCCA-SSL : Une variante siamoise à encodeur unique pour l'apprentissage auto-supervisé, où un booster partagé est entraîné sur des vues augmentées indépendamment.

Contributions Clés

Premier GBT basé sur la CCA : Démontre que la perte EY permet d'entraîner des GBT en tant qu'encodeurs de CCA sans modification de bibliothèque, en tirant parti du paysage d'optimisation globale de la perte EY (pas de minima locaux spécieux).
Entraînement Efficace : Introduit un cache d'incorporation incrémental et des Hessiens unitaires fondés sur des principes, atteignant des accélérations et une stabilité significatives.
Récupération de Caractéristiques Non Linéaires : Atteint une précision parfaite dans la récupération de signaux creux et non linéaires où la covariance croisée linéaire est nulle — un régime où PMD échoue complètement.
Interprétabilité Native : Contrairement aux encodeurs neuronaux, TreeCCA fournit des importances de gain qui révèlent quelles caractéristiques spécifiques pilotent les corrélations inter-vues sans coût supplémentaire.
Scalabilité et Généralisation : Démontre une généralisation supérieure sur de grands jeux de données (Split MNIST) par rapport à Deep CCA, évitant le surapprentissage grâce à la régularisation inhérente des GBT.

Résultats Expérimentaux

L'article évalue TreeCCA à travers des benchmarks synthétiques et réels :

Benchmarks Synthétiques (Signed Power & Hermite) :
- TreeCCA surpasse Deep CCA et Kernel CCA (KCCA) en termes de Corrélation Totale Capturée (TCC).
- Sur le benchmark Hermite (covariance linéaire nulle), TreeCCA atteint 2.93 TCC contre 2.89 pour Deep CCA et presque zéro pour la CCA linéaire.
- Le temps d'entraînement est nettement inférieur à celui de Deep CCA (~50s contre ~300s) et évite la mémoire $O(N^2)$ de KCCA.
Échelle (Split MNIST) :
- Sur un jeu de données avec $N=54\,000$ et $K=50$ , Deep CCA fait du surapprentissage (ratio TCC Entraînement/Validation = 1.95×), tandis que TreeCCA généralise efficacement (ratio = 1.04×).
Fusion de Capteurs (UCI HAR) :
- TreeCCA atteint une précision comparable à Deep CCA (0.466 contre 0.510 de précision de sonde) avec un coût de temps de calcul 5× inférieur (17s contre 80s).
- Interprétabilité : Les importances de gain d'XGBoost ont validé une hypothèse motivée par la physique : les caractéristiques de magnitude (liées à la vitesse angulaire) étaient les principaux moteurs de corrélation dans la vue du gyroscope, une intuition structurelle qui n'est pas aisément disponible avec les encodeurs neuronaux.
Récupération de Parcimonie :
- Sur un benchmark synthétique avec covariance croisée linéaire nulle, TreeCCA a atteint une Précision@S = 1.00 à $p=50$ , tandis que PMD est resté au niveau de la ligne de base aléatoire.
Multi-vues (TreeMCCA) :
- Évalué sur cinq jeux de données réels multi-vues (ex. Caltech101-7, 3Sources). TreeMCCA égale ou dépasse systématiquement la CCA linéaire en TCC et en précision de classification en aval, les gains les plus importants étant observés là où les signaux inter-vues sont hautement non linéaires.
Apprentissage Auto-Supervisé (TreeCCA-SSL) :
- Sur un benchmark synthétique où le signal est invisible pour tout encodeur affine (en raison d'interactions de signes), TreeCCA-SSL a atteint une précision de 0.630 (3.8× au-dessus de l'aléatoire), alors que PCA a échoué au niveau du hasard (0.159).

Signification et Revendications

L'article affirme que TreeCCA offre une combinaison unique de propriétés auparavant indisponibles dans une seule méthode :

Récupération de Signaux Non Linéaires et Creux : Il égale ou dépasse Deep CCA sur les benchmarks synthétiques et généralise mieux à grande échelle, tout en récupérant des signaux que les méthodes linéaires parcimonieuses ne peuvent structurellement pas traiter.
Interprétabilité : Il fournit des diagnostics de caractéristiques natifs (importances de gain) qui permettent aux praticiens de valider des hypothèses sur les données (ex. structures de signaux basées sur la physique) directement à partir du modèle.
Étendue Pratique : Il atteint des performances comparables à Deep CCA avec un coût de calcul nettement inférieur et sans besoin de recherche d'architecture ou de réglage d'hyperparamètres au-delà des paramètres par défaut des GBT.

Les auteurs positionnent TreeCCA comme une première étape naturelle pour les praticiens débutant des analyses multi-vues, particulièrement dans des domaines comme l'omique multi-omique et les applications cliniques où les tailles d'échantillons sont modérées, les données sont tabulaires et l'interprétabilité est critique. L'article reconnaît des limites, notamment la dégradation de la précision de la récupération de la parcimonie à des ratios $p/N$ très élevés et l'absence de théorie de convergence formelle pour la procédure de mise à jour alternée des GBT.