🤖 machine learning

TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees

Het artikel introduceert TreeCCA, een nieuwe methode die gradient-boosted tree-ensembles end-to-end traint als canonical correlation analysis-encoders met behulp van een aangepaste Eckart-Young-loss, waardoor het de state-of-the-art niet-lineaire correlatie-extractie en interpreteerbaarheid bereikt met de plug-and-play betrouwbaarheid en efficiëntie van standaard boomgebaseerde bibliotheken.

Oorspronkelijke auteurs: James Chapman

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: James Chapman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt twee verschillende notitieblokken vol met aanwijzingen. Het ene notitieblok vermeldt de lengte, het gewicht en de schoenmaat van de verdachten, terwijl het andere de favoriete voedselsoorten, muziekgenres en hobby's vermeldt. Jouw taak is om de verborgen connectie tussen deze twee lijsten te vinden. Misschien zijn de langere verdachten degenen die van jazz houden, of misschien houden mensen die van pittig eten houden ook van wandelen. Dit is de kern van een statistisch detectiespel genaamd Canonical Correlation Analysis (CCA). Het is een hulpmiddel dat wetenschappers gebruiken om de sterkste verbanden tussen twee verschillende sets gegevens te vinden, wat hen helpt te begrijpen hoe verschillende onderdelen van de wereld — zoals genen en ziekten, of hersenactiviteit en gedrag — met elkaar communiceren.

Lange tijd gebruikten detectives eenvoudige, rechte linialen om deze verbanden te vinden. Ze gingen ervan uit dat de relatie even rechttoe rechtaan was als "langer gelijk aan jazzliefhebber." Maar de echte wereld is rommelig en krom; soms is de verbinding een kronkelige, complexe curve die een rechte liniaal simpelweg niet kan meten. Om dit op te lossen, begonnen wetenschappers "Deep Learning" te gebruiken, wat lijkt op het inhuren van een team van superintelligente, flexibele robots om die kromme patronen te vinden. Deze robots zijn krachtig, maar ze zijn ook als 'black boxes': ze zijn moeilijk af te stellen, ze kunnen in de war raken door kleine hoeveelheden data, en zodra ze een antwoord hebben gevonden, is het vaak onmogelijk om te zien waarom ze die keuze hebben gemaakt. Ze geven je alleen het antwoord zonder hun werk te laten zien.

Hier komt een nieuwe paper met een fris idee. De auteurs, onder leiding van James Chapman, vragen zich af: "Wat als we de tools gebruiken die al de koningen zijn van tabulaire data — Gradient-Boosted Trees — om dit mysterie op te lossen?" Je kent deze bomen misschien als de motoren achter XGBoost en LightGBM, de tools die bijna elke wedstrijd winnen voor het voorspellen van zaken als huizenprijzen of kredietrisico's. Ze staan bekend als betrouwbaar, gemakkelijk te gebruiken en, het belangrijkste, transparant. Je kunt naar een boom kijken en precies zien welke aanwijzing het belangrijkst was. De paper introduceert TreeCCA, een methode die deze boom-gebaseerde engines traint om de complexe, kromme verbindingen tussen twee sets gegevens te vinden, net als de fancy robots doen, maar met de betrouwbaarheid en helderheid van een goed gebouwde boom.

De Boom die leert te correleren

De paper stelt TreeCCA voor, de eerste methode die gradient-boosted tree-ensembles traint als "encoders" voor CCA. Denk aan een encoder als een vertaler die ruwe data (zoals een lijst met getallen) neemt en het omzet in een geheime code (een embedding) die de belangrijkste relaties accentueert. Meestal zijn deze vertalers neurale netwerken (de robots). TreeCCA vervangt de robots door een bos van beslissingsbomen.

Het geheime ingrediënt dat dit mogelijk maakt, is iets dat de Eckart-Young (EY) loss wordt genoemd. In het verleden was het trainen van bomen voor deze taak also zoals proberen een hond calculus te leren; de wiskunde paste niet. De EY loss biedt echter een speciale set instructies (gradiënten) die de bomen precies vertellen hoe ze hun takken moeten aanpassen om beter te worden in het vinden van correlaties. Het is alsof je de bomen een kaart geeft die zegt: "Als je hier splitst, kom je dichter bij de waarheid." Omdat deze instructies zo duidelijk zijn, kunnen ze direct in standaard tree-libraries zoals XGBoost of LightGBM worden geplaatst zonder de software te hoeven herschrijven.

Waarom bomen beter kunnen zijn dan robots

De auteurs testten TreeCCA tegen de huidige kampioenen: Deep CCA (de robot-aanpak) en Linear CCA (de rechte liniaal). De resultaten waren verrassend goed, en in sommige gevallen wonnen de bomen de race.

In synthetische tests die ontworpen waren om lastig te zijn, vond TreeCCA sterkere verbindingen dan de robots. Bijvoorbeeld, op een test genaamd "Signed Power", scoorde TreeCCA een 2.61, waarmee het Deep CCA met 2.43 versloeg. Op een andere test genaamd "Hermite", waar de verbinding zo complex was dat een rechte liniaal het totaal niet kon zien (met een score nabij nul), vond TreeCCA een sterk signaal met een score van 2.93, waarmee het Deep CCA met 2.89 net voorbijstreefde.

Maar de echte magie gebeurt wanneer de data enorm of rommelig wordt. In een test met een enorme dataset van handgeschreven cijfers (Split MNIST met 54.000 afbeeldingen), begon de robot-aanpak (Deep CCA) de trainingsdata te memoriseren in plaats van de regels te leren, wat leidde tot een enorme kloof tussen de score tijdens de oefening en de score tijdens de test (een ratio van 1.95). TreeCCA bleef echter kalm en consistent, met een ratio van slechts 1.04. Het lijkt erop dat bomen van nature beter zijn in het niet te veel overdenken van zaken, waardoor ze betrouwbaarder zijn voor real-world data waarbij je niet miljoenen voorbeelden hebt.

De Superkracht van "Waarom"

Misschien wel het meest opwindende deel van TreeCCA is niet alleen dat het werkt, maar dat het uitlegt hoe het werkt. Neurale netwerken worden vaak bekritiseerd omdat ze opaak zijn; je kunt niet gemakkelijk zien welke feature ze gebruikten om een beslissing te nemen. Bomen daarentegen zijn gebouwd op splits: "Is de temperatuur boven de 70? Ja/Nee." Deze structuur geeft ze een natuurlijke interpreteerbaarheid.

De auteurs demonstreerden dit op de UCI HAR dataset, die menselijke beweging volgt met behulp van smartphone-sensoren (versnellingsmeters en gyroscopen). Ze wilden zien of het model kon achterhalen dat de magnitude van de beweging (hoe hard de telefoon draait) de sleutel was tot het identificeren van activiteiten. TreeCCA kreeg niet alleen het juiste antwoord, maar de "feature importance" scores lieten ook duidelijk zien dat de magnitude-features de belangrijkste waren, wat perfect overeenkwam met een natuurkundige hypothese over hoe draaien werkt. Een neuraal netwerk gaf het juiste antwoord maar kon niet uitleggen waarom, waardoor het "waarom" verborgen bleef in de miljoenen parameters. TreeCCA legde de redenering open op tafel.

Signalen vinden in de ruis

De paper pakte ook een specifiek probleem aan waar andere methoden falen: sparse signals (ijle signalen). Stel je voor dat je 500 aanwijzingen hebt, maar slechts 5 daarvan doen er echt toe, en de verbinding tussen hen is niet-lineair (krom). Een methode genaamd PMD (een populaire sparse CCA-tool) vertrouwt op lineaire wiskunde, dus raakt het volledig in de war door dit type signaal en presteert het niet beter dan willekeurig gokken. TreeCCA behandelde dit probleem echter als een spel van "20 vragen". Het vroeg: "Op welke feature moet ik splitsen?" en negeerde op natuurlijke wijze de 495 nutteloze ruis-features. In een test met 50 features bereikte TreeCCA een perfecte precisie (1.00), waarbij het de 5 ware aanwijzingen telkens correct identificeerde, terwijl PMD niets vond.

De Conclusie

TreeCCA is niet zomaar een nieuw algoritme; het is een verschuiving in perspectief. Het suggereert dat we voor veel problemen die te maken hebben met tabulaire data (rijen en kolommen van getallen) niet naar de complexe, moeilijk af te stellen neurale netwerken hoeven te grijpen om diepe verbindingen te vinden. In plaats daarvan kunnen we de robuuste, betrouwbare en uitlegbare bomen gebruiken die nu al het veld domineren.

De auteurs ontdekten dat TreeCCA de nauwkeurigheid van Deep CCA evenaart of zelfs verslaat, op sommige benchmarks 5 keer sneller draait en een duidelijke uitleg geeft van zijn redenering. Hoewel de paper opmerkt dat formele wiskundige bewijzen voor de convergentie van de bomen nog in ontwikkeling zijn, zijn de simulaties en real-world tests zeer sterk. Het opent de deur naar een nieuw soort "self-supervised learning" waarbij bomen kunnen leren van data zonder labels, wat potentieel problemen oplost die lineaire methoden simpelweg niet kunnen zien. In de wereld van data science is TreeCCA een herinnering aan het feit dat het beste instrument soms niet het meest complexe is, maar degene die precies weet welke tak hij moet volgen.

Technische Samenvatting: TreeCCA

Probleemstelling

Canonical Correlation Analysis (CCA) is een fundamentele techniek voor het vinden van projecties van twee gekoppelde weergaven die de cross-view correlaties maximaliseren. Hoewel CCA succesvol is toegepast in domeinen zoals multi-omics om associaties tussen genomics, transcriptomics en proteomics te ontdekken, kampen bestaande methoden met aanzienlijke beperkingen:

Lineariteit: Klassieke CCA vertrouwt op lineaire projecties, waardoor nietlineaire relaties niet worden gevangen.
Neurale beperkingen: Deep CCA (DCCA) adresseert nietlineariteit met neurale encoders, maar presteert vaak minder goed dan gradient-boosted trees (GBT's) op tabulaire data vanwege de superieure verwerking van drempelstructuren, feature-interacties en matige steekproefomvang door GBT's.
Sparse Blindheid: Sparse CCA-methoden (bijv. PMD) gebruiken L1-straffen om features te selecteren, maar blijven structureel blind voor signalen met een nul lineaire cross-view covariantie.
Interpreteerbaarheid: Neurale encoders missen natuurlijke interpreteerbaarheid, wat het moeilijk maakt om te begrijpen welke features de cross-view correlaties aansturen.

Er is momenteel geen methode die gradient-boosted trees als CCA-encoders gebruikt, ondanks het feit dat GBT's de benchmark voor tabulaire machine learning domineren.

Methodologie: TreeCCA

De auteurs stellen TreeCCA voor, de eerste methode die gradient-boosted tree-ensembles end-to-end traint als CCA-encoders. De kern van de technische mogelijkmaking is de Eckart-Young (EY) loss, die CCA herformuleert als een ongeconstreerd minimalisatieprobleem over embedding-matrices $Z_1$ en $Z_2$ , waardoor de noodzaak voor gegeneraliseerde eigenwaardeproblemen wordt omzeild.

Belangrijke Technische Componenten

EY Loss en Gradiënten:
De EY loss wordt gedefinieerd als:
$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$
waarbij $C$ de gesymmetriseerde cross-covariantie is en $V$ de binnen-view covariantie. Cruciaal is dat deze formulering zorgt voor closed-form per-sample gradiënten:
$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$
Deze gradiënten zijn alleen afhankelijk van de empirische embeddings, niet van de encoder-architectuur. Dit maakt het mogelijk om de gradiënten direct aan te leveren aan elke standaard GBT-bibliotheek (XGBoost, LightGBM) via hun custom objective API zonder de bibliotheek zelf te wijzigen.
Trainingsprocedure:
- Two-Encoder Setup: Twee boosters, $B_1$ en $B_2$ , worden getraind om views $X_1$ en $X_2$ te mappen naar embeddings $Z_1$ en $Z_2$ .
- Incrementele Embedding Cache: Om de $O(R^2NK)$ kosten van het herhaaldelijk evalueren van alle bomen bij elke ronde te vermijden, houdt de methode een gecachte embedding $Z$ bij en werkt deze incrementeel bij door alleen de nieuw toegevoegde boom te evalueren. Dit levert een versnelling van 50–100× op.
- Unit Hessians: De methode stelt de Hessian $h_i = 1$ in voor alle samples. Het gebruik van de ware EY Hessian zou ervoor zorgen dat de noemer in de berekening van de leaf weight gedomineerd wordt door de L2-regularisatieterm $\lambda$ , wat tot divergentie leidt. Unit Hessians zorgen ervoor dat de leaf waarde gelijk is aan de gemiddelde gradiënt, wat stabiliteit biedt.
- Gradiënt Normalisatie: Ruwe EY gradiënten schalen met $O(1/\sqrt{N})$ . De methode normaliseert gradiënten naar een vaste doelstandaarddeviatie ( $\sigma_{target} = 0.1$ ) om de trainingssnelheid te ontkoppelen van de datasetgrootte en een uniforme interpreteerbaarheid van de learning rate te garingsstellen.
Extensies:
- TreeMCCA: Generaliseert naar $M > 2$ views door pairwise EY objectieven op te tellen.
- TreeCCA-SSL: Een siamese single-encoder variant voor self-supervised learning, waarbij een gedeelde booster wordt getraind op onafhankelijk geaugmenteerde views.

Belangrijkste Bijdragen

Eerste GBT-gebaseerde CCA: Demonstreert dat de EY loss het mogelijk maakt om GBT's als CCA-encoders te trainen zonder bibliotheekwijzigingen, waarbij gebruik wordt gemaakt van het globale optimalisatielandschap van de EY loss (geen spuriële lokale minima).
Efficiënte Training: Introduceert een incrementele embedding cache en principiële unit Hessians, wat significante versnellingen en stabiliteit oplevert.
Nietlineaire Feature Recovery: Bereikt perfecte precisie bij het terugwinnen van sparse, nietlineaire signalen waar de lineaire cross-view covariantie nul is—een regime waarin PMD volledig faalt.
Natuurlijke Interpreteerbaarheid: In tegenstelling tot neurale encoders biedt TreeCCA gain importances die onthullen welke specifieke features de cross-view correlaties aansturen zonder extra kosten.
Schaalbaarheid en Generalisatie: Demonstreert superieure generalisatie op grootschalige datasets (Split MNIST) vergeleken met Deep CCA, door overfitting te voorkomen via de inherente regularisatie van GBT's.

Experimentele Resultaten

Het paper evalueert TreeCCA over synthetische en real-world benchmarks:

Synthetische Benchmarks (Signed Power & Hermite):
- TreeCCA presteert beter dan Deep CCA en Kernel CCA (KCCA) in Total Correlation Captured (TCC).
- Op de Hermite benchmark (nul lineaire covariantie), bereikt TreeCCA 2.93 TCC vs. 2.89 voor Deep CCA en bijna nul voor Lineaire CCA.
- De trainingstijd is aanzienlijk lager dan Deep CCA (~50s vs. ~300s) en vermijdt de $O(N^2)$ geheugenbehoefte van KCCA.
Schaal (Split MNIST):
- Op een dataset met $N=54.000$ en $K=50$ , overfit Deep CCA (Train/Val TCC ratio = 1.95×), terwijl TreeCCA effectief generaliseert (ratio = 1.04×).
Sensor Fusion (UCI HAR):
- TreeCCA bereikt een vergelijkbare nauwkeurigheid als Deep CCA (0.466 vs. 0.510 probe accuracy) met een 5× lagere wall-clock tijd (17s vs. 80s).
- Interpreteerbaarheid: XGBoost gain importances valideerden een natuurkundig gemotiveerde hypothese: magnitude features (gerelateerd aan hoeksnelheid) waren de primaire drijvers van correlatie in de gyroscoop-view, een structureel inzicht dat niet direct beschikbaar is met neurale encoders.
Sparse Recovery:
- Op een synthetische benchmark met nul lineaire cross-view covariantie, behaalde TreeCCA een Precision@S = 1.00 bij $p=50$ , terwijl PMD op een random baseline bleef.
Multi-View (TreeMCCA):
- Geëvalueerd op vijf real-world multi-view datasets (bijv. Caltech101-7, 3Sources). TreeMCCA kwam consequent overeen met of overtrof Lineaire CCA in TCC en downstream classificatienauwkeurigheid, waarbij de grootste winsten werden waargenomen waar cross-view signalen sterk nietlineair waren.
Self-Supervised Learning (TreeCCA-SSL):
- Op een synthetische benchmark waar het signaal onzichtbaar is voor elke affine encoder (door sign-interacties), behaalde TreeCCA-SSL 0.630 nauwkeurigheid (3.8× boven random), terwijl PCA faalde op random chance (0.159).

Betekenis en Claims

Het paper claimt dat TreeCCA een unieke combinatie van eigenschappen biedt die voorheen niet in één enkele methode beschikbaar was:

Nietlineaire en Sparse Signaalherwinning: Het evenaart of overtreft Deep CCA op synthetische benchmarks en generaliseert beter op schaal, terwijl het signalen terugwint die lineaire sparse methoden structureel niet kunnen vangen.
Interpreteerbaarheid: Het biedt natuurlijke feature diagnostics (gain importances) die practitioners in staat stellen om hypothesen over de data (bijv. physics-based signaalstructuren) direct vanuit het model te valideren.
Praktische Breedte: Het bereikt vergelijkbare prestaties als Deep CCA met aanzienlijk lagere computationele kosten en zonder de noodzaak voor architectuurzoekopdrachten of hyperparameter-tuning buiten de standaard GBT-defaults.

De auteurs positioneren TreeCCA als een natuurlijke eerste stap voor practitioners die starten met multi-view analyses, met name in velden zoals multi-omics en klinische toepassingen waar steekproefgroottes matig zijn, data tabulair is en interpreteerbaarheid cruciaal is. Het paper erkent beperkingen, waaronder de degradatie van de precisie van sparse recovery bij zeer hoge $p/N$ ratio's en het gebrek aan een formele convergentietheorie voor de alternerende GBT update procedure.