Wavelet Tree Ensembles for Triangulable Manifolds

Technische Samenvatting: Wavelet Tree Ensembles voor Trianguleerbare Manifolds

Probleemstelling
Het artikel behandelt de uitdaging van niet-parametrische regressie op trianguleerbare manifolds, zoals sferen of algemene gekromde oppervlakken. Bestaande literatuur over wavelet-regressie steunt doorgaans op wavelet-bases die zijn gedefieerd langs enkelvoudige recursieve partitiebomen op vaste, regelmatige Euclidische roosters (bijv. dyadische intervallen). Deze standaardbenaderingen hebben moeite met manifolds vanwege het gebrek aan natuurlijke coördinatassen en de vervorming veroorzaakt door globale coördinatensystemen. Omgekeerd zijn boomgebaseerde ensemblemethoden (bijv. Random Forests, Boosting) gegeneraliseerd naar niet-Euclidische domeinen, maar missen ze vaak de schaarse, multiscale representatiecapaciteiten van wavelets, wat kan leiden tot hoge variantie of overfitting, vooral in scenario's met een lage signaal-ruisverhouding. De auteurs stellen dat een verenigd kader dat orthogonale wavelet-representaties combineert met data-gedreven recursieve partities en moderne ensembletechnieken nodig is om de schatting en inferentie op deze complexe domeinen te verbeteren.

Methodologie
De auteurs stellen Unbalanced Haar (UH) Wavelet Tree Ensembles voor, een kader dat klassieke UH wavelet-bomen van regelmatige roosters uitbreidt naar generieke trianguleerbare manifolds. De methodologie bestaat uit drie hoofdonderdelen:

1. UH-constructie op Manifolds:

   • In plaats van vaste middenspunten gebruikt de methode data-gedreven recursieve partities van geodesische driehoeken.
   • Een driehoek wordt gesplitst door een punt $\xi$ op een zijde te verbinden met de tegenoverliggende vertex via een geodesische boog. De locatie van de splitsing wordt gekozen om de empirische UH-waveletcoëfficiënt te maximaliseren, wat "unbalanced" splitsingen mogelijk maakt die zich aanpassen aan lokale data-variatie en geometrie.
   • De resulterende waveletfuncties vormen een orthonormaal systeem in $L^2(\mu_n)$, waarbij $\mu_n$ de empirische maat op de steekproefpunten is. Dit garandeert exacte reconstructie op bemonsterde locaties en orthogonaliteit, ongeacht de onderliggende manifold-geometrie.
   • Splitsingsregels omvatten "balance" (mid-edge bisection), "adapt" (kiezen van de zijde met de grootste coëfficiënt) en "adapt_vertex" (het kiezen van zowel de zijde als het snijpunt op basis van data).

2. Ensemble Learning Strategieën:

   • Optimalisatie-gebaseerde Boosting: De auteurs ontwikkelen een forward stagewise boosting-algoritme waarbij zwakke leerders UH-bomen zijn die gefit worden op residuen. Om diversiteit tussen bomen op manifolds te waarborgen, maken zij gebruik van willekeurige rigide bewegingen (bijv. rotaties in $SO(3)$ voor sferen) of intrinsieke herparametrisaties voordat elke boom wordt gefit. Regularisatie wordt bereikt door vroege stopzetting (early stopping), leersnelheden en soft-thresholding van wavelet-coëfficiënten bij reconstructie.
   • Bayesiaanse Backfitting (RUHWT): Een probabilistische formulering wordt geïntroduceerd waarbij een prior wordt geplaatst over splitsdimensies en -locaties. Dit induceert een posterior distributie over boomstructuren, wat onzekerheidskwantificatie mogelijk maakt. De auteurs maken gebruik van een Gibbs-sampler met Metropolis-within-Gibbs stappen om boomstructuren en coëfficiënten bij te werken, analoog aan Bayesian Additive Regression Trees (BART).

3. Theoretische Analyse:

   • Het artikel leidt oracle-bounds af die de voorgestelde UH-schatters vergelijken met standaard "leafwise" schatters (zoals CART). De analyse toont aan dat de stochastische foutterm voor UH-schatters schaalt met het aantal actieve (niet-nul) coëfficiënten, terwijl leafwise schatters schalen met het totaal aantal bladeren (leaves). Dit suggereert dat UH-ensembles bijzonder voordelig zijn voor signalen die schaars zijn in het wavelet-woordenboek.

Belangrijkste Bijdragen

• Generalisatie naar Manifolds: Het werk breidt UH-waveletbomen uit van 2D/3D-roosters naar trianguleerbare manifolds, waarbij orthogonaliteit en exacte reconstructie-eigenschappen behouden blijven via geodesische triangulaties en empirische maten.
• Data-gedreven Adaptiviteit: In tegen tegenover de gebalanceerde Haar-bases op vaste roosters, staat de voorgestelde methode splitsingen toe op willekeurige locaties langs de zijden van driehoeken, waardoor deze zich aanpast aan lokale signaalvariaties en bemonsteringsdensiteiten.
• Ensemble Integratie: Het artikel introduceert het eerste kader dat orthogonale wavelets, geometrie-bewuste recursieve partities en moderne ensembletechnieken (zowel boosting als Bayesiaans) combineert voor regressie op manifolds.
• Onzekerheidskwantificatie: Een Bayesiaanse variant (RUHWT) wordt geleverd, die posterior onzekerheidskwantificatie biedt voor functieschattingen op manifolds.

Resultaten
De auteurs evalueren de methode op synthetische en real-world datasets:

• Beeldruisverwijdering (Euclidisch Rooster): Op een ruizige astronautenfoto presteren UH-ensembles aanzienlijk beter dan Balanced Haar (BH) ensembles. De resultaten wijzen erop dat boosting ineffectief is als zwakke leerders beperkt zijn tot splitsen op middenspunten; het vermogen om weg van de middenspunten te splitsen (unbalanced) is cruciaat voor prestatiewinst.
• Synthetische Sfeer-regressie: Op gesimuleerde data op een eenheidsfeer bereikt de Random-Rotation Boosting benadering met UH-bomen de laagste Mean Squared Error (MSE) vergeleken met Fréchet Forests, Random Rotation Random Forests en state-of-the-art deep Gaussian Process modellen. De methode vlakt kunstmatige grenzen die in geroteerde voorspellingen voorkomen effectief uit.
• Real-World Applicatie (GISS): Toegepast op wereldwijde oppervlakte-temperatuurafwijking data (GISS), presteert de UH-ensemble op een getrianguleerde sfeer beter dan concurrerende boomgebaseerde methoden. De voorspellingen vertonen verbeterde nauwkeurigheid, met name bij het vastleggen van complexe ruimtelijke variaties, waarbij de laagste test MSE werd waargenomen bij de Random-Rotation Boosted ensemble.

Betekenis en Claims
Het artikel claimt de eerste verenigde regressiemethode te presenteren die orthogonale wavelets, geometrie-bewuste recursieve partities en moderne ensembletechnieken integreert voor trianguleerbare manifolds. De auteurs benadrukken dat hun constructie drie belangrijke eigenschappen behoudt: (i) orthogonaliteit en exacte reconstructie, (ii) recursieve, data-gedreven partities aangepast aan de manifold-geometrie, en (iii) compatibiliteit met zowel optimalisatie-gebaseerde als Bayesiaanse ensemble-opbouw.

Theoretische resultaten suggereren dat UH-ensembles een schaars-adaptieve representatie bieden waarbij het risico wordt gecontroleerd door het aantal significante coëfficiënten in plaats van de totale boomgrootte, wat een theoretisch voordeel biedt ten opzichte van traditionele leafwise schatters. Empirisch gezien vertoont de methode substantiële verbeteringen ten opzichte van klassieke boom-ensembles en niet-adaptieve mesh-gebaseerde wavelets, vooral in scenario's met een lage signaal-ruisverhouding en complexe geometrieën. De auteurs positioneren dit werk als een praktisch en theoretisch gefundeerd instrument voor multiscale regressie op complexe domeinen, waarmee de kloof tussen klassieke wavelet-theorie en moderne boomgebaseerde machine learning wordt overbrugd.