📊 statistics

Kernel Regression with Tensor Trains and Hadamard Overparameterization

Dit artikel introduceert KReTTaH, een trainingsdata-vrij, interpreteerbaar raamwerk voor multi-way data-imputatie dat het probleem herformuleert als kernelregressie met tensor-train-coëfficiënten en Hadamard-overparameterisatie, waarbij deze componenten gezamenlijk worden geoptimaliseerd op Riemanniaanse variëteiten om de state-of-the-art nauwkeurigheid te bereiken in hoogdimensionale fMRI- en dynamische graaf-toepassingen zonder kostbare kruisvalidatie.

Oorspronkelijke auteurs: Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, meerlagige legpuzzel af te maken, maar iemand heeft duizenden stukjes eruit gerukt. Je kunt de afbeelding op de doos zien en je hebt nog een paar verspreide stukjes over, maar enorme delen van de lucht, de oceaan en de bomen ontbreken. Dit is de dagelijkse strijd voor wetenschappers en ingenieurs die werken met "multi-way data". Of het nu gaat om een 3D-film van een oplichtend brein, een kaart van de verkeersstroom door een stad, of een video van een sportwedstrijd, deze data is vaak rommelig. Sensoren gaan kapot, verbindingen vallen weg of metingen raken verloren, waardoor we achterblijven met een gigantische, onvolledige puzzel.

Om dit op te lossen, proberen wetenschappers meestal de ontbrekende stukjes te raden door naar patronen te zoeken. Ze gaan ervan uit dat de data een verborgen structuur heeft, zoals een schets met een lage resolutie die, wanneer deze wordt ingevuld, een afbeelding in hoge definitie onthult. Echter, echte wereld-data is zelden eenvoudig; het zit vol complexe, kronkelende, niet-lineaire relaties die moeilijk te voorspellen zijn. Traditionele methoden hebben vaak moeite om deze kronkels te vangen zonder te verdrinken in massale berekeningen of het vereisen van enorme hoeveelheden extra trainingsdata. De grote vraag is: hoe kunnen we de gaten in een complexe, meerdimensionale puzzel accuraat, snel en zonder een enorme bibliotheek van andere puzzels nodig te hebben om van te leren invullen?

Maak kennis met een nieuwe methode genaamd KReTTaH (Kernel Regression with Tensor Trains and Hadamard Overparameterization), ontwikkeld door een team van onderzoekers. Zie KReTTaH als een super slimme, patroonzoekende detective die geen duizend andere puzzels hoeft te onthouden om de puzzel voor hem op te lossen. In plaats van alleen maar te gokken, gebruikt het een slimme wiskundige truc genaamd "kernel regressie" om de verborgen, niet-lineaire verbindingen tussen de stukjes die het wel heeft te begrijpen.

Dit is hoe het werkt in gewone mensentaal. Stel je voor dat de data een gigantische, meerdimensionale blok klei is. KReTTaH probeert niet het hele blok in één keer te boetseren. In plaats daarvan breekt het het probleem af in een keten van kleinere, beheersbare "treinwagons" (dit is het "Tensor Train"-gedeelte). Deze wagons zijn aan elkaar gekoppeld, en de manier waarop ze verbonden zijn, is beperkt tot een specifieke, efficiënte vorm, wat voorkomt dat de wiskunde te zwaar wordt.

Maar hier komt de magische saus: KReTTaH gebruikt ook een techniek genaamd "Hadamard overparameterization". Stel je voor dat je een specifieke naald in een hooiberg probeert te vinden. In plaats van alleen naar één naald te zoeken, doe je alsof er vele lagen naalden zijn, maar voeg je een regel toe die dwingt dat de meeste van hen onzichtbaar (nul) zijn, tenzij ze absoluut noodzakelijk zijn. Dit dwingt het model om "ijler" (sparse) te zijn, wat betekent dat het alleen de belangrijkste, betekenisvolle patronen behoudt en de ruis wegwerpt. Het is als een beeldhouwer die begint met een enorm blok steen, maar alleen de delen weghakt die niet bij het beeld horen, waardoor een schoon, efficiënt ontwerp overblijft.

De onderzoekers testten deze nieuwe detective op twee zeer verschillende, uitdagende puzzels. Eerst probeerden ze de 4D functionele MRI (fMRI) scans van menselijke hersenen te reconstrueren. Dit zijn als 3D-films van hersenactiviteit in de tijd, maar dan met veel ontbrekende frames. KReTTaH slaagde erin de ontbrekende hersenactiviteit in te vullen, waarbij het andere topmethoden overtrof in nauwkeurigheid terwijl het sneller draaide dan veel van zijn concurrenten. Ten tweede testten ze het op verkeersdoorstromingsdata in echte netwerken (zoals wegen in Massachusetts en Berlijn). Ze probeerden de ontbrekende verkeerssnelheden op wegen die niet werden gemonitord, te voorspellen. Opnieuw deed KReTTaH het beter in het raden van de ontbrekende stromen dan de andere methoden, zelfs toen de data erg schaars was.

Wat KReTTaH bijzonder maakt, is dat het zijn eigen instellingen automatisch bepaalt. Normaal gesproken moeten wetenschappers urenlang handmatig aan knoppen en schuiven draaien (hyperparameters) om het beste resultaat te krijgen. KReTTaH gebruikt echter een speciaal wiskundig landschap (een "Riemanniaanse variëteit") om zelf bergafwaarts te rollen naar de beste oplossing, waardoor het de perfecte instellingen vindt zonder menselijke hulp.

Het artikel laat zien dat deze aanpak niet alleen een theoretisch idee is; het werkt in de praktijk. In simulaties met echte hersenscans en echte verkeersdata produceerde KReTTaH consequent nauwkeurigere reconstructies dan bestaande state-of-the-art methoden. Het slaagde erin zowel zeer nauwkeurig als computationeel efficiënt te zijn, wat bewijst dat je de ontbrekende stukjes van een complexe, meerdimensionale puzzel kunt invullen zonder een enorme trainingsdataset nodig te hebben of dagenlang je gereedschap te moeten afstellen. Het suggereert dat door slimme geometrie te combineren met een beetje "overdenken" (overparameterization) dat vervolgens wordt teruggebracht tot de essentie, we de meest rommelige data-problemen waar we vandaag de dag mee te maken hebben, kunnen oplossen.

Technische Samenvatting: Kernelregressie met Tensor Trains en Hadamard Overparameterisatie (KReTTaH)

Probleemstelling

Multi-way data, die van nature als tensoren worden gerepresenteerd, bevatten vaak ontbrekende waarden door imperfecties bij de gegevensverwerving. Traditionele tensor-completie (TC) methoden vertrouwen vaak op lineaire tensordecompositie-modellen (bijv. CPD, Tucker, Tensor Train), die weliswaar effectief zijn in het vastleggen van laag-rang structuren, maar er niet in slagen om de sterke niet-lineaire relaties die inherent zijn aan veel toepassingsdomeinen expliciet te modelleren. Bovendien lijden bestaande kernel-gebaseerde tensormethoden vaak onder beperkingen zoals restrictieve uniciteitsvoorwaarden (CPD), rotationele ambiguïteit (Tucker), hoge computationele complexiteit (Bayesiaanse inferentie), of de noodzaak voor kostbare handmatige hyperparameter-tuning via cross-validatie. Daarnaast vertrouwen veel state-of-the-art benaderingen op "black-box" neurale netwerken die externe trainingsdata vereisen, wat een gebrek aan interpreteerbaarheid met zich meebrengt.

Methodologie: Het KReTTaH-framework

Het artikel introduceert KReTTaH (Kernel Regression with Tensor Trains and Hadamard Overparameterization), een training-data-vrij, interpreteerbaar en non-parametrisch framework voor multi-way data-imputatie. De kernmethodologie herformuleert het imputatieprobleem als een regressietaken binnen Reproducing Kernel Hilbert Spaces (RKHS).

1. Datamodellering en Regressie:
In plaats van de tensor train (TT) structuur direct op de datatensor op te leggen, beperkt KReTTaH de regressiecoëfficiënt-tensoren tot fixed-rank TT-manifolds. De datatensor $Y$ wordt benaderd met een multi-kernel model:
$Y \approx \sum_{\nu=1}^{N_K} \left( \bigodot_{p=1}^P U_{\nu,p} \right) \times_1 K_\nu \times_1 \left( \bigodot_{q=1}^Q V_{\nu,q} \right)$
waarbij:

$K_\nu$ kernelmatrices zijn afgeleid van landmark punten.
$U_{\nu,p}$ en $V_{\nu,q}$ leerbare coëfficiënt-tensoren zijn.
$\bigodot$ de Hadamard (entry-wise) productatie voorstelt.

2. Hadamard Overparameterisatie (HP):
Om sparsiteit te bevorderen en de representatieve efficiëntie te verhogen zonder te vertrouwen op non-smooth $\ell_1$ -norm regularisatie, gebruikt het framework Hadamard overparameterisatie. De coëfficiënt-tensoren worden uitgedrukt als het Hadamard-product van meerdere kleinere tensoren ( $U_\nu = \bigodot U_{\nu,p}$ ). Wanneer dit gecombineerd wordt met smooth Frobenius-norm regularisatie op deze factoren, induceert HP effectief een non-convexe quasi-norm regularisator die leidt tot sparser oplossingen en de opslag van parameters vermindert.

3. Riemanniaanse Optimalisatie:
Het framework optimaliseert gezamenlijk drie sets parameters op een Cartesiaans-product Riemanniaanse manifold:

Fixed-rank TT Manifolds: De coëfficiënt-tensoren zijn beperkt tot manifolds van een vaste TT-rang.
Positive-Definite (PD) Matrix Manifolds: De covariantie-matrices van meerdere Gaussische kernels worden behandeld als leerbare parameters op de manifold van PD-matrices. Dit elimineert de noodzaak voor handmatige kernel-hyperparameter tuning (bijv. bandwidth selectie) die typisch via cross-validatie wordt uitgevoerd.
Optimalisatiealgoritme: Het inverse probleem wordt opgelost met een Riemanniaanse Gradiënt Descent (R-GD) methode met line search. Deze aanpak werkt alle factoren simultaan bij langs een smooth traject, waardoor de gevoeligheid voor initialisatie en overfactoring-problemen die voorkomen bij alternating minimization schema's, wordt vermeden.

4. Navigator Data en Landmark Punten:
Om met schaars geobserveerde data om te gaan, maakt de methode gebruik van "navigator data" (groepen geobserveerde entries) die gereduceerd zijn tot lager-dimensionale representaties via Local Linear Embedding (LLE). Deze zijn verder gecomprimeerd naar "landmark punten" om de RKHS feature space te definiëren.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

C1: Introductie van KReTTaH, een nieuw framework dat niet-lineaire/non-parametrische modellering (via RKHS), dimensionaliteitsreductie (via TT decompositie) en sparse coding (via Hadamard overparameterisatie) integreert binnen een verenigde Riemanniaanse optimalisatie setting.
C2: Generalisatie van eerdere twee-weg data-werken naar multi-way settings door een expliciete Riemanniaanse manifold constructie te gebruiken voor regressiecoëfficiënten, in contrast met impliciete manifold-learning benaderingen waarbij de onderliggende manifold ongespecificeerd is.
C3: Uitbreiding naar het afhandelen van meerdere Gaussische kernels met leerbare covariantie-matrices die beperkt zijn tot de PD-manifold. Deze integratie maakt automatische hyperparameter selectie mogelijk, wat de computationeel dure handmatige tuning die in eerdere werken vereist was, omzeilt.

Experimentele Resultaten

De auteurs evalueerden KReTTaH op twee uitdagende toepassingen:

4D Functionele MRI (fMRI) Reconstructie:
- Datasets: COBRE (resting-state) en BOLD5000 (event-related).
- Baselines: RTTC (fixed-rank manifold), VKBTR (Bayesian TRD), en NCP (kernel-gebaseerde CPD).
- Resultaten: KReTTaH behaalde consistent de laagste Normalized Root Mean Squared Error (NRMSE) over alle sampling ratio's (0.1 tot 0.5). Wat betreft runtime was het slechts tweede na NCP, en presteerde het aanzienlijk beter dan de geheugenintensieve VKBTR en de tragere RTTC.
Dynamic Graph Flow Imputation:
- Datasets: Verkeersstroomdata van de Eastern-Massachusetts (EMA) en Berlin-Friedrichshain (BF) netwerken.
- Baselines: PS, S-VAR, HodgeNet (NN-gebaseerd), RTTC, STTC, NCP, en VKBTR.
- Resultaten: KReTTaH behaalde de laagste NRMSE in de meeste scenario's en presteerde beter dan zowel tensor-gebaseerde als neurale netwerk-gebaseerde methoden. Opvallend genoeg bereikte het een hoge sparsiteit (waardoor de parameteropslag met >40% werd verminderd met specifieke HP instellingen) terwijl het een superieure nauwkeurigheid behield. Het gebruik van meerdere kernels ( $N_K > 1$ ) verbeterde de prestaties verder en maakte kleinere rang-selecties mogelijk.

Betekenis en Claims

Het artikel claimt dat KReTTaH een duidelijk voordeel biedt door op een training-data-vrije wijze te opereren, waarbij een interpreteerbare oplossing wordt geboden via RKHS-regressie in plaats van te vertrouwen op black-box neurale netwerken. Door gebruik te maken van de rijke geometrische structuur van fixed-rank TT-manifolds en PD-matrices, bereikt de methode:

Geautomatiseerde Hyperparameter Selectie: Het gezamenlijk leren van kernel-covarianties neemt de last van cross-validatie weg.
Efficiëntie en Sparsiteit: Hadamard overparameterisatie bevordert sparsiteit en dimensionaliteitsreductie zonder non-smooth optimalisatie.
Robuustheid: De Riemanniaanse gradiënt descent aanpak vermindert de gevoeligheid voor initialisatie en overfitting vergeleken met block coordinate descent methoden.

De auteurs concluderen dat KReTTaH een significante stap voorwaarts vormt voor tensor-completie, door succesvol een balans te vinden tussen modelleringsnauwkeurigheid, computationele efficiëntie en interpreteerbaarheid voor multi-way data-imputatie. Toekomstige richtingen die worden gesuggereerd zijn automatische rang-selectie en extensies naar online leren van streaming data.