📊 statistics

Kernel Regression with Tensor Trains and Hadamard Overparameterization

Cet article présente KReTTaH, un cadre interprétable et sans données d'entraînement pour l'imputation de données multi-voies qui reformule le problème en tant que régression à noyau avec des coefficients tensoriels de type « tensor-train » et une surparamétrisation de Hadamard, optimisant conjointement ces composantes sur des variétés riemanniennes pour atteindre une précision de pointe dans les applications d'IRMf et de graphes dynamiques de haute dimension sans validation croisée coûteuse.

Auteurs originaux : Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de terminer un puzzle géant à plusieurs couches, mais que quelqu'un en a arraché des milliers de pièces. Vous pouvez voir l'image sur la boîte et vous avez quelques pièces éparpillées, mais d'énormes pans de ciel, d'océan et d'arbres sont manquants. C'est le combat quotidien des scientifiques et des ingénieurs qui travaillent avec des « données multi-voies ». Qu'il s'agisse d'un film en 3D d'un cerveau qui s'illumine, d'une carte du trafic circulant dans une ville ou d'une vidéo d'un match de sport, ces données sont souvent désordonnées. Les capteurs tombent en panne, les connexions se perdent ou les mesures s'effacent, nous laissant face à un puzzle géant et incomplet.

Pour réparer cela, les scientifiques essaient généralement de deviner les pièces manquantes en cherchant des motifs. Ils supposent que les données possèdent une structure cachée, comme un croquis à basse résolution qui, une fois complété, révèle une image en haute définition. Cependant, les données du monde réel sont rarement simples ; elles sont pleines de relations non linéaires complexes et sinueuses, difficiles à prédire. Les méthodes traditionnelles peinent souvent à capturer ces torsions sans s'enliser dans des calculs massifs ou sans nécessiter d'énormes quantités de données d'entraînement supplémentaires. La grande question est la suivante : comment peut-on remplir les blancs d'un puzzle multidimensionnel complexe de manière précise, rapide et sans avoir besoin d'une immense bibliothèque d'autres puzzles pour apprendre ?

Voici une nouvelle méthode appelée KReTTaH (Kernel Regression with Tensor Trains and Hadamard Overparameterization), développée par une équipe de chercheurs. Considérez KReTTaH comme un détective super intelligent, expert en recherche de motifs, qui n'a pas besoin de mémoriser mille autres puzzles pour résoudre celui qui est devant lui. Au lieu de simplement deviner, il utilise une astuce mathématique ingénieuse appelée « régression par noyau » (kernel regression) pour comprendre les connexions non linéaires cachées entre les pièces qu'il possède déjà.

Voici comment cela fonctionne en langage simple. Imaginez que les données soient un gigantesque bloc d'argile multidimensionnel. KReTTaH ne cherche pas à sculpter tout le bloc d'un coup. Au lieu de cela, il décompose le problème en une chaîne de « wagons de train » plus petits et gérables (c'est la partie « Tensor Train »). Ces wagons sont liés entre eux, et la façon dont ils se connectent est contrainte à une forme spécifique et efficace, ce qui empêche les mathématiques de devenir trop lourdes.

Mais voici la recette magique : KReTTaH utilise également une technique appelée « surparamétrage de Hadamard » (Hadamard overparameterization). Imaginez que vous cherchiez une aiguille spécifique dans une botte de foin. Au lieu de chercher une seule aiguille, vous faites comme s'il y avait de nombreuses couches d'aiguilles, mais vous ajoutez une règle qui les force à être invisibles (zéro), à moins qu'elles ne soient absolument nécessaires. Cela force le modèle à être « creux » (sparse), ce qui signifie qu'il ne conserve que les motifs les plus importants et significatifs et élimine le bruit. C'est comme un sculpteur qui commence avec un énorme bloc de pierre mais qui ne cisèle que les parties qui ne sont pas la statue, laissant derrière lui une forme propre et efficace.

Les chercheurs ont testé ce nouveau détective sur deux puzzles très différents et exigeants. D'abord, ils ont tenté de reconstruire des scanners IRM fonctionnels (IRMf) 4D du cerveau humain. Ce sont comme des films en 3D de l'activité cérébrale au fil du temps, mais avec de nombreuses images manquantes. KReTTaH a réussi à reconstituer l'activité cérébrale manquante, surpassant les autres méthodes de pointe en précision tout en étant plus rapide que beaucoup de ses concurrents. Deuxièmement, ils l'ont testé sur des données de flux de trafic dans des réseaux réels (comme les routes du Massachusetts et de Berlin). Ils ont tenté de prédire les vitesses de circulation manquantes sur des routes qui n'étaient pas surveillées. Là encore, KReTTaH a mieux deviné les flux manquants que les autres méthodes, même lorsque les données étaient très éparses.

Ce qui rend KReTTaH spécial, c'est qu'il détermine ses propres réglages automatiquement. Habituellement, les scientifiques doivent passer des heures à ajuster manuellement des boutons et des cadrans (appelés hyperparamètres) pour obtenir le meilleur résultat. KReTTaH, cependant, utilise un paysage mathématique particulier (une « variété riemannienne » ou Riemannian manifold) pour dévaler la pente vers la meilleure solution de lui-même, trouvant les réglages parfaits sans aide humaine.

L'article montre que cette approche n'est pas seulement une idée théorique ; elle fonctionne en pratique. Dans des simulations utilisant des données réelles de scans cérébraux et des données de trafic réelles, KReTTaH a systématiquement produit des reconstructions plus précises que les méthodes existantes de pointe. Il a réussi à être à la fois hautement précis et efficace sur le plan computationnel, prouvant que l'on peut compléter les pièces manquantes d'un puzzle multidimensionnel complexe sans avoir besoin d'un ensemble massif de données d'entraînement ou de passer des jours à ajuster ses outils. Cela suggère qu'en combinant une géométrie intelligente avec un peu de « sur-réflexion » (surparamétrage) qui est ensuite élaguée pour ne garder que l'essentiel, nous pouvons résoudre certains des problèmes de données les plus désordonnés auxquels nous sommes confrontés aujourd'hui.

Résumé Technique : Régression par Noyau avec Trains de Tenseurs et Surparamétrage de Hadamard (KReTTaH)

Énoncé du Problème

Les données multi-voies, naturellement représentées sous forme de tenseurs, contiennent fréquemment des entrées manquantes en raison d'imperfections lors de l'acquisition. Les méthodes traditionnelles de complétion de tenseurs (TC) reposent souvent sur des modèles de décomposition de tenseurs linéaires (par exemple, CPD, Tucker, Tensor Train) qui, bien qu'efficaces pour capturer les structures de bas rang, ne parviennent pas à modéliser explicitement les relations non linéaires fortes latentes dans de nombreux domaines d'application. De plus, les méthodes existantes basées sur les noyaux souffrent souvent de limitations telles que des conditions d'unicité restrictives (CPD), une ambiguïté de rotation (Tucker), une complexité computationnelle élevée (inférence bayésienne) ou la nécessité d'un réglage manuel coûteux des hyperparamètres via validation croisée. En outre, de nombreuses approches de pointe reposent sur des réseaux de neurones « boîte noire » nécessitant des données d'entraînement externes, manquant ainsi d'interprétabilité.

Méthodologie : Le Cadre KReTTaH

Le document présente KReTTaH (Kernel Regression with Tensor Trains and Hadamard Overparameterization), un cadre non paramétrique, interprétable et ne nécessitant pas de données d'entraînement pour l'imputation de données multi-voies. La méthodologie centrale reformule le problème d'imputation comme une tâche de régression au sein d'Espaces de Hilbert à Noyau Reproduisant (RKHS).

1. Modélisation des Données et Régression :
Au lieu d'imposer une structure de train de tenseurs (TT) directement sur le tenseur de données, KReTTaH contraint les tenseurs de coefficients de régression à résider sur des variétés (manifolds) de rang fixe TT. Le tenseur de données $Y$ est approximé par un modèle multi-noyau :
$Y \approx \sum_{\nu=1}^{N_K} \left( \bigodot_{p=1}^P U_{\nu,p} \right) \times_1 K_\nu \times_1 \left( \bigodot_{q=1}^Q V_{\nu,q} \right)$
où :

$K_\nu$ sont des matrices de noyaux dérivées de points de repère (landmarks).
$U_{\nu,p}$ et $V_{\nu,q}$ sont des tenseurs de coefficients apprenables.
$\bigodot$ désigne le produit de Hadamard (produit élément par élément).

2. Surparamétrage de Hadamard (HP) :
Pour favoriser la parcimonie et améliorer l'efficacité de la représentation sans recourir à une régularisation de norme $\ell_1$ non lisse, le cadre utilise le surparamétrage de Hadamard. Les tenseurs de coefficients sont exprimés comme le produit de Hadamard de plusieurs tenseurs plus petits ( $U_\nu = \bigodot U_{\nu,p}$ ). Lorsqu'ils sont combinés à une régularisation de norme de Frobenius lisse sur ces facteurs, le HP induit efficacement un régularisateur quasi-norme non convexe qui produit des solutions plus parcimonieuses et réduit le stockage des paramètres.

3. Optimisation Riemannienne :
Le cadre optimise conjointement trois ensembles de paramètres sur une variété de produit cartésien :

Variétés de Trains de Tenseurs (TT) de rang fixe : Les tenseurs de coefficients sont contraints sur des variétés de rang TT fixe.
Variétés de Matrices Positives Définies (PD) : Les matrices de covariance de plusieurs noyaux gaussiens sont traitées comme des paramètres apprenables sur la variété des matrices PD. Cela élimine le besoin de réglage manuel des hyperparamètres de noyau (par exemple, la sélection de la largeur de bande/bandwidth) généralement effectué via validation croisée.
Algorithme d'Optimisation : Le problème inverse est résolu à l'aide d'une méthode de Descente de Gradient Riemannienne (R-GD) avec recherche linéaire. Cette approche met à jour tous les facteurs simultanément le long d'une trajectoire lisse, évitant ainsi la sensibilité à l'initialisation et les problèmes de sur-factorisation courants dans les schémas de minimisation alternée.

4. Données Navigateur et Points de Repère :
Pour gérer les données partiellement observées, la méthode utilise des « données navigateurs » (groupes d'entrées observées) réduites à des représentations de plus faible dimension via l'Embedding Linéaire Local (LLE). Celles-ci sont ensuite compressées en « points de repère » pour définir l'espace de caractéristiques RKHS.

Principales Contributions

Le document souligne trois contributions principales :

C1 : Introduction de KReTTaH, un nouveau cadre qui intègre la modélisation non linéaire/non paramétrique (via RKHS), la réduction de dimensionnalité (via la décomposition TT) et le codage parcimonieux (via le surparamétrage de Hadamard) au sein d'un cadre d'optimisation riemannienne unifié.
C2 : Généralisation des travaux antérieurs sur les données bi-dimensionnelles aux contextes multi-voies en employant une construction de variété riemannienne explicite pour les coefficients de régression, contrastant avec les approches d'apprentissage de variété implicites où la variété sous-jacente n'est pas spécifiée.
C3 : Extension pour gérer plusieurs noyaux gaussiens avec des matrices de covariance apprenables contraintes sur la variété PD. Cette intégration permet une sélection automatisée des hyperparamètres, contournant le réglage manuel coûteux en calcul requis par les travaux précédents.

Résultats Expérimentaux

Les auteurs ont évalué KReffah sur deux applications complexes :

Reconstruction d'IRM fonctionnelle (IRMf) 4D :
- Jeux de données : COBRE (état de repos) et BOLD5000 (lié à l'événement).
- Baselines : RTTC (variété de rang fixe), VKBTR (TRD bayésien) et NCP (CPD basé sur les noyaux).
- Résultats : KReTTaH a systématiquement obtenu l'erreur quadratique moyenne normalisée (NRMSE) la plus faible pour tous les ratios d'échantillonnage (0,1 à 0,5). En termes de temps d'exécution, il arrive en deuxième position après NCP, surpassant nettement la méthode gourmande en mémoire VKBTR et la plus lente RTTC.
Imputation de Flux de Trafic sur Graphes Dynamiques :
- Jeux de données : Données de flux de trafic des réseaux d'Eastern-Massachusetts (EMA) et de Berlin-Friedrichshain (BF).
- Baselines : PS, S-VAR, HodgeNet (basé sur les réseaux de neurones), RTTC, STTC, NCP et VKBTR.
- Résultats : KReTTaH a obtenu la NRMSE la plus faible dans la plupart des scénarios, surpassant les méthodes basées sur les tenseurs et celles basées sur les réseaux de neurones. Notamment, il a atteint une haute parcimonie (réduisant le stockage des paramètres de plus de 40 % avec des configurations HP spécifiques) tout en maintenant une précision supérieure. L'utilisation de plusieurs noyaux ( $N_K > 1$ ) a davantage amélioré les performances et a permis des sélections de rang plus faibles.

Signification et Revendications

Le document affirme que KReTTaH offre un avantage distinct en opérant de manière sans données d'entraînement, fournissant une solution interprétable via la régression RKHS plutôt qu'en s'appuyant sur des réseaux de neurones « boîte noire ». En exploitant la riche structure géométrique des variétés de trains de tenseurs de rang fixe et des matrices PD, la méthode atteint :

Sélection Automatisée des Hyperparamètres : L'apprentissage conjoint des covariances de noyau élimine le fardeau de la validation croisée.
Efficacité et Parcimonie : Le surparamétrage de Hadamard favorise la parcimonie et la réduction de dimensionnalité sans optimisation non lisse.
Robustesse : L'approche de descente de gradient riemannienne réduit la sensibilité à l'initialisation et au surapprentissage par rapport aux méthodes de descente de coordonnées par blocs.

Les auteurs concluent que KReTTaH représente une étape significative vers l'avancement de la complétion de tenseurs, réussissant à équilibrer la précision de la modélisation, l'efficacité computationnelle et l'interprétabilité pour l'imputation de données multi-voies. Les directions futures suggérées incluent la sélection automatique du rang et des extensions vers l'apprentissage en ligne à partir de flux de données (streaming data).