🤖 machine learning

Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

Cet article propose une décomposition par blocs de type bayésien variationnel (pBTD) efficace qui utilise la distribution matricielle de von Mises-Fisher pour imposer l'orthogonalité, démontrant son efficacité pour inférer de manière robuste des motifs et quantifier l'ordre du modèle pour des données tensorielles d'ordre supérieur bruitées.

Auteurs originaux : Jesper Løve Hinrich, Morten Mørup

Publié 2026-08-10

📖 7 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Jesper Løve Hinrich, Morten Mørup

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais au lieu d'une seule scène de crime, vous disposez d'une immense bibliothèque de indices multicouches. Certains indices sont de simples listes (comme une liste de courses), d'autres sont des feuilles de calcul (comme un budget), mais les plus intéressants sont des cubes 3D ou même des « hyper-cubes » de données à plus haute dimension. Dans le monde scientifique, ces objets sont appelés tenseurs. On en trouve partout : en chimie, où ils tracent la façon dont les produits chimiques brillent sous différentes lumières ; en biologie, où ils cartographient l'évolution des gènes au fil du temps et selon différentes conditions ; ou encore en psychologie, en suivant la manière dont les gens répondent à des questions sur différents objets.

Pour donner un sens à ces géants cubes de données désordonnées, les scientifiques utilisent une technique appelée décomposition de tenseur. Imaginez cela comme le fait de démonter un château de Lego complexe pour voir les briques individuelles et comment elles ont été emboîtées. Le but est de décomposer les données en motifs plus simples et compréhensibles. Pendant longtemps, les scientifiques ont utilisé deux méthodes principales pour faire cela : l'une qui traite chaque motif comme une ligne totalement séparée et indépendante (comme une pile de briques de Lego individuelles), et une autre qui traite les motifs comme un grand réseau interconnecté où tout touche tout le reste. Mais et si la vérité se trouvait entre les deux ? Et si vos données étaient composées de plusieurs « blocs » distincts, où chaque bloc est un petit réseau interconnecté, mais où les blocs eux-mêmes ne communiquent pas entre eux ? C'est la « Décomposition par Blocs de Termes » (BTD), une méthode qui tente de trouver ce juste milieu.

Cependant, il y a un piège. Les méthodes traditionnelles pour résoudre ces énigmes reposent sur la recherche d'une seule « meilleure supposition » de réponse. Si les données sont bruitées ou désordonnées (comme une photo prise dans l'obscurité), cette supposition unique peut facilement être trompée, menant à une conclusion erronée. C'est là qu'intervient le nouvel article. Au lieu de simplement chercher une seule réponse, les auteurs proposent une approche « probabiliste » plus intelligente. Imaginez qu'au lieu de demander : « Quelle est la forme réelle de ce château de Lego ? », vous demandiez : « Quelles sont toutes les formes possibles que ce château pourrait avoir, et quelle est la probabilité de chacune d'entre elles ? ». En utilisant une méthode appelée inférence bayésienne, ils ne trouvent pas seulement une réponse unique ; ils cartographient un paysage de possibilités, ce qui leur permet de voir leur degré d'incertitude et d'ignorer automatiquement les parties des données qui ne sont que du bruit aléatoire.

Le nouvel outil de l'auteur : Le constructeur de Lego « intelligent »

Dans cet article, Jesper Løve Hinrich et Morten Mørup introduisent une nouvelle version hautement efficace de cette méthode probabiliste, spécifiquement pour la Décomposition par Blocs de Termes (BTD). Ils l'appellent pBTD (décomposition de blocs de termes probabiliste). Leur grande idée est de construire un modèle capable de gérer la réalité désordonnée des données du monde réel en traitant les parties inconnues du puzzle comme des distributions (des plages de possibilités) plutôt que comme des nombres fixes.

Pour que cela fonctionne, ils ont dû résoudre un problème mathématique complexe : comment maintenir les différents « blocs » de données distincts et éviter qu'ils ne se mélangent. Ils y sont parvenus en utilisant une règle mathématique spéciale (la distribution de von Mises-Fisher) qui force les blocs de construction à rester « orthogonaux ». Dans le langage courant, pensez à l'orthogonalité comme au fait de s'assurer que vos briques Lego sont parfaitement perpendiculaires les unes aux autres, comme le coin d'une pièce. Cela empêche les différents motifs de s'emmêler, un problème courant dans d'autres méthodes.

Ce qu'ils ont trouvé : Une supposition plus intelligente et un filtrage du bruit

Les auteurs ont testé leur nouvel outil pBTD de deux manières : d'abord avec des données « fictives » générées par ordinateur où ils connaissaient la réponse exacte, et secondement avec deux ensembles de données réelles : l'un provenant d'un processus chimique industriel et l'autre d'enregistrements d'ondes cérébrales (EEG).

Lorsqu'ils ont testé l'outil sur les données fictives, ils ont découvert quelque chose de fascinant. Lorsque les données étaient très bruitées (comme essayer d'entendre un murmure dans un ouragan), les méthodes traditionnelles (appelées Estimation du Maximum de Vraisemblance ou MLE) continuaient d'essayer d'ajuster le bruit dans leurs motifs, créant essentiellement un modèle erroné par « surapprentissage » (overfitting). En revanche, le nouvel outil pBTD était assez intelligent pour réaliser : « Hé, cette partie n'est que du bruit », et il désactivait efficacement les parties du modèle qui n'avaient pas de sens. Il ne s'est pas contenté de trouver la réponse ; il savait quand ne pas chercher de réponse.

Ils ont également utilisé l'outil pour déterminer la structure « correcte » des données. Imaginez que vous avez une boîte de Legos et que vous ne savez pas si vous devez construire une grande tour, quelques petites tours ou un mur plat. L'outil pBTD utilise un score appelé Borne Inférieure de l'Évidence (ELBO) pour agir comme un juge, leur indiquant quelle structure correspond le mieux aux données. Dans leurs simulations, l'outil a réussi à identifier le nombre correct de blocs et leur taille dans la plupart des cas, même lorsqu'ils commençaient avec un modèle possédant trop de pièces. Il était capable d'« élaguer » les pièces superflues et inutiles, les réduisant à une taille proche de zéro, un peu comme un jardinier taillant les branches mortes pour révéler l'arbre en bonne santé.

Résultats concrets : Des produits chimiques aux cerveaux

Lorsqu'ils ont appliqué le pBTD à des données réelles, les résultats étaient tout aussi prometteurs.

Les données chimiques : Dans un ensemble de données provenant d'un processus de moulage par injection industriel, l'outil a suggéré qu'un modèle « Tucker » complet (où tout est interconnecté) était le meilleur ajustement. Cependant, il a également montré que beaucoup des connexions dans ce modèle étaient très faibles ou incertaines, les élaguant efficacement pour révéler la structure centrale.
Les données cérébrales : Dans l'ensemble de données EEG, qui mesurait l'activité cérébrale lors d'une stimulation de la main, l'outil a de nouveau favorisé le modèle complet et interconnecté. Mais ici, les auteurs ont noté un compromis. Bien que le modèle complet soit statistiquement le « meilleur » ajustement, les modèles plus simples et plus séparés (comme le modèle CPD) étaient en fait plus faciles à interpréter pour les humains. Par exemple, le modèle plus simple montrait clairement qu'un motif spécifique d'activité cérébrale se produisait lors de la stimulation de la main gauche et un autre pour la main droite. Le modèle complexe, totalement connecté, était plus difficile à interpréter, bien qu'il soit mathématiquement robuste.

L'essentiel

L'article conclut que cette nouvelle approche probabiliste offre une manière unifiée de traiter tous les types de décompositions de tenseurs, des plus simples aux plus complexes. Elle fournit un « filet de sécurité » contre le surapprentissage, permettant aux scientifiques d'être plus confiants dans leurs résultats, même lorsque les données sont bruitées. Bien que les mathématiques sous-jacentes soient lourdes, le résultat est un outil qui ne se contente pas de brasser des chiffres ; il comprend la différence entre un signal et un bug. Les auteurs suggèrent que cette méthode est tout aussi rapide que les anciennes méthodes, tout en offrant une image beaucoup plus riche et plus fiable de ce que vos données racontent réellement. Ils notent également que, bien qu'ils aient utilisé une astuce mathématique spécifique appelée « inférence variationnelle » pour la rendre rapide, le cadre est suffisamment flexible pour être utilisé avec d'autres méthodes encore plus détaillées à l'avenir. En fin de compte, ils ont donné aux scientifiques un meilleur moyen d'observer le monde multidimensionnel, les aidant à voir les motifs sans se perdre dans le bruit.

Résumé technique : Décomposition par blocs probabiliste pour la modélisation de tableaux d'ordre supérieur

Énoncé du problème
Les décompositions de tenseurs sont essentielles pour caractériser les structures d'ordre supérieur dans les données scientifiques, la décomposition CP (Canonical Polyadic Decomposition - CPD) et la décomposition de Tucker étant les plus répandues. La décomposition par blocs (Block-Term Decomposition - BTD) sert de cadre intermédiaire structuré, agrégeant plusieurs petits modèles de Tucker pour combler l'écart entre les produits extérieurs de rang 1 de la CPD et les structures multilinéaires entièrement connectées de Tucker. Traditionnellement, ces méthodes reposent sur l'estimation du maximum de vraisemblance (MLE), qui fournit des estimations ponctuelles mais manque de mécanismes pour la quantification de l'incertitude, la robustesse au bruit et la sélection principielle de l'ordre du modèle. Bien que des approches bayésiennes aient été développées pour la CPD et Tucker, les modèles de BTD probabilistes existants (par exemple, [8]) échouent souvent à préserver des propriétés structurelles critiques, telles que l'orthogonalité des matrices de facteurs centrale dans la BTD conventionnelle basée sur la MLE, ou sont restreints à des configurations de blocs spécifiques (par exemple, $(L_r, L_r, 1)$ ). De plus, déterminer le nombre optimal de cœurs et leurs tailles dans la BTD reste un défi, généralement abordé via des critères heuristiques.

Méthodologie
Les auteurs proposent une décomposition par blocs probabiliste (pBTD) par inférence variationnelle bayésienne efficace. Le cœur de la méthodologie implique :

Modèle génératif : Les données sont modélisées comme une somme de $T$ blocs de type Tucker. Les matrices de facteurs $U^{(n)}_t$ pour chaque bloc sont contraintes d'être orthogonales, tirées d'une distribution de matrice de von Mises-Fisher (vMF) avec un a priori uniforme sur la variété de Stiefel. Les tableaux de cœurs $G_t$ sont modélisés comme des distributions normales de moyenne nulle avec une matrice de précision $\Psi_t$ .
Imposition de l'orthogonalité : Contra خلاف aux tentatives précédentes de BTD probabiliste qui utilisaient des distributions de facteurs gaussiennes, ce modèle impose explicitement l'orthogonalité via la distribution vMF, s'alignant ainsi sur les propriétés de la BTD conventionnelle et assurant le découplage des éléments du cœur.
Détermination automatique de la pertinence (ARD - Automatic Relevance Determination) : Pour traiter la sélection de l'ordre du modèle et éviter le surapprentissage, les auteurs emploient des a priori ARD sur les tableaux de cœurs. La matrice de précision $\Psi$ est structurée pour permettre l'élagage des tranches ou des éléments non pertinents au sein des cœurs. Trois types d'a priori sont considérés : d'échelle, de parcimonie et d'ARD, l'implémentation se concentrant sur l'a priori de parcimonie.
Inférence variationnelle : En raison de l'intraitabilité de la distribution postérieure exacte, une approximation variationnelle de champ moyen est utilisée. La distribution postérieure est approximée par un ensemble de distributions indépendantes $Q(\theta)$ $Q (θ)$ . L'optimisation maximise la borne inférieure de l'évidence (ELBO).
- Matrices de facteurs : La distribution variationnelle pour les matrices de facteurs reste une distribution vMF, mise à jour à l'aide d'une matrice de concentration dérivée des données résiduelles et des valeurs attendues des cœurs.
- Tableaux de cœurs : La distribution variationnelle pour les tableaux de cœurs vectorisés suit une distribution normale multivariée. L'orthogonalité des matrices de facteurs simplifie le calcul de la covariance, entraînant des distributions univariées indépendantes pour les éléments du cœur.
- Hyperparamètres : La précision du bruit et les paramètres de précision des a priori des cœurs sont mis à jour à l'aide de distributions Gamma dérivées des mises à jour variationnelles.

Contributions clés

Cadre unifié : Le papier fournit un cadre bayésien unifié qui englobe naturellement la CPD (en tant que cas particulier avec des blocs de rang 1) et Tucker (en tant qu'un seul bloc) au sein de la structure BTD.
BTD orthogonale probabiliste : Il introduit un modèle BTD probabiliste qui incorpore avec succès les contraintes d'orthogonalité des matrices de facteurs via la distribution vMF, une caractéristique absente des tentatives de BTD probabiliste antérieures.
Quantification de l'ordre du modèle : Le cadre utilise l'ELBO et les a priori ARD pour élaguer automatiquement les éléments de cœur non pertinents et déterminer les structures multilinéaires appropriées, offrant une alternative principielle à la sélection de modèle heuristique.
Efficacité : Le schéma d'inférence variationnelle proposé atteint une complexité de calcul similaire aux procédures conventionnelles de MLE, ce qui le rend réalisable pour des applications pratiques malgré les avantages supplémentaires de l'inférence bayésienne.

Résultats
Les auteurs ont évalué la pBTD sur des données synthétiques et deux ensembles de données réelles :

Données synthétiques :
- Robustesse : Comparée aux méthodes BTD basées sur la MLE (BTD-NLS et BDT-minf), la pBTD a démontré une robustesse supérieure au bruit. À des niveaux de bruit élevés, la pBTD a efficacement « désactivé » la modélisation pour éviter le surapprentissage, tandis que les méthodes MLE surajustent le bruit.
- Sélection de modèle : En ajustant diverses structures BTD à des données générées à partir d'une vérité terrain connue, la pBTD a identifié avec succès la structure correcte via l'ELBO dans la plupart des cas. L'a priori ARD a permis au modèle d'élaguer les éléments dans les modèles sur-spécifiés, atténuant ainsi l'erreur de spécification du modèle.
- Performance : La pBTD a obtenu des erreurs de reconstruction plus faibles que les méthodes MLE sur des ordres de modèle incorrects et a été nettement plus rapide que la BTD-NLS (10 à 15 fois), bien que légèrement plus lente que la BDT-minf.
Données réelles :
- Données d'injection de flux : Le modèle a supporté une représentation Tucker complète, l'ARD ayant élagué de nombreux éléments du cœur vers presque zéro. Le cœur de Tucker inféré a montré des composantes avec une incertitude plus élevée par rapport aux représentations plus contraintes de type CPD/BTD.
- Données EEG : L'ELBO a favorisé le modèle Tucker complet, indiquant une préférence pour une représentation multilinéaire complète. Cependant, la représentation CPD a produit des résultats plus interprétables, distinguant spécifiquement les stimulations de la main gauche et de la main droite dans le premier et onzième composante, une clarté perdue dans les interactions de blocs plus complexes des modèles Tucker et BTD intermédiaires.

Signification et affirmations
Le papier affirme que la pBTD proposée offre une approche robuste et principielle de la décomposition de tenseur qui étend les avantages de l'inférence bayésienne — spécifiquement la quantification de l'incertitude, la modélisation du bruit et la sélection automatique de l'ordre du modèle — au cadre BTD. Les auteurs soulignent que cela est accompli sans sacrifier l'efficacité computationnelle, maintenant une complexité comparable à la MLE standard.

La signification réside dans la capacité à :

Quantifier l'incertitude des paramètres de décomposition, allant au-delà des estimations ponctuelles.
Effectuer une détermination automatique de la pertinence pour élaguer les éléments de cœur, aidant à la sélection de la complexité de modèle appropriée (CPD vs Tucker vs BTD intermédiaire).
Fournir un traitement probabiliste unifié pour la CPD, Tucker et BTD, facilitant une analyse plus complète des structures de données multilinéaires.

Les auteurs notent modestement que, bien que l'implémentation actuelle utilise l'inférence variationnelle, le cadre est généralisable aux méthodes MCMC (par exemple, l'échantillonnage de Gibbs). Ils soulignent également que, bien que le modèle Tucker complet maximise souvent l'ELBO sur les données réelles, l'interprétabilité de structures plus simples comme la CPD peut parfois être supérieure, suggérant que la sélection de modèle doit équilibrer l'évidence statistique et l'interprétabilité propre au domaine.

Articles similaires