🤖 machine learning

Bayesian Tensor Decomposition with Diffusion Model Prior

Cet article présente DiffBCP, un cadre de décomposition tensorielle bayésienne qui intègre un modèle de diffusion pré-entraîné en tant que priorité de données avec un processus de contraction cumulative pour la sélection automatique du rang, utilisant un échantillonneur de Gibbs fractionné pour permettre une inférence traitable et atteindre des performances supérieures dans l'inpainting et le débruitage d'images sous une corruption sévère.

Auteurs originaux : Zerui Tao, Qibin Zhao

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zerui Tao, Qibin Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un puzzle géant en 3D (un « tenseur ») qui représente une image complexe, comme une photo d'une ville ou d'un visage. Malheureusement, quelqu'un a arraché d'énormes morceaux du puzzle (des pièces manquantes) et les pièces restantes sont couvertes de statique et de rayures (du bruit). Votre objectif est de découvrir à quoi ressemblait l'image originale.

Cette publication présente une nouvelle méthode appelée DiffBCP pour résoudre ce puzzle. Voici comment elle fonctionne, décomposée en concepts simples :

1. L'ancienne méthode : La supposition de « Bas Rang »

Traditionnellement, les ordinateurs essaient de résoudre cela en supposant que l'image possède une structure sous-jacente simple. Ils appellent cela le « Bas Rang » (Low-Rankness).

L'analogie : Imaginez que l'image est une peinture faite de seulement quelques coups de pinceau distincts. Si vous connaissez le motif de ces quelques coups, vous pouvez deviner les parties manquantes.
Le problème : Cela fonctionne très bien si l'image est propre. Mais si l'image est fortement endommagée ou s'il manque de gros morceaux, supposer qu'elle est simplement « simple » ne suffit pas. L'ordinateur reste bloqué et produit des résultats flous et bizarres.

2. Le nouvel ingrédient : Le « Modèle de Diffusion » (L'expert en art)

Les auteurs ont réalisé que si le « Bas Rang » est une bonne règle empirique, ce n'est pas suffisant pour les données réelles et désordonnées. Ils ont décidé d'ajouter un second assistant, beaucoup plus intelligent : un Modèle de Diffusion.

L'analogie : Considérez un Modèle de Diffusion comme un expert en art de classe mondiale qui a vu des millions de photos. Cet expert ne connaît pas seulement les mathématiques ; il possède un « ressenti » intuitif de ce à quoi un visage, un arbre ou un bâtiment réaliste devrait ressembler.
L'innovation : Habituellement, ces experts en art sont difficiles à mélanger avec les solveurs de puzzles mathématiques. Les auteurs ont trouvé un moyen de laisser cet expert guider le processus de résolution du puzzle sans briser les mathématiques.

3. L'équipe hybride : DiffBCP

La nouvelle méthode, DiffBCP, est une collaboration entre la mathématique du « Bas Rang » et l'« Expert en art ».

Comment ils travaillent ensemble :
1. La Mathématique (Bas Rang) : Maintient la structure organisée et garantit que les pièces du puzzle s'emboîtent logiquement. Elle agit également comme un filtre intelligent qui décide automatiquement du nombre de « coups de pinceau » réellement nécessaires, afin de ne pas trop compliquer les choses.
2. L'Expert (Diffusion) : Regarde le puzzle désordonné et incomplet et dit : « Hé, cette partie manquante ressemble à ce qui devrait être une fenêtre, pas à une tache aléatoire. » Il remplit les détails manquants avec des textures réalistes.

4. La recette secrète : Le « Split Gibbs Sampler »

Mélanger ces deux éléments est délicat car ils parlent des langues différentes (l'un parle de mathématiques strictes, l'autre de probabilités). Pour les faire communiquer, les auteurs ont inventé un protocole de communication spécial appelé « Split Gibbs Sampler ».

L'analogie : Imaginez deux personnes essayant de construire une maison. L'une est un architecte rigide (la mathématique), et l'autre est un décorateur d'intérieur créatif (le modèle de diffusion).
- Au lieu de se disputer, ils utilisent un traducteur (l'échantillonneur/sampler).
- L'architecte construit une structure.
- Le traducteur transmet la structure au designer, qui ajoute le papier peint et les meubles réalistes.
- Le traducteur rend la structure à l'architecte, qui ajuste la structure pour qu'elle s'adapte aux nouveaux meubles.
- Ils répètent cet échange jusqu'à ce que la maison soit parfaite.
Le bénéfice : Cela permet à l'ordinateur de gérer le bruit automatiquement. Il n'a pas besoin qu'un humain lui dise : « Le niveau de bruit est de 5 % ». Le système détermine lui-même le niveau de bruit pendant qu'il travaille.

5. Les résultats : Qu'ont-ils trouvé ?

Les auteurs ont testé cela sur :

L'Inpainting d'image : Remplir les parties manquantes de photos (comme supprimer une personne dans une foule ou réparer une photo déchirée).
Le Débruitage (Denoising) : Nettoyer des images granuleuses ou remplies de statique.
Haute Résolution et Hors-Distribution : Même lorsqu'ils ont testé cela sur de grandes images haute définition ou des images qui ne ressemblaient en rien aux données d'entraînement (comme un paysage urbain nocturne alors que l'expert a été entraîné sur des visages), cela a tout de même performé mieux que les méthodes précédentes.

En bref : Ils ont construit un système qui combine la logique structurelle des mathématiques avec l'intuition créative des générateurs d'art par IA. Cela permet de reconstruire des images endommagées de manière beaucoup plus précise et réaliste que les méthodes précédentes, même lorsque les dommages sont sévères ou que les images sont très grandes.

Résumé technique : Décomposition de tenseur bayésienne avec un a priori de modèle de diffusion

Énoncé du problème

La décomposition de tenseur (TD) de faible rang est un outil standard pour l'analyse de données multidimensionnelles, efficace lorsque les données sont propres et entièrement observées. Cependant, ses performances se dégradent considérablement en présence d'un manque de données sévère ou de bruit. Bien que l'hypothèse de faible rang serve d'a priori structurel, elle est souvent insuffisante pour la récupération de données réelles. Les tentatives précédentes visant à augmenter la TD avec des a priori faits à la main (par exemple, la parcimonie, la lissage) ne parviennent pas à capturer les statistiques riches des distributions de données complexes. Inversement, bien que les modèles de diffusion de pointe offrent des a priori de données appris puissants, ils ne sont pas facilement compatibles avec les cadres de TD actuels ou avec une inférence de la distribution postérieure traitable, particulièrement lorsqu'ils sont couplés à des contraintes de faible rang et à une sélection automatique du rang.

Méthodologie : DiffBCP

Les auteurs proposent DiffBCP, un cadre de décomposition CP bayésienne à a priori hybride conçu pour intégrer un a priori de diffusion appris avec des contraintes structurelles de faible rang.

1. Formulation probabiliste

Le modèle définit une distribution de probabilité jointe sur les données observées $Y$ , le tenseur reconstruit $X$ , et les facteurs CP latents ( $\lambda, A^{(1:N)}$ ) :
$p(Y, X, \lambda, A^{(1:N)}, \tau) \propto p(Y | X, \tau) \cdot p(X | A^{(1:N)}, \lambda) \cdot p(A^{(1:N)}) \cdot p(\lambda) \cdot p(X) \cdot p(\tau)$

Les composantes clés incluent :

Vraisemblance : Suppose que les entrées observées suivent une distribution Normale avec une précision $\tau$ .
Contrainte structurelle : $p(X | A^{(1:N)}, \lambda)$ impose la structure de la décomposition CP ( $X = \text{CP}(\lambda, A^{(1:N)})$ ) via une fonction delta de Dirac.
A priori des facteurs latents :
- A priori CUSP : Les poids CP $\lambda$ suivent un a priori de processus de contraction cumulative (CUSP). Cet a priori hiérarchique permet une sélection automatique du rang en contractant les composantes redondantes vers une petite constante $\theta_\infty$ à mesure que le rang augmente.
- A prioris Gaussiens : Les matrices de facteurs $A^{(n)}$ suivent des a priori gausiens standards pour régulariser les normes.
A priori de Diffusion : Le tenseur reconstruit $X$ se voit assigner un puissant a priori de modèle de diffusion pré-entraîné $p(X)$ . Cela agit comme un régularisateur implicite et piloté par les données, capable de capturer des textures et des structures complexes que les hypothèses de faible rang seules ne peuvent capturer.

2. Inférence : Échantillonneur de Gibbs fractionné (SGS)

L'inférence directe de la distribution postérieure est intractable en raison du couplage entre la vraisemblance, la contrainte de faible rang et l'a priori de diffusion implicite. Les auteurs emploient un Échantillonneur de Gibbs fractionné (Split Gibbs Sampler) avec une variable auxiliaire $Z$ pour découpler ces termes :

Augmentation : Une variable auxiliaire $Z$ est introduite avec un terme de couplage $\phi(Z, X; \rho) = \frac{1}{2\rho^2}\|Z - X\|_F^2$ .
Mises à jour des variables latentes : Étant donné $Z$ , les facteurs CP ( $\lambda, A^{(n)}$ ) et les hyperparamètres ( $\tau, \theta, \nu$ ) admettent des mises à jour conjuguées en forme close (Gaussienne, Gamma, Beta, etc.).
Mise à jour du bloc de Diffusion : Étant donné $X$ , la variable auxiliaire $Z$ est échantillonnée à partir d'une distribution définie par l'a priori de diffusion et le terme de couplage. Cela est résolu comme un problème de débruitage en utilisant le réseau de score pré-entraîné $s_\psi$ via le processus d'équation différentielle stochastique (SDE) inverse, guidé par l'estimation de faible rang $X$ .
Couplage adaptatif au bruit : Un programme est introduit où le paramètre de couplage $\rho$ est ajusté dynamiquement en fonction de la précision du bruit inférée $\tau$ (spécifiquement $\tau\rho^2 = c$ ). Cela réduit la sensibilité aux programmes d'annealing manuels.

3. Adaptation du rang

Le cadre comprend un schéma d'adaptation de rang bidirectionnel. L'a priori CUSP contracte les composantes inactives, tandis qu'un mécanisme séparé ajoute de nouvelles composantes si le rang actuel est insuffisant. Cela garantit la robustesse contre une mauvaise spécification initiale du rang.

Contributions clés

Cadre à a priori hybride : Le premier modèle de décomposition de tenseur bayésien intégrant un modèle de diffusion pré-entraîné prêt à l'emploi comme a priori de données sur le tenseur reconstruit, combiné à un a priori CP de faible rang structurel.
Inférence traitable : Développement d'un échantillonneur de Gibbs fractionné qui permet l'inférence de la distribution postérieure malgré le couplage complexe entre la vraisemblance, les contraintes de faible rang et les a prioris de diffusion. Cela inclut des mises à jour en forme close pour les facteurs latents et un débruitage guidé par le faible rang pour le bloc de diffusion.
Inférence automatique du rang et du bruit : L'utilisation de l'a priori CUSP et l'estimation bayésienne complète du bruit éliminent le besoin de réglage manuel des niveaux de rang et de bruit.
Robustesse : La méthode démontre une robustesse face à la mauvaise spécification initiale du rang et aux niveaux de bruit variables grâce à son programme de couplage adaptatif.

Résultats expérimentaux

La méthode a été évaluée sur des tâches d'inpainting et de débruitage d'images en utilisant les jeux de données FFHQ et ImageNet, ainsi que des images haute résolution hors distribution (OOD).

Performance : DiffBCP surpasse systématiquement les bases de référence, incluant la TD bayésienne traditionnelle (BCP, BTR), la TD basée sur l'apprentissage profond (HLRTF, DeepTensor) et les méthodes plug-and-play (GLON, PnP-DM).
- Sur FFHQ avec 90 % de données manquantes (masque uniforme), DiffBCP a atteint 28,28 dB de PSNR, s'améliorant de 2,17 dB par rapport à la meilleure base de référence (DeepTensor).
- Sur les masques irréguliers, les gains sont encore plus prononcés (+2,33 dB par rapport à DeepTensor).
OOD et Haute Résolution : La méthode a reconstruit avec succès des images de 2048×2048 (ex: Marseille, Tokyo) en utilisant un modèle de diffusion entraîné sur des images de 256×256, maintenant la cohérence et les détails là où d'autres méthodes (comme PuTT) introduisaient des artefacts ou échouaient.
Études d'ablation :
- Le retrait de l'a priori de diffusion a considérablement dégradé les performances sur les masques structurés (Stripe, Irregular), confirmant le rôle de l'a priori de diffusion dans la récupération de la continuité spatiale.
- L'a priori CUSP s'est avéré critique pour la récupération lorsque le rang initial était sévèrement sous-spécifié (ex: commençant à un rang de 10 vs 200).
Comparaison avec les échantillonneurs de diffusion : Comparé à PnP-DM, DiffBCP montre une meilleure stabilité concernant la programmation du niveau de bruit et de meilleures performances sur les images haute résolution, bien que PnP-DM puisse obtenir des résultats compétitifs sur des masques uniformes si ses paramètres de bruit sont réglés manuellement vers des valeurs optimales.

Signification et affirmations

L'article affirme que DiffBCP comble avec succès le fossé entre le biais inductif structurel de la décomposition de tenseur de faible rang et la puissance expressive des modèles de diffusion génératifs modernes. En formulant cette intégration au sein d'un cadre entièrement probabiliste, les auteurs parviennent à :

Une récupération de l'état de l'art pour les données de tenseurs bruitées et incomplètes.
Une adaptation automatique aux rangs et niveaux de bruit inconnus, éliminant le besoin de réglages intensifs d'hyperparamètres.
Une robustesse aux changements de distribution et aux entrées haute résolution, en exploitant la structure de faible rang comme un biais inductif stabilisateur lorsque l'a priori de diffusion fait face à des données OOD.

Les auteurs notent que la performance dépend du fait que le signal sous-jacent admette une structure de faible rang significative ; si cette hypothèse est violée, la contribution structurelle diminue, bien que l'a priori de diffusion reste actif. Des travaux futurs sont suggérés pour étendre le cadre à d'autres problèmes inverses (par exemple, le compressed sensing) et d'autres décompositions de tenseurs (Tensor Train, Tensor Ring).