🤖 machine learning

Bayesian Tensor Decomposition with Diffusion Model Prior

Este artigo apresenta o DiffBCP, uma estrutura de decomposição de tensores bayesiana que integra um modelo de difusão pré-treinado como um prior de dados com um processo de encolhimento cumulativo para seleção automática de posto, utilizando um amostrador Gibbs dividido para permitir inferência tratável e alcançar desempenho superior em inpainting e denoising de imagens sob corrupção severa.

Autores originais: Zerui Tao, Qibin Zhao

Publicado 2026-06-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zerui Tao, Qibin Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um quebra-cabeça 3D gigante (um "tensor") que representa uma imagem complexa, como uma foto de uma cidade ou um rosto. Infelizmente, alguém arrancou grandes pedaços das peças do quebra-cabeça e as peças restantes estão cobertas de estática e arranhões (ruído). Seu objetivo é descobrir como era a imagem original.

Este artigo apresenta um novo método chamado DiffBCP para resolver este quebra-cabeça. Veja como ele funciona, dividido em conceitos simples:

1. O Jeito Antigo: O Palpite de "Baixo Rank"

Tradicionalmente, os computadores tentam resolver isso assumindo que a imagem possui uma estrutura subjacente simples. Eles chamam isso de "Baixo Rank" (Low-Rankness).

A Analogia: Imagine que a imagem é uma pintura feita de apenas alguns traços de pincel distintos. Se você conhecer o padrão desses poucos traços, pode adivinhar as partes que faltam.
O Problema: Isso funciona muito bem se a imagem estiver limpa. Mas se a imagem estiver fortemente danificada ou com grandes partes faltando, assumir que ela é apenas "simples" não é suficiente. O computador fica travado e produz resultados borrados e estranhos.

2. O Novo Ingrediente: O "Modelo de Difusão" (O Especialista em Arte)

Os autores perceberam que, embora o "Baixo Rank" seja uma boa regra de bolso, não é suficiente para dados reais e bagunçados. Eles decidiram adicionar um segundo ajudante, muito mais inteligente: um Modelo de Difusão.

A Analogia: Pense em um Modelo de Difusão como um especialista em arte de classe mundial que já viu milhões de fotos. Este especialista não conhece apenas matemática; ele tem uma "sensação" intuitiva de como um rosto, uma árvore ou um edifício realista deveria ser.
A Inovação: Geralmente, esses especialistas em arte são difíceis de misturar com os resolvedores de quebra-cabeças matemáticos. Os autores descobriram uma maneira de permitir que este especialista guie o processo de resolução do quebra-cabeça sem quebrar a matemática.

3. A Equipe Híbrida: DiffBCP

O novo método, DiffBCP, é uma união entre a matemática de "Baixo Rank" e o "Especialista em Arte".

Como eles trabalham juntos:
1. A Matemática (Baixo Rank): Mantém a estrutura organizada e garante que as peças do quebra-cabeça se encaixem logicamente. Também atua como um filtro inteligente que decide automaticamente quantos "traços de pincel" são realmente necessários, para não complicar demais as coisas.
2. O Especialista (Difusão): Olha para o quebra-cabeça bagunçado e incompleto e diz: "Ei, aquela parte que falta parece que deveria ser uma janela, não um borrão aleatório". Ele preenche os detalhes ausentes com texturas realistas.

4. O Ingrediente Secreto: O "Split Gibbs Sampler"

Misturar esses dois é difícil porque eles falam línguas diferentes (um fala matemática rigorosa, o outro fala probabilidade). Para fazê-los conversar, os autores inventaram um protocolo de comunicação especial chamado Split Gibbs Sampler.

A Analogia: Imagine duas pessoas tentando construir uma casa. Uma é um arquiteto rígido (a matemática) e o outro é um designer de interiores criativo (o modelo de difusão).
- Em vez de discutirem, eles usam um tradutor (o sampler).
- O arquiteto constrói uma estrutura.
- O tradutor entrega a estrutura ao designer, que adiciona o papel de parede e os móveis realistas.
- O tradutor devolve a estrutura, e o arquiteto ajusta a estrutura para caber nos novos móveis.
- Eles repetem esse vai e vem até que a casa esteja perfeita.
O Benefício: Isso permite que o computador lide com o ruído automaticamente. Não é necessário um humano para dizer: "O nível de ruído é de 5%". O sistema descobre o nível de ruído por conta própria enquanto trabalha.

5. Os Resultados: O Que Eles Descobriram?

Os autores testaram isso em:

Inpainting de Imagem: Preencher partes ausentes de fotos (como remover uma pessoa de uma multidão ou consertar uma foto rasgada).
Denoising (Redução de Ruído): Limpar imagens granuladas e cheias de estática.
Alta Resolução e Fora da Distribuição (Out-of-Distribution): Mesmo quando testaram em imagens enormes de alta definição ou imagens que não se pareciam nada com os dados de treinamento (como uma paisagem urbana noturna quando o especialista foi treinado em rostos), o método ainda teve um desempenho superior aos métodos anteriores.

Em resumo: Eles construíram um sistema que combina a lógica estrutural da matemática com a intuição criativa dos geradores de arte de IA. Isso permite reconstruir imagens danificadas de forma muito mais precisa e realista do que os métodos anteriores, mesmo quando o dano é severo ou as imagens são muito grandes.

Resumo Técnico: Decomposição de Tensores Bayesiana com Prior de Modelo de Difusão

Declaração do Problema

A decomposição de tensores (TD) de baixo posto é uma ferramenta padrão para análise de dados multidimensionais, eficaz quando os dados estão limpos e totalmente observados. No entanto, o desempenho degrada-se significativamente sob severa ausência de dados ou ruído. Embora a suposição de baixo posto sirva como um prior estrutural, ela é frequentemente insuficiente para a recuperação de dados do mundo real. Tentativas anteriores de aumentar a TD com priors manuais (ex: esparsidade, suavidade) falham em capturar as estatísticas ricas de distribuições de dados complexas. Por outroْ lado, embora modelos de difusão de última geração ofereçam priors de dados aprendidos e poderosos, eles não são prontamente compatíveis com os frameworks atuais de TD ou tratáveis para inferência posterior, particularmente quando acoplados a restrições de baixo posto e seleção automática de posto.

Metodologia: DiffBCP

Os autores propõem o DiffBCP, um framework de decomposição CP bayesiana de prior híbrido projetado para integrar um prior de difusão aprendido com restrições estruturais de baixo posto.

1. Formulação Probabilística

O modelo define uma distribuição de probabilidade conjunta sobre os dados observados $Y$ , o tensor reconstruído $X$ e os fatores CP latentes ( $\lambda, A^{(1:N)}$ ):
$p(Y, X, \lambda, A^{(1:N)}, \tau) \propto p(Y | X, \tau) \cdot p(X | A^{(1:N)}, \lambda) \cdot p(A^{(1:N)}) \cdot p(\lambda) \cdot p(X) \cdot p(\tau)$

Componentes principais incluem:

Verossimilhança (Likelihood): Assume que as entradas observadas seguem uma distribuição Normal com precisão $\tau$ .
Restrição Estrutural: $p(X | A^{(1:N)}, \lambda)$ impõe a estrutura de decomposição CP ( $X = \text{CP}(\lambda, A^{(1:N)})$ ) via uma função delta de Dirac.
Priors de Fatores Latentes:
- Prior CUSP: Os pesos CP $\lambda$ seguem um prior de Processo de Encolhimento Cumulativo (CUSP). Este prior hierárquico permite a seleção automática de posto ao encolher componentes redundantes em direção a uma pequena constante $\theta_\infty$ conforme o posto aumenta.
- Priors Gaussianos: As matrizes de fator $A^{(n)}$ seguem priors Gaussianos padrão para regularizar as normas.
Prior de Difusão: Ao tensor reconstruído $X$ é atribuído um poderoso prior de modelo de difusão pré-treinado $p(X)$ . Isso atua como um regularizador implícito e baseado em dados, capaz de capturar texturas e estruturas complexas que as suposições de baixo posto sozinhas não conseguem capturar.

2. Inferência: Split Gibbs Sampler (SGS)

A inferência posterior direta é intratável devido ao acoplamento entre a verossimilhança, a restrição de baixo posto e o prior de difusão implícito. Os autores empregam um Split Gibbs Sampler com uma variável auxiliar $Z$ para desacoplar esses termos:

Aumentação: Uma variável auxiliar $Z$ é introduzida com um termo de acoplamento $\phi(Z, X; \rho) = \frac{1}{2\rho^2}\|Z - X\|_F^2$ .
Atualizações de Variáveis Latentes: Dado $Z$ , os fatores CP ( $\lambda, A^{(n)}$ ) e hiperparâmetros ( $\tau, \theta, \nu$ ) admitem atualizações conjugadas em forma fechada (Gaussiana, Gamma, Beta, etc.).
Atualização do Bloco de Difusão: Dado $X$ , a variável auxiliar $Z$ é amostrada de uma distribuição definida pelo prior de difusão e pelo termo de acoplamento. Isso é resolvido como um problema de denoising usando a rede de score pré-treinada $s_\psi$ via o processo SDE reversa, guiada pelo estimador de baixo posto $X$ .
Acoplamento Adaptativo ao Ruído: Um esquema é introduzido onde o parâmetro de acoplamento $\rho$ é ajustado dinamicamente com base na precisão de ruído inferida $\tau$ (especificamente $\tau\rho^2 = c$ ). Isso reduz a sensibilidade a esquemas de annealing manuais.

3. Adaptação de Posto

O framework inclui um esquema de adaptação de posto bidirecional. O prior CUSP encolhe componentes inativos, enquanto um mecanismo separado adiciona novos componentes se o posto atual for insuficiente. Isso garante robustez contra erro de especificação inicial do posto.

Principais Contribuições

Framework de Prior Híbrido: O primeiro modelo de decomposição de tensor bayesiano que integra um modelo de difusão pré-treinado pronto para uso como um prior de dados no tensor reconstruído, combinado com um prior CP estrutural de baixo posto.
Inferência Tratável: Desenvolvimento de um Split Gibbs Sampler que permite a inferência posterior apesar do complexo acoplamento entre verossimilhança, restrições de baixo posto e priors de difusão. Isso inclui atualizações de forma fechada para fatores latentes e denoising guiado por baixo posto para o bloco de difusão.
Inferência Automática de Posto e Ruído: O uso do prior CUSP e a estimativa de ruído totalmente bayesiana eliminam a necessidade de ajuste manual de níveis de posto e ruído.
Robustez: O método demonstra robustez contra erro de especificação de posto inicial e níveis variáveis de ruído através de seu esquema de acoplamento adaptativo.

Resultados Experimentais

O método foi avaliado em tarefas de inpainting e denoising de imagem usando os datasets FFHQ e ImageNet, bem como imagens de alta resolução fora da distribuição (OOD).

Desempenho: O DiffBCP superou consistentemente os baselines, incluindo TD bayesiana tradicional (BCP, BTR), TD baseada em deep learning (HLRTF, DeepTensor) e métodos plug-and-play (GLON, PnP-DM).
- No FFHQ com 90% de dados ausentes (máscara Uniform), o DiffBCP alcançou 28.28 dB PSNR, melhorando o melhor baseline (DeepTensor) em 2.17 dB.
- Em máscaras irregulares, os ganhos foram ainda mais pronunciados (+2.33 dB sobre o DeepTensor).
OOD e Alta Resolução: O método reconstruiu com sucesso imagens de 2048×2048 (ex: Marseille, Tokyo) usando um modelo de difusão treinado em imagens de 256×256, mantendo coerência e detalhes onde outros métodos (como o PuTT) introduziram artefatos ou falharam.
Estudos de Ablação:
- A remoção do prior de difusão degradou significativamente o desempenho em máscaras estruturadas (Stripe, Irregular), confirmando o papel do prior de difusão na recuperação da continuidade espacial.
- O prior CUSP provou ser crítico para a recuperação quando o posto inicial foi severamente subespecificado (ex: começando com posto 10 vs. 200).
Comparação com Amostradores de Difusão: Comparado ao PnP-DM, o DiffBCP mostrou maior estabilidade em relação ao agendamento do nível de ruído e melhor desempenho em imagens de alta resolução, embora o PnP-DM possa alcançar resultados competitivos em máscaras uniformes se seus parâmetros de ruído forem ajustados manualmente para valores ótimos.

Significância e Alegações

O artigo afirma que o DiffBCP consegue unir a lacuna entre o viés indutivo estrutural da decomposição de tensor de baixo posto e o poder expressivo dos modernos modelos generativos de difusão. Ao formular essa integração dentro de um framework totalmente probabilístico, os autores alcançam:

Recuperação de estado da arte para dados de tensores ruidosos e incompletos.
Adaptação automática a postos e níveis de ruído desconhecidos, eliminando a necessidade de ajustes extensos de hiperparâmetros.
Robustez a mudanças de distribuição e entradas de alta resolução, utilizando a estrutura de baixo posto como um viés indutivo estabilizador quando o prior de difusão enfrenta dados OOD.

Os autores observam que o desempenho depende de o sinal subjacente admitir uma estrutura de baixo posto significativa; se essa suposição for violada, a contribuição estrutural diminui, embora o prior de difusão permaneça ativo. Sugere-se como trabalho futuro a extensão do framework para outros problemas inversos (ex: compressed sensing) e outras decomposições de tensor (Tensor Train, Tensor Ring).