Resumo Técnico: Aprendizado de um Modelo de Máxima Entropia para Texturas Visuais usando Difusão

Declaração do Problema

Texturas visuais — regiões de imagem espacialmente homogêneas contendo elementos repetidos como grama ou casca de árvore — são ubíquas e críticas para o reconhecimento de materiais. Os modelos de textura existentes tipicamente dependem de um conjunto de estatísticas locais para definir um conjunto de texturas. De acordo com a conjectura de Julesz e o princípio da máxima entropia, uma classe de textura pode ser modelada como a densidade de probabilidade "mais aleatória" consistente com um conjunto específico de estatísticas. No entanto, as abordagens atuais sofrem de duas limitações principais:

1. Estatísticas Projetadas Manualmente ou por Aprendizado por Transferência: As estatísticas existentes são ou projetadas manualmente (ex: Heeger e Bergen, Portilla e Simoncelli) ou extraídas de redes pré-treinadas para tarefas não relacionadas, como reconhecimento de objetos (ex: Gatys et al., usando VGG19).
2. Troca entre Escalabilidade e Qualidade: Modelos de última geração como o de Gatys et al. alcançam alta qualidade visual, mas dependem de conjuntos massivos de parâmetros (~177k estatísticas), enquanto modelos menores, criados artesanalmente, muitas vezes carecem de fidelidade visual.

Os autores visam desenvolver o primeiro método principado para o aprendizado não supervisionado de um conjunto de estatísticas que possa parametrizar um modelo de probabilidade de máxima entropia para texturas, enquanto derivam simultaneamente procedimentos de amostragem eficientes.

Metodologia

1. Formulação de Máxima Entropia

Os autores formalizam o conjunto de texturas como uma densidade de probabilidade paramétrica $p_\lambda(x)$ sobre uma imagem $x$, definida pela distribuição de máxima entropia sujeita a restrições em um conjunto de $d$ estatísticas $f(x)$:
$$p_\lambda(x) = \frac{1}{Z(\lambda)} \exp\left( -\sum_{k=1}^d \lambda_k f_k(x) \right)$$
Aqui, $\mu = E[f(x)]$ representa as estatísticas alvo, e $\lambda$ são os multiplicadores de Lagrange (pesos) unicamente determinados por $\mu$. O objetivo é aprender a função $f$ (o extrator de estatísticas) e o mapeamento para $\lambda$ diretamente dos dados.

2. Treinamento via Denoising (Difusão)

A otimização direta de $f$ e $\lambda$ via máxima verossimilhança é intratável devido à função de partição $Z(\lambda)$. Em vez disso, os autores utilizam modelos de difusão generativa:

• Score Matching: Uma rede de denoising treinada para prever o ruído Gaussiano $\epsilon$ a partir de uma imagem ruidosa $y$ aproxima a função de score $\nabla_y \log p(y)$.
• Arquitetura: O modelo emprega uma estrutura de duas redes (Figura 1):
  • Rede de Estatísticas ($f_\theta$): Um codificador do tipo UNet que processa a imagem ruidosa $y$. Utiliza codificadores gêmeos com parâmetros independentes; as estatísticas de saída $f_\theta(y)$ são computadas como produtos internos de canais correspondentes.
  • Rede de Pesos ($\lambda_\phi$): Um modelo ConvNeXt-T que recebe a imagem de referência limpa $x$ e o nível de ruído $\sigma$ como entrada para fornecer os pesos $\lambda_\phi(x, \sigma)$.
• Objetivo: As redes são treinadas conjuntamente para minimizar o erro quadrático médio entre o ruído previsto e o ruído real, aprendendo efetivamente o score da densidade de máxima entropia sem computar explicitamente $Z(\lambda)$.
• Dataset: O modelo é treinado em 1 milhão de patches homogêneos de 128x128 recortados do ImageNet21K, selecionados com base em um critério de "homogeneidade" derivado de uma decomposição de pirâmide estéril (steerable pyramid).

3. Procedimentos de Amostragem

O artigo compara dois métodos para gerar novas texturas condicionadas a uma imagem de referência $x_0$:

1. Correspondência de Estatísticas (Statistics Matching): Uma abordagem baseada em otimização onde uma imagem $x$ é iterativamente atualizada para minimizar $\|f(x) - f(x_0)\|^2$. Este é o método padrão usado em modelos de textura anteriores.
2. Amostragem por Difusão (Diffusion Sampling): Uma abordagem generativa usando a função de score aprendida para realizar um processo de difusão reversa (DDPM), condicionado aos pesos $\lambda(x_0, \sigma_t)$ em cada passo de tempo.

4. Comparação Adversária Competitiva

Para comparar diretamente os modelos, os autores empregam uma estratégia de "competição MAD". Dada uma referência $x_0$, eles sintetizam uma imagem $x$ que corresponde a $x_0$ segundo as estatísticas de um modelo, mas é maximamente diferente segundo as do outro. Isso expõe os pontos cegos específicos e artefatos de cada modelo.

Principais Contribuições

1. Aprendizado Não Supervisionado de Estatísticas: O primeiro método para aprender um conjunto de estatísticas a partir de dados para parametrizar um modelo de textura de máxima entropia, em vez de depender de design manual ou aprendizado por transferência.
2. Modelo Compacto de Alta Qualidade: O modelo treinado utiliza apenas 512 estatísticas (parâmetros), mas gera texturas com qualidade visual comparável ou superior ao modelo de estado da arte de Gatys, que utiliza 176.640 estatísticas.
3. Comparação de Amostragem: Uma comparação sistemática mostrando que, embora a correspondência de estatísticas produza amostras de maior qualidade para o modelo proposto, a amostragem por difusão oferece um caminho generativo distinto.
4. Análise do Espaço de Representação: Demonstração de que o espaço de representação aprendido permite a interpolação suave entre texturas. Ao contrário do modelo de Gatys, que produz misturas espaciais por patches durante a interpolação, o modelo proposto gera texturas homogêneas com características que transitam suavemente entre os pontos finais.

Resultados

• Qualidade Visual: Em um conjunto de teste de classes de textura (grama, pedra, estrela, etc.), o modelo proposto com correspondência de estatísticas produz imagens visualmente similares ou superiores ao modelo de Gatys.
• Scores FID: O modelo alcança melhores scores de Fréchet Inception Distance (FID) do que o modelo de Gatys em 8 de 9 classes de textura testadas. Os autores observam, no entanto, que o FID não é ideal para avaliação de textura, pois depende de redes de reconhecimento de objetos treinadas em categorias do ImageNet.
• Comparação Adversária:
  • O modelo de Gatys (sem restrições de alta frequência) produz artefatos de alta frequência quando forçado a diferir do modelo proposto.
  • O modelo proposto, quando forçado a diferir do modelo de Gatys, exibe artefatos específicos envolvendo estruturas orientadas localizadas.
• Interpolação: A interpolação entre duas representações de textura ($\mu$ ou $\lambda$) no modelo proposto resulta em texturas homogêneas com características que transitam suavemente. Em contraste, o modelo de Gatys produz "exposições duplas" ou misturas por patches, indicando um espaço de representação não convexo.

Significância e Alegações

O artigo afirma fornecer um framework baseado em dados e principado para a modelagem de textura que une a teoria estatística de texturas e o aprendizado profundo generativo moderno.

• Eficiência: Demonstra que um conjunto compacto de estatísticas aprendidas (512) pode superar conjuntos massivos, manuais ou de aprendizado por transferência (~177k), sugerindo que a escolha específica das estatísticas importa mais do que a mera quantidade.
• Utilidade Científica: Os autores destacam o potencial do modelo como ferramenta para neurociência e psicologia. Diferente do modelo de Gatys, de alta dimensão e interpretabilidade baixa, ou dos modelos manuais de menor qualidade, este modelo de 512 dimensões oferece um equilíbrio entre fidelidade visual e interpretabilidade, permitendo potencialmente que pesquisadores caracterizem respostas neurais em um espaço de representação bem definido.
• Generalidade: O método é apresentado como generalizável para outras modalidades de dados (ex: segmentos temporais de som, patches de vídeo, dados de disparos neurais) que podem ser descritos por modelos de máxima entropia, desde que os vieses indutivos apropriados sejam usados na arquitetura da rede.