Resumo Técnico: Desbloqueando Hierarquias de Difusão

Declaração do Problema

A segmentação semântica zero-shot avançou recentemente ao alavancar os ricos priors visuais encontrados em modelos de difusão de texto-para-imagem de grande escala, como o Stable Diffusion. No entanto, os métodos baseados em difusão existentes enfrentam duas limitações críticas que prejudicam seu desempenho:

1. O Compromisso Resolução-Contexto: As abordagens atuais dependem tipicamente de mapas de autoatenção ou de características do codificador U-Net. Os mapas de autoatenção oferecem alta resolução espacial, capturando detalhes finos de contorno, mas frequentemente carecem de uma compreensão contextual abrangente. Por outro outro lado, as características do codificador U-Net fornecem um contexto semântico rico, mas sofrem de uma resolução espacial significativamente reduzida, levando a contornos de segmentação grosseiros.
2. Dependência de Timestep Estático: Os métodos existentes extraem características de um único timestep fixo dentro do processo de difusão. Esta abordagem estática ignora a evolução dinâmica da informação ao longo da trajetória de denoising. À medida que um modelo de difusão refina um latente ruidoso em uma imagem coerente, diferentes níveis de granularidade semântica (desde detalhes de nível de parte até abstrações de nível de objeto) emergem e se solidificam em vários timesteps. Depender de um único timestep limita inerentemente a capacidade do modelo de capturar todo o espectro de pistas necessárias para uma segmentação precisa.

Metodologia

O método proposto, DiffCut (distinto do trabalho anterior DiffCut [18]), aborda essas limitações aproveitando plenamente o conhecimento semântico multifacetado codificado dentro do processo de denoising. A abordagem consiste em três componentes principais:

1. Mapas de Similaridade Contextual (CSM)

Para resolver o compromisso resolução-contexto, os autores introduzem o Mapa de Similaridade Contextual (CSM). Este é uma representação por pixel que funde sinergicamente mapas de autoatenção de alta resolução com características do codificador U-Net profundas e contextualmente ricas.

• Construção: Para um dado timestep $t$, mapas de autoatenção de múltiplas resoluções da U-Net são agregados em uma matriz unificada $M_t$. Simultaneamente, características de baixa resolução do codificador são extraídas e upsampled para formar uma matriz de características $F_t$.
• Fusão: As relações de alta resolução em $M_t$ guiam uma agregação ponderada das características upsampled $F_t$ para criar um vetor de características combinado $V_t$ para cada pixel ($V_t = M_t \times F_t$).
• Similaridade: O CSM ($S_t$) é definido como a similaridade de cosseno pareada entre esses vetores de características combinados. Isso resulta em um mapa que possui tanto a precisão de contorno fina quanto uma coerência semântica robusta.

2. Progressão Semântica Hierárquica e Seleção Adaptativa de Timestep

Os autores identificam uma progressão hierárquica emergente de informação semântica dentro do processo de denoising.

• Observação: Em timesteps altos (no início do processo reverso), o CSM captura estruturas globais amplas (ex: o caminhão inteiro). À medida que os timesteps diminuem (mais tarde no processo), o foco torna-se mais nítido para detalhes finos (ex: rodas individuais).
• Dinâmica por Pixel: Crucialmente, esta hierarquia é uma propriedade por pixel; diferentes pixels alcançam seu nível ideal de abstração semântica em diferentes timesteps.
• Matriz de Estabilidade Temporal (TSM): Para detectar essas transições, o método computa uma TSM para cada pixel, medindo a similaridade de seu CSM através de diferentes timesteps. Blocos estáveis na TSM correspondem a níveis semânticos distintos, enquanto as fronteiras entre blocos indicam mudanças semânticas.
• Detecção de Fronteira: Os autores tratam a TSM como uma matriz de adjacência ponderada e aplicam teoria de grafos espectrais. Especificamente, eles computam o vetor de Fiedler do Laplaciano do grafo e utilizam o algoritmo Pruned Exact Linear Time (PELT) para detectar pontos de mudança. Esses pontos de mudança servem como timesteps candidatos representando níveis semânticos distintos para cada pixel.

3. Pipeline de Segmentação

A segmentação final é gerada através de um processo de agregação de duas fases:

1. Seleção de Alvo: Para cada pixel, o segundo nível semântico (correspondente à segunda fronteira detectada) é selecionado como o nível alvo, equilibrando detalhes locais com semântica de alto nível.
2. Agregação: Uma representação intermediária é criada ao tirar a média dos CSMs de um pixel através de todos os timesteps até seu timestep alvo. Isto é então ponderado pelo CSM normalizado no próprio timestep alvo.
3. Máscara Final: Os vetores de características resultantes são passados para um algoritmo de Normalized Cut (Ncut) recursivo para gerar a máscara de segmentação final.

Principais Contribuições

• Mapas de Similaridade Contextual: Um método inovador para gerar CSMs fundindo autoatenção de alta resolução com características contextuais da U-Net, mitigando efetivamente o compromisso resolução-contexto.
• Descoberta Hierárquica: A revelação de uma progressão hierárquica de informação semântica através de timesteps em modelos de difusão, demonstrando que a abstração semântica evolui de nível de parte para nível de objeto.
• Seleção Adaptativa de Timestep: Um mecanismo para selecionar dinamicamente o timestep ideal para extração de características em uma base por pixel, indo além das limitações de timestep estático de trabalhos anteriores.
• Desempenho: Experimentos extensos demonstrando que o método proposto supera consistentemente as linhas de base de segmentação zero-shot existentes.

Resultados

O método foi avaliado em seis conjuntos de dados padrão de segmentação semântica: Pascal VOC, Pascal Context, COCO-Object, COCO-Stuff-27, Cityscapes e ADE20K.

• Desempenho Quantitativo: O método proposto alcançou o maior mean Intersection over Union (mIoU) no COCO-Stuff, Cityscapes, ADE20K, Pascal VOC e Pascal Context. No COCO-Object, alcançou resultados competitivos (30.8% mIoU) comparados ao DiffCut (31.2%), enquanto demonstrou robustez superior através do amplo espectro de benchmarks.
• Estudos de Ablação: Experimentos confirmaram que:
  • Substituir CSM por similaridade de característica ou atenção pura reduz significativamente o desempenho.
  • Remover a seleção dinâmica de timestep (usando um timestep fixo) reduz o desempenho, validando a necessidade de adaptação por pixel.
  • Usar características do último layer do encoder é superior ao uso de camadas do decoder ou mistas.
  • Adicionar ruído à imagem de entrada (imitando a distribuição de treinamento) melhora o desempenho em comparação ao uso da imagem limpa.
• Extensão Open-Vocabulary: O método foi estendido para um cenário de vocabulário aberto, superando o DiffCut em VOC, Context e COCO.

Significância e Alegações

O artigo afirma que sua principal significância reside em desbloquear a estrutura semântica hierárquica latente dentro dos modelos de difusão. Ao se afastar da extração de características de timestep único e estático e, em vez disso, abraçar uma abordagem adaptativa por pixel, o método alcança uma compreensão mais precisa e abrangente da semântica da imagem.

Os autores afirmam que seu trabalho valida a eficácia da combinação de características contextuais com seleção de timestep hierárquica e dinâmica. Eles posicionam isso como um passo fundamental na segmentação zero-shot, demonstrando que modelos de difusão pré-treinados contêm priors semânticos ricos e estruturados que podem ser sistematicamente extraídos sem a necessidade de treinamento específico de classe ou anotações densas de pixel. O trabalho abre caminhos para segmentação interativa e tarefas de visão hierárquica, sugerindo que os princípios de níveis semânticos dinâmicos poderiam se estender a outros modelos de fundação.