Resumo Técnico: Prisma Semântico via Interface de Imagem Semântica Observável e Alinhamento de Evidência Geradora Hierárquica

Declaração do Problema

A segmentação semântica generativa visa expor predições estruturadas como imagens visíveis, oferecendo um output avaliável de forma independente. No entanto, as abordagens existentes enfrentam um compromisso fundamental:

1. Decodificação Direta de Cores: Embora mantenha uma relação transparente entre a imagem renderizada e a predição, este método é suscetível ao desvio de cor (color drift), mistura de bordas e desfoque, o que corrompe as atribuições de classe, particularmente em transições semânticas e estruturas finas.
2. Decodificadores de Características Latentes: Estes podem recuperar detalhes locais, mas frequentemente relegam a imagem semântica renderizada a uma visualização intermediária. Quando a distribuição final é prevista através de um caminho separado da interface definida pela imagem, a natureza explícita e independentemente avaliável da imagem semântica é perdida.

O desafio central é preservar a imagem semântica como uma interface probabilística explícita e independentemente avaliável, alcançando simultaneamente uma precisão espacial de grão fino através de refinamento hierárquico.

Metodologia: Prisma Semântico

Os autores propõem o Prisma Semântico, um framework de geração e refinamento de imagem semântica condicional com inferência determinística de passo único. O pipeline consiste em três componentes primários:

1. Geração de Imagem Semântica de Passo Único

Um tradutor de imagem por destilação de difusão (baseado em pix2pix-Turbo) renderiza uma imagem RGB semântica ($s$) a partir de uma imagem de entrada ($x$).

• Codebook Fixo: Um codebook de cores de classe de alta separação fixa ($C$) é construído usando seleção gananciosa max–min em uma grade RGB saturada.
• Interface Observável: O valor RGB renderizado em cada pixel é mapeado para uma distribuição completa de probabilidade de classe ($p_I$) usando um decodificador baseado em distância fixa. A probabilidade é derivada da distância euclidiana ao quadrado entre a cor renderizada e os protótipos de classe no codebook.
• Recuperabilidade: Esta interface é "observável" porque o rótulo top-1, a probabilidade máxima de classe e os log-odds de classe pareados são diretamente recuperáveis da imagem renderizada usando o codebook fixo, sem acesso às características latentes do gerador.

2. Alinhamento de Evidência Geradora Hierárquica (HGEA)

Para corrigir erros na interface inicial (ex: bordas borradas, falta de estruturas finas) sem estabelecer um caminho de predição separado, o HGEA alinha características de múltiplos níveis do gerador congelado.

• Resíduos Aditivos: Em vez de prever uma nova distribuição de saída, o HGEA prevê um resíduo aditivo ($\Delta z_H$) no mesmo espaço de logits da interface.
• Mecanismo: Características de três níveis do gerador são projetadas, normalizadas e reamostradas. Elas são concatenadas com a imagem de entrada, a imagem semântica renderizada e a distribuição da interface ($p_I$) para prever o resíduo de logit.
• Inicialização Zero: A projeção de saída é inicializada com zero, garantindo que, na inicialização, a distribuição refinada ($p_H$) seja igual à distribuição da interface ($p_I$). A predição final é obtida aplicando o resíduo aos logits da interface: $p_H = \text{softmax}(z_I + \Delta z_H)$.

3. Desacordo Contextual Interface–Hierarquia (C-IHD)

O C-IHD é um mecanismo de leitura (readout) fixo projetado para classificar erros de pixel sem um preditor auxiliar ou passagem direta adicional. Ele combina:

• Incerteza Pontual: O complemento da Probabilidade Máxima de Softmax (MSP) da distribuição refinada.
• Contexto Local: Uma média local da incerteza pontual.
• Desacordo Distribucional: Uma divergência de Jensen–Shannon normalizada e ponderada por $\rho$ entre a distribuição da interface ($p_I$) e a distribuição refinada ($p_H$).
  Estes componentes são combinados em um único escore de incerteza para identificar erros remanescentes.

Principais Contribuições

1. Interface de Imagem Semântica Observável: A formulação de uma interface onde um decodificador de codebook baseado em distância fixa mapeia valores RGB renderizados para distribuições completas de classe. Isso permite que rótulos top-1 e log-odds pareados sejam recuperados em forma fechada diretamente da imagem.
2. Alinhamento de Evidência Geradora Hierárquica (HGEA): Um método que alinha espacialmente características do gerador de múltiplos níveis para refinar aditivamente os logits da interface. Esta abordagem melhora a média de Interseção sobre União (mIoU) em 11,39 pontos sobre a decodificação de interface direta no Cityscapes, demonstrando que o alinhamento conjunto de múltiplos níveis supera o refinamento de nível único ou sem hierarquia.
3. Desacordo Contextual Interface–Hierarquia (C-IHD): Um readout fixo que reutiliza as distribuições existentes para melhorar a classificação de erro de pixel (medido pela Área Sob a Curva de Precisão–Recall, AUPR) em relação ao MSP, sem alterar as predições de segmentação ou exigir treinamento adicional.

Resultados Experimentais

O framework foi avaliado em três conjuntos de dados: Cityscapes (domínio interno), BDD100K (domínio interno) e ACDC (transferência com fonte congelada para condições adversas).

• Cityscapes (val500): O Semantic Prism alcançou 72,07% de mIoU, um aumento de 11,39 pontos sobre a linha de base de interface direta (60,68%). Também reduziu o Erro de Calibração Esperado (ECE) de 5,69% para 0,41%. Na localização de erro de pixel, o C-IHD alcançou o maior AUPR (0,4812) comparado a outras linhas de base.
• BDD100K (val1000): Um modelo treinado separadamente alcançou 62,22% de mIoU, classificando-se em segundo lugar em precisão de segmentação, mas alcançando o menor ECE e escore de Brier entre os métodos comparados. O C-IHD melhorou o AUPR de 0,4395 (MSP) para 0,4481.
• ACDC (Transferência com Fonte Congelada): Sem adaptação de domínio alvo, o modelo treinado no Cityscapes alcançou 46,89% de mIou e o menor ECE (8,48%) entre as linhas de base generativas e discriminativas. O C-IHD melhorou significativamente o AUPR de 0,6580 para 0,7557.
• Estudos de Ablação: Ablações de capacidade correspondente confirmaram que o HGEA de múltiplos níveis supera o refinamento de nível único e refinadores planos. O HGEA corrigiu 48,68% dos erros da interface, enquanto deixou 93,48% das predições corretas da interface inalteradas.

Significância e Alegações

O artigo afirma que o Semantic Prism consegue unir a lacuna entre saídas de imagem generativa e a precisão discriminativa de grão fino. Ao definir uma interface probabilística observável, o método garante que a imagem semântica permaneça uma referência avaliável de forma independente. O módulo HGEA demonstra que a evidência hierárquica pode ser usada para corrigir aditivamente os logits, preservando o papel da interface enquanto refina a precisão espacial. Finalmente, o C-IHD fornece um mecanismo leve e fixo para classificação de erro que aproveita o desacordo entre a interface inicial e a hierarquia refinada, melhorando as métricas de confiabilidade sem sobrecarga computacional.

Os autores observam limitações, incluindo a dependência de um codebook de conjunto fechado, o custo computacional do gerador e a evidência limitada de domínio cruzado, mas concluem que a segmentação de imagem generativa de forma de imagem pode efetivamente preservar uma interface de probabilidade quantitativamente avaliável enquanto melhora a precisão espacial através de refinamento hierárquico.