PANC: Prior-Aware Normalized Cut via Anchor-Augmented Token Graphs

Resumo Técnico: PANC (Prior-Aware Normalized Cut)

1. O Problema

A segmentação de imagens não supervisionada, baseada em tokens de Vision Transformers (ViT) auto-supervisionados (como DINO), tem mostrado resultados promissores, mas enfrenta limitações críticas de robustez:

• Cenários Multi-objeto: Em imagens com múltiplos objetos, as pistas de saliência (saliency cues) podem confundir o algoritmo, levando a máscaras erráticas ou à seleção do objeto errado.
• Baixa Semântica: Em imagens homogêneas ou com pouca variação de textura (ex.: rachaduras em estradas, lesões de pele), a relevância entre patches é fraca, resultando em grafos de afinidade pouco informativos e segmentações instáveis.
• Falta de Controle: Métodos existentes (como TokenCut) são "agnósticos à classe". Sem rótulos explícitos, o usuário não pode direcionar o algoritmo para segmentar um objeto específico em cenas ambíguas.

2. Metodologia: PANC

O PANC propõe uma abordagem de segmentação espectral fraca supervisionada (weakly supervised) que é livre de treinamento (training-free). O método estende o algoritmo clássico Normalized Cut (NCut) através da injeção de um pequeno conjunto de priors (informações prévias) no grafo de afinidade.

Principais Componentes:

• Base de Features: Utiliza embeddings de tokens de ViTs auto-supervisionados congelados (ex.: DINOv3), que fornecem representações densas e geometricamente consistentes.
• Grafo de Tokens Aumentado (Anchor-Augmented):
  • O grafo original é construído com os tokens da imagem de entrada.
  • Adicionam-se priors (rótulos esparsos fornecidos pelo usuário ou recuperados automaticamente) como nós de ancoragem.
  • Introduzem-se dois nós virtuais: um âncora de primeiro plano ($u^+$) e um de fundo ($u^-$).
  • Os priors rotulados são conectados às suas respectivas âncoras com uma força de acoplamento adaptativa ($\alpha_i$).
• Problema de Autovalores Generalizado:
  • O método resolve um problema de autovalores generalizado no grafo aumentado: $(\tilde{D} - \tilde{W})\tilde{y} = \lambda \tilde{D}\tilde{y}$.
  • A injeção de âncoras altera o espectro do grafo, forçando o vetor de Fiedler (o segundo menor autovalor) a se alinhar com as restrições dos priors, enquanto preserva a estrutura espectral global.
  • Isso "alarga" o eigengap (diferença entre autovalores), estabilizando a partição mesmo em grafos fracamente informativos.
• Estabilização de Sinal e Limiarização:
  • A orientação do vetor de Fiedler é determinada deterministicamente com base nos priors (se a média dos priors positivos for menor que a dos negativos, o sinal é invertido).
  • O limiar de binarização é calculado dinamicamente usando apenas os nós de prior (ex.: método ROC, ponto médio da mediana, GMM ou Platt scaling).

3. Contribuições Principais

1. Framework PANC: Um método de segmentação espectral que permite controle do usuário (seleção de alvo) com apenas um pequeno número de anotações esparsas, sem necessidade de treinar redes neurais específicas para o dataset.
2. Implementação Acelerada por GPU: Uma pipeline otimizada que realiza a construção do grafo, a injeção de âncoras e a resolução de autovalores iterativos diretamente na VRAM, permitindo processamento de imagens de alta resolução com trade-offs previsíveis de memória e tempo.
3. Análise Espectral e Diagnóstico: Demonstração teórica e empírica de que os priors atuam de duas formas:
   • Em datasets heterogêneos: Atuam como mecanismo de seleção, direcionando o corte para o objeto desejado entre partições plausíveis.
   • Em datasets homogêneos: Atuam como injeção de estrutura, quebrando a degeneração espectral e criando uma partição estável onde métodos não supervisionados falham.

4. Resultados Experimentais

O PANC foi avaliado em três cenários principais, superando ou igualando o estado da arte (SOTA) em métricas de mIoU (Mean Intersection over Union):

• Detecção de Saliência (Diverso):
  • Em benchmarks como DUTS-TE, DUT-OMRON e ECSSD, o PANC superou métodos não supervisionados e fraca supervisionados.
  • Ganho de +2.3% no DUTS-TE e +2.8% no DUT-OMRON em comparação com o forte baseline WSCUOD (ambos usando DINOv3).
• Domínios Homogêneos e Desafiadores:
  • Em CrackForest (rachaduras em estradas, baixo contraste), o PANC alcançou 91.0% mIoU, uma melhoria absoluta de +8.7% sobre os baselines.
  • Em HAM10000 (lesões de pele), alcançou 78.8% mIoU.
  • Em CUB-200-2011 (aves), alcançou 78.0% mIoU.
• Controle Semântico:
  • Demonstração em cenas multi-objeto (COCO) onde o algoritmo pode ser direcionado explicitamente para segmentar apenas "cachorros" ou apenas "pessoas" alterando o banco de priors, algo impossível para métodos puramente não supervisionados.

5. Significado e Impacto

O trabalho do PANC é significativo porque:

• Ponte entre Não Supervisionado e Supervisionado: Oferece uma via eficiente para obter segmentações densas e precisas com um custo de anotação mínimo (apenas alguns pontos ou priors recuperados), evitando o custo de anotação pixel-a-pixel.
• Robustez em Cenários Difíceis: Resolve o problema fundamental de métodos baseados em ViT em imagens de baixa semântica, onde a afinidade natural entre patches é fraca, usando priors para "puxar" a partição espectral.
• Eficiência Computacional: Ao ser livre de treinamento e usar encoders congelados, o método é altamente escalável e reprodutível, eliminando a necessidade de ajuste de hiperparâmetros específico para cada dataset.
• Aplicabilidade Prática: A capacidade de controlar a segmentação via priors torna a ferramenta útil para fluxos de trabalho de anotação assistida por computador, onde um usuário pode guiar o algoritmo para refinar máscaras rapidamente.

Em suma, o PANC demonstra que a combinação de embeddings robustos de ViT com a teoria de corte normalizado e injeção de restrições esparsas resulta em um método de segmentação superior, estável e controlável.