dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3

1. O Problema

A Segmentação Semântica de Vocabulário Aberto (OVSS) visa atribuir rótulos de nível de pixel a imagens usando um conjunto aberto de categorias definidas por texto, permitindo a generalização para classes não vistas durante o treinamento. Embora os Modelos Visão-Linguagem (VLMs) modernos, como o CLIP, ofereçam reconhecimento robusto de vocabulário aberto, suas representações são aprendidas principalmente através de objetivos contrastivos globais. Isso resulta em características que subestimam a localidade e os detalhes espaciais, tornando-as subótimas para tarefas de previsão densa (pixel a pixel).

Métodos existentes frequentemente dependem de refinamentos post hoc (após a interação imagem-texto) ou de heurísticas para recuperar a estrutura espacial, o que limita a precisão e a robustez em cenas complexas e desordenadas. Além disso, mesmo modelos baseados em DINO (como o dinov3.txt), que possuem características visuais espaciais ricas, não são totalmente otimizados para a tarefa de segmentação OVSS quando usados apenas com ajuste fino (fine-tuning) padrão, perdendo detalhes finos e fidelidade de bordas.

2. Metodologia: dinov3.seg

O dinov3.seg é um framework dedicado construído sobre o backbone dinov3.txt (uma instância do DINOv3 alinhada com texto via LiT - Locked-image Text tuning). A arquitetura foi projetada para tornar as características densas e o alinhamento imagem-texto "conscientes de segmentação".

Os componentes principais são:

• Extração de Características e Backbones:

  • Utiliza o dinov3.txt para extrair características visuais densas (patches) e embeddings de texto.
  • Introduz um Codificador de Priors Semânticos (SPE), baseado no Segment Anything Model (SAM) ViT-L, para fornecer contexto semântico global e estrutural auxiliar.

• Alinhamento Textual Global e Local:

  • Diferente de abordagens anteriores que usam apenas embeddings locais, o dinov3.seg utiliza um ensemble de embeddings textuais:
    1. Embedding Global: Alinhado ao token [CLS] (captura semântica da imagem inteira).
    2. Embedding Local: Alinhado à média das características de patches (captura detalhes espaciais).
  • A correlação entre as características visuais refinadas e ambos os tipos de embeddings textuais é calculada para fortalecer a discriminação semântica mantendo a localidade.

• Esquema de Refinamento em Duas Etapas:

  1. Refinamento Precoce (Early Refinement): Ocorre antes da interação imagem-texto. Um módulo baseado em AnyUp (transformer) refina as características visuais densas brutas do VLM, removendo ruído e melhorando a discriminabilidade sem quebrar o alinhamento original com o texto.
  2. Refinamento Tardio (Late Refinement): Ocorre após a geração das características de correlação imagem-texto. Utiliza blocos de Refinamento Espacial (baseados em Swin Transformer e guiados pelo SPE) e Refinamento de Classe (para modelar dependências entre classes) para denoizar e regularizar os mapas de correlação, resultando em bordas mais nítidas e consistência de classe.

• Estratégia de Inferência Local-Global (LGA):

  • Para lidar com imagens de alta resolução, o modelo emprega uma estratégia de agregação por janela deslizante.
  • A imagem é dividida em sub-imagens sobrepostas para extração de detalhes locais, enquanto uma versão redimensionada da imagem inteira fornece contexto global.
  • As características locais e globais são fundidas (média simples) antes de passar pelos módulos de refinamento, preservando detalhes finos sem perder a coerência semântica global.

• Função de Perda:

  • Combinação ponderada de Focal Loss (para lidar com desequilíbrio de classes) e Dice Loss (para maximizar a IoU), superando a perda de entropia cruzada binária padrão.

3. Contribuições Principais

1. Extensão do dinov3.txt: Criação do primeiro framework OVSS dedicado treinado explicitamente sobre o dinov3.txt, superando o uso de zero-shot ou ajuste fino simples.
2. Integração de Representações Textuais: Uso sinérgico de embeddings globais e locais para melhorar o alinhamento multimodal e a precisão espacial.
3. Refinamento Dual-Etapa: Introdução de um esquema de refinamento precoce (nas características visuais) e tardio (nas correlações imagem-texto), abordando tanto a qualidade do recurso quanto a consistência da segmentação.
4. Inferência de Alta Resolução: Uma estratégia de agregação local-global que permite processar imagens grandes mantendo detalhes finos.
5. Desempenho State-of-the-Art (SOTA): Resultados superiores em cinco benchmarks amplamente adotados.

4. Resultados Experimentais

O modelo foi avaliado em cinco benchmarks: ADE20K (150 e 847 classes), Pascal Context (59 e 459 classes) e Pascal VOC (20 classes).

• Desempenho Geral: O dinov3.seg alcançou a melhor mIoU média (50.44) entre todos os métodos comparados, superando modelos como CAT-Seg, H-CLIP, HyperCLIP e ESCNet.
• Generalização: O modelo demonstrou ganhos significativos, especialmente em conjuntos de classes não vistas (unseen). Por exemplo, no A-847, melhorou a mIoU de classes não vistas em +4.19 pontos em relação ao CAT-Seg.
• Qualidade Visual: As visualizações mostram bordas mais nítidas e melhor captura de detalhes finos em comparação com métodos baseados em CLIP ou versões fine-tuned do dinov3.txt sem a arquitetura proposta.
• Ablação: Estudos de ablação confirmaram que cada componente (ensemble de texto, refinamento precoce, refinamento tardio e estratégia LGA) contribui positivamente para o desempenho final.

5. Significância

O trabalho dinov3.seg é significativo porque demonstra que a simples adaptação de VLMs globais para tarefas densas não é suficiente. Ao projetar uma arquitetura específica que explora a coerência espacial inerente aos modelos DINO (via DINOv3) e a complementa com refinamentos estruturados e alinhamento textual híbrido, o método supera as limitações de precisão espacial dos VLMs tradicionais.

Isso estabelece um novo padrão para a compreensão densa de vocabulário aberto, provando que a otimização específica para segmentação é crucial para aplicações do mundo real (como robótica e veículos autônomos) onde a precisão de borda e a generalização para classes raras são fundamentais. Além disso, o trabalho oferece um caminho viável para escalar a segmentação semântica para vocabulários massivos sem sacrificar a qualidade da segmentação.