Resumo Técnico: Segmentação Fracamente Supervisionada como Regularização Baseada em Semântica

Declaração do Problema

A segmentação semântica requer anotações densas em nível de pixel, que são caras e demoradas de produzir, criando um gargalo para a implantação de modelos em novos domínios. A Segmentação Semântica Fracamente Supervisionada (WSSS) tenta mitigar isso treinando com pistas indiretas mais baratas, como tags em nível de imagem, caixas delimitadoras ou rabiscos. No entanto, esses rótulos fracos frequentemente introduzem ambiguidade em relação aos limites e formas dos objetos, dificultando que os modelos produzam segmentações coerentes sem orientação estrutural.

Embora modelos de base como o Segment Anything Model (SAM) tenham reconfigurado a WSSS ao gerar pseudo-rótulos de alta qualidade a partir de prompts simples, eles enfrentam limitações significativas. O SAM padrão depende de pesos fixos pré-treinados que lutam contra deslocamentos de domínio (por exemplo, imagens médicas) e carece de um mecanismo principiado para incorporar conhecimento específico do domínio ou rótulos fracos heterogêneos. As abordagens atuais frequentemente dependem de designs de prompts heurísticos em vez de um mecanismo geral de raciocínio para estrutura espacial e semântica.

Metodologia

Os autores propõem uma estrutura neurosimbólica que integra lógica fuzzy diferenciável com modelos de segmentação profunda para abordar essas lacunas. O método opera em um pipeline de duas etapas:

1. Ajuste Fino Guiado por Lógica de Modelos de Base

Na primeira etapa, o Segment Anything Model (SAM) é ajustado fino para satisfazer um conjunto de restrições de lógica fuzzy diferenciável derivadas de anotações fracas e priores estruturais.

• Formulação Neurosimbólica: Anotações fracas (caixas delimitadoras, rabiscos) e priores de domínio (suavidade, limites de superpixels, formas geométricas) são unificados como restrições lógicas contínuas.
• Lógica Diferenciável: Em vez de tratar fórmulas lógicas como afirmações estritas Verdadeiro/Falso, o método usa semântica de t-norma produto para relaxá-las em funções contínuas. Isso permite que a probabilidade de satisfação lógica seja otimizada de ponta a ponta usando otimizadores padrão baseados em gradiente.
• Tipos de Restrições:
  • Supervisão Fraca: Rabiscos (consistência em nível de pixel), Caixas Delimitadoras (restrições de ajuste garantindo que cada linha/coluna contenha a classe alvo) e exclusão de fundo.
  • Priores Estruturais Não Supervisionados: Suavidade (consistência entre vizinhos, preenchimento de região), limites de superpixels (penalizando mudanças de rótulo dentro de superpixels) e priores geométricos específicos de domínio (por exemplo, "restrições de canto" para estruturas médicas circulares como discos ópticos).
• Treinamento: Apenas o decodificador de máscara do SAM é ajustado fino, enquanto o codificador de imagem permanece congelado. O modelo minimiza a perda semântica (log-verossimilhança negativa da fórmula sendo satisfeita) para gerar pseudo-máscaras refinadas e estruturalmente consistentes.

2. Treinamento Supervisionado por Pseudo-Rótulos

Na segunda etapa, os pseudo-rótulos refinados gerados pelo SAM guiado por lógica são tratados como verdade absoluta. Uma rede de segmentação padrão, sem prompts (por exemplo, DeepLabV2 ou Mask2Former), é treinada do zero nesses pseudo-rótulos usando perda de entropia cruzada convencional. Isso produz um modelo final capaz de implantação sem prompts humanos.

Principais Contribuições

1. Formulação Neurosimbólica: O artigo introduz uma formulação de WSSS usando lógica fuzzy diferenciável, unificando sinais de supervisão heterogêneos (caixas, rabiscos) e priores estruturais em um único objetivo de otimização.
2. Esquema de Treinamento Geral: Um método para ajustar finamente modelos de base (SAM) para integrar múltiplos tipos de anotação fraca e priores conjuntamente, indo além da engenharia de prompts heurística.
3. Validação Empírica: Demonstração de que o aprendizado guiado por raciocínio produz pseudo-rótulos de maior qualidade e alcança precisão de segmentação estado da arte (SOTA), frequentemente superando bases supervisionadas densamente.

Resultados Experimentais

O framework foi avaliado no Pascal VOC 2012 (imagens naturais) e REFUGE2 (imagens de fundo de retina para segmentação de disco/copo óptico).

• Pascal VOC 2012:

  • Qualidade do Pseudo-Rótulo: O ajuste fino guiado por lógica alcançou 94,5% de mIoU nos pseudo-rótulos, superando significativamente as bases baseadas em prompts (por exemplo, 91,5% para SAM com prompt de caixa).
  • Segmentação Final: O modelo Mask2Former da segunda etapa alcançou 89,1% de mIoU no conjunto de teste, superando a base Mask2Former totalmente supervisionada (86,1%) e todos os outros métodos de WSSS.
  • Ablação: A remoção de restrições de rabisco ou de borda causou as quedas de desempenho mais significativas, destacando seu papel crítico.

• REFUGE2 (Imagens Médicas):

  • Adaptabilidade: O MedSAM zero-shot performou mal (47,7% de Dice médio). O ajuste fino guiado por lógica usando apenas rótulos fracos (caixas e pontos) melhorou o desempenho para 87,5% de Dice médio, aproximando-se estreitamente do limite superior do MedSAM totalmente supervisionado (88,7%).
  • Desempenho Final: A rede da segunda etapa treinada nesses pseudo-rótulos alcançou 87,1% de Dice médio, superando o ResUNet totalmente supervisionado (86,5%) e mostrando vantagens distintas na segmentação de estruturas menores (copos ópticos).

Significado e Alegações

O artigo alega que integrar lógica fuzzy diferenciável com modelos de base preenche a lacuna entre a flexibilidade das redes profundas e a interpretabilidade do raciocínio simbólico. Ao fundamentar restrições lógicas em pistas fracas, o modelo aprende não apenas a ajustar anotações, mas também a satisfazer priores espaciais e relacionais de alto nível.

Os autores afirmam que essa abordagem:

• Produz pseudo-rótulos de maior qualidade do que os gerados por modelos de base zero-shot ou pipelines padrão de supervisão fraca.
• Permite que modelos de base se adaptem a domínios fora da distribuição (como imagens médicas) usando apenas supervisão fraca, eliminando a necessidade de verdade absoluta perfeita em nível de pixel durante a fase de adaptação.
• Alcança desempenho SOTA em benchmarks padrão, frequentemente superando o desempenho de modelos treinados com supervisão densa.

O artigo reconhece limitações, observando que o melhor desempenho do framework depende de restrições lógicas específicas de domínio, que podem exigir conhecimento especializado. Sugere que trabalhos futuros poderiam explorar o uso de Modelos de Linguagem Grandes (LLMs) para gerar essas restrições automaticamente ou estender a abordagem para sinais de supervisão ainda mais fracos, como tags em nível de imagem.