SSeg: Active Sparse Point-Label Augmentation for Semantic Segmentation

1. O Problema

A segmentação semântica é fundamental para a análise automatizada em áreas como ecologia (ex: monitoramento de recifes de coral e imagens aéreas). No entanto, o treinamento de modelos de ponta exige anotações densas em nível de pixel, o que é extremamente custoso, demorado e requer especialistas.

• Desafio Atual: Muitos conjuntos de dados ecológicos (como os do projeto CoralNet) possuem apenas anotações esparsas (pontos aleatórios ou em grade), insuficientes para treinar modelos diretamente.
• Limitações das Soluções Existentes:
  • Métodos baseados em superpixels (ex: PLAS) tendem a perder detalhes finos e bordas de objetos.
  • Modelos de fundação visual (ex: SAM2, DINOv2) podem sofrer com cobertura incompleta e incoerência espacial.
  • Estratégias de seleção de pontos existentes geralmente usam amostragem uniforme (aleatória ou em grade), ignorando o conteúdo da imagem, o que pode levar a pontos em regiões ambíguas ou falha na detecção de objetos pequenos.

2. Metodologia (SSeg)

O SSeg é um framework inovador que transforma um pequeno número de anotações de pontos esparsos em máscaras de segmentação densas de alta qualidade. Ele opera em duas etapas principais:

A. Seleção Ativa de Pontos (Active Point Sampling)

Em vez de pedir ao especialista que marque pontos aleatoriamente, o SSeg utiliza uma estratégia de amostragem ativa para guiar o anotador, maximizando o valor informativo de cada ponto. A estratégia divide o orçamento de pontos ($n$) em duas partes:

1. Pontos Orientados por Objetos (50%): Utiliza uma função de aquisição baseada no SAM2 para identificar máscaras de objetos candidatos. Os pontos são selecionados próximos aos centroides desses objetos (evitando bordas) e distantes de pontos já rotulados para garantir cobertura espacial.
   • Fórmula de Pontuação: Combina proximidade ao centroide do objeto e distância aos pontos já selecionados.
2. Pontos de Fundo (50%): Pontos são selecionados aleatoriamente em áreas não cobertas por nenhuma máscara do SAM2. Isso é crucial para ensinar o modelo sobre regiões de baixo contraste e fundo, onde modelos focados em objetos costumam falhar.

B. Aumento de Rótulos Híbrido (Hybrid Label Augmentation)

Uma vez obtidos os pontos, o sistema propaga os rótulos para a imagem inteira usando uma abordagem híbrida:

1. Expansão via SAM2: Cada ponto é expandido em uma máscara binária usando o SAM2, garantindo bordas precisas.
2. Resolução de Conflitos: Quando máscaras se sobrepõem, o sistema atribui o rótulo com base na proximidade do ponto de origem (seeds), ponderando a distância para evitar incoerências.
3. Preenchimento via PLAS (Superpixels): As regiões que o SAM2 não cobriu (pixels não rotulados) são preenchidas usando o método PLAS (baseado em superpixels), garantindo cobertura total da imagem.
4. Resultado Final: A fusão das máscaras de alta precisão do SAM2 com a cobertura completa do PLAS.

3. Principais Contribuições

1. Estratégia de Amostragem Ativa Dinâmica: Um método que seleciona automaticamente os pontos mais informativos (centros de objetos e regiões de fundo), eliminando a necessidade de "inicialização baseada em oráculo" (usar ground truth para guiar a seleção inicial) exigida por métodos concorrentes como o D+NN.
2. Pipeline Híbrido de Propagação: Combina a precisão de bordas dos modelos de fundação (SAM2) com a robustez de cobertura dos superpixels, superando as limitações de cada abordagem isolada.
3. Ferramenta Interativa: Desenvolvimento de uma ferramenta prática para pesquisadores de ecologia, permitindo gerar máscaras densas de alta qualidade a partir de poucos cliques.
4. Validação para Treinamento: Demonstração de que as máscaras geradas pelo SSeg são suficientes para treinar modelos de segmentação downstream com desempenho próximo ao supervisionado totalmente.

4. Resultados Experimentais

Os experimentos foram realizados em dois conjuntos de dados diversos: UCSD Mosaics (submarino, recifes de coral) e SkyScapes (aéreo).

• Comparação com State-of-the-Art (SOTA):
  • O SSeg superou consistentemente os métodos PLAS e D+NN.
  • No dataset UCSD Mosaics, com 300 pontos, o SSeg alcançou 86.04% de mIoU mascarado, superando o D+NN (82.69%) e o CoralSCOP.
  • O SSeg demonstrou ganhos de +3% a +8% em mIoU em comparação com as melhores abordagens existentes.
• Eficiência de Anotação:
  • Com apenas 25 pontos (uma redução de 4 ordens de magnitude em relação aos pixels totais), o SSeg recuperou 90% do desempenho de um modelo treinado com anotação densa completa (61.66% vs 68.51% mIoU).
• Análise de Componentes:
  • A combinação de SAM2 + PLAS foi superior ao uso exclusivo de SAM2.
  • A estratégia de resolução de sobreposição proposta pelo SSeg aumentou o mIoU em mais de 7% em comparação com heurísticas simples (como "primeiro a chegar").
  • A amostragem ativa (DynamicPoints) superou amostragem aleatória e em grade, especialmente em cenários aéreos complexos.

5. Significado e Impacto

O trabalho do SSeg representa um avanço significativo para a ecologia marinha e monitoramento ambiental.

• Redução de Custo: Permite que especialistas gerem dados de treinamento densos com um esforço de anotação mínimo (apenas alguns cliques por imagem).
• Acessibilidade: Facilita o uso de modelos de visão computacional avançados em domínios onde dados rotulados são escassos.
• Escalabilidade: Oferece um fluxo de trabalho escalável para processar grandes volumes de dados de expedições subaquáticas e aéreas, permitindo a análise de habitat e biodiversidade em larga escala com precisão anteriormente inatingível sem anotação densa manual.

Em resumo, o SSeg resolve o gargalo da anotação de dados em ambientes não estruturados, unindo a inteligência de modelos de fundação com estratégias de amostragem ativa para criar um ciclo de anotação eficiente e de alta qualidade.