Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?

Resumo Técnico: Redução de Custos de Anotação em Segmentação Semântica de Vídeo

1. O Problema

A segmentação semântica de vídeo (VSS) exige modelos de redes neurais profundas treinados com grandes volumes de dados anotados em nível de pixel (anotações finas). No entanto, a criação manual dessas anotações é extremamente cara e demorada.

• Custo: A anotação fina pode levar cerca de 90 minutos por imagem, enquanto anotações "grossas" (coarse) levam apenas 7 minutos.
• Disponibilidade de Dados: Conjuntos de dados existentes (como Cityscapes e IDD) contêm milhares de quadros não anotados e uma quantidade significativa de anotações grosseiras que não cobrem limites precisos de objetos.
• Desafio: A maioria dos modelos atuais ignora esses quadros não anotados e anotações grosseiras, utilizando apenas os quadros finamente anotados para treinamento, o que limita a eficiência de dados.

2. Metodologia

Os autores propõem o uso de Modelos Fundamentais de Visão (Foundation Models), especificamente o Segment Anything Model (SAM) e seu sucessor para vídeo, o SAM 2, para automatizar a geração de pseudo-rótulos e refinar anotações existentes. O objetivo não é necessariamente melhorar o desempenho absoluto, mas reduzir a quantidade de dados manualmente anotados necessários para atingir um desempenho comparável.

A abordagem divide-se em duas estratégias principais:

A. Geração de Pseudo-rótulos para Quadros Não Anotados (usando SAM 2)

• Mecanismo: Utiliza-se a anotação manual do quadro 20 de um clipe de vídeo (que possui 30 quadros) como máscara inicial.
• Rastreamento Bidirecional: O SAM 2 é executado para rastrear e gerar máscaras para quadros futuros (até o 30) e, em seguida, inverte-se a ordem para rastrear quadros passados (até o 10).
• Seleção de Diversidade: Os experimentos mostraram que usar todos os quadros gerados sequencialmente degrada o desempenho devido à baixa diversidade. A estratégia vencedora foi selecionar quadros distantes temporalmente do quadro anotado (ex: quadros 10 e 30) para garantir diversidade nos dados de treinamento.

B. Refinamento de Anotações Grosseiras (usando SAM)

• Mecanismo: Para anotações grosseiras existentes, o SAM é utilizado para refinar as máscaras de classes específicas (objetos instanciáveis como carros, pessoas, semáforos, etc.).
• Processo: Pontos aleatórios são escolhidos dentro da máscara grosseira e o SAM gera uma nova máscara refinada baseada nesses pontos, iterando o processo para melhorar a precisão dos limites.
• Limitação: Classes sem fronteiras bem definidas ou não baseadas em instâncias (como céu, vegetação, estrada) não foram refinadas, pois o SAM não melhora significativamente essas categorias.

3. Contribuições Principais

1. Importância da Diversidade vs. Quantidade: Demonstraram que a diversidade dos quadros no conjunto de treinamento é mais crítica para o desempenho do que a simples quantidade de quadros anotados. Quadros sequenciais gerados automaticamente tendem a ser muito similares, enquanto quadros esparsos (ex: início e fim do clipe) oferecem melhor generalização.
2. Aplicabilidade de Auto-anotação: Validaram que o uso de SAM e SAM 2 é eficaz tanto para gerar rótulos para quadros totalmente não anotados quanto para refinar anotações grosseiras.
3. Redução de Custo com Desempenho Preservado: Provaram que é possível reduzir a necessidade de anotação manual em um terço (33%) mantendo um desempenho (mIoU) muito próximo ao obtido com 100% de anotação manual.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados Cityscapes e IDD, utilizando arquiteturas de segmentação de vídeo como TMANet e TDNet.

• Redução de Anotação (Cityscapes/TMANet):
  • Cenário N1 (Base): 100% de anotação manual = 75.65 mIoU.
  • Cenário B3 (Proposta): 33% de anotação manual + 67% de pseudo-rótulos gerados pelo SAM 2 (quadros 10 e 30) = 74.48 mIoU.
  • Conclusão: Uma redução de 67% no esforço de anotação resultou em uma queda de apenas ~1.2 pontos no mIoU.
• Anotações Grosseiras Refinadas:
  • O uso de anotações grosseiras refinadas pelo SAM superou o uso de anotações grosseiras brutas em todos os cenários de mistura (ex: 50% grosseiro + 50% fino).
  • No entanto, a melhor estratégia global identificada foi focar na geração de pseudo-rótulos para quadros não anotados em vez de tentar refinar anotações grosseiras, devido à complexidade e ruído residual.
• Falhas Identificadas:
  • Tentar usar todos os 20 quadros gerados sequencialmente (sem diversidade) resultou em desempenho inferior.
  • Refinar classes não instanciáveis (ex: céu) não trouxe benefícios.
  • Iterações de "dogfooding" (treinar um modelo com dados gerados por outro e re-treinar) não superaram o treinamento não iterativo simples.

5. Significância e Conclusão

O trabalho estabelece que a dependência de anotações manuais densas para segmentação de vídeo pode ser drasticamente reduzida através da inteligência artificial generativa e de modelos fundamentais.

• Impacto Prático: Permite que pesquisadores e empresas criem conjuntos de dados de treinamento robustos com custos significativamente menores, aproveitando a abundância de vídeos brutos e anotações grosseiras.
• Recomendação para Praticantes: A melhor abordagem é ignorar as anotações grosseiras e focar na geração de pseudo-rótulos para quadros não anotados, selecionando quadros com alta diversidade temporal, o que permite reduzir o esforço de anotação manual em um terço sem sacrificar a qualidade do modelo.
• Futuro: Sugere-se a exploração de outras métricas de diversidade além do fluxo óptico e a investigação de outros modelos fundamentais para geração de pseudo-rótulos.

Em suma, o artigo demonstra que a combinação de modelos fundamentais de visão (SAM/SAM 2) com uma seleção inteligente de dados (diversidade) é uma solução viável e eficiente para o gargalo de custo de anotação em visão computacional de vídeo.