SAMannot: A Memory-Efficient, Local, Open-source Framework for Interactive Video Instance Segmentation based on SAM2

Título: SAMannot: Um Framework Local, Open-Source e Eficiente em Memória para Segmentação de Instâncias Interativa em Vídeo Baseada no SAM2

1. O Problema

O crescimento exponencial de dados de vídeo de alta resolução em setores como vigilância, análise comportamental (animal/humana), saúde e agricultura superou a capacidade de análise manual. A principal barreira para a criação de conjuntos de dados de alta fidelidade para Video Instance Segmentation (VIS) reside em três fatores:

• Custo e Esforço: A anotação manual é intensiva em mão de obra e monótona.
• Privacidade e Segurança: Muitas soluções comerciais (como Roboflow, Encord) exigem o envio de dados para a nuvem, o que é inviável ou ilegal em cenários sensíveis (ex: dados médicos ou de pesquisa biológica proprietária).
• Limitações de Ferramentas Locais: Ferramentas open-source existentes (como CVAT na versão gratuita ou VGG) muitas vezes carecem de integração com modelos fundamentais modernos (Foundation Models) ou são lentas, exigindo anotação quadro a quadro sem propagação temporal eficiente.
• Recursos Computacionais: Modelos como o Segment Anything Model 2 (SAM2) possuem requisitos de memória (VRAM) elevados para inferência em sequências longas, tornando-os difíceis de executar em hardware comercial padrão.

2. Metodologia e Arquitetura

O SAMannot é um framework de código aberto que integra o SAM2 em um fluxo de trabalho "humano-no-loop" (human-in-the-loop), otimizado para execução local.

• Arquitetura do Sistema:

  • Frontend: Desenvolvido em Python com Tkinter, oferece uma interface gráfica (GUI) responsiva dividida em painel de controle, canvas e barra de deslizamento.
  • Backend: Gerencia a lógica de anotação, comunicação com o SAM2 e gerenciamento de memória.
  • Gerenciamento de Memória: Para contornar a alta demanda de VRAM, o vídeo é dividido em blocos (janelas deslizantes). O sistema descarta dados latentes de quadros antigos (mais de 16 quadros atrás do ponto de inferência atual) e reinicializa o estado de inferência do SAM2 para cada ciclo de propagação dentro de um bloco, minimizando a fragmentação de memória.

• Funcionalidades Principais:

  • Fluxo "Lock-and-Refine" (Travar e Refinar): Utiliza "quadros de barreira" (checkpoints) que atuam como barreiras imutáveis. A propagação de máscaras não pode atravessar esses pontos, permitindo que os usuários validem segmentos e refinem outros sem corromper a anotação anterior.
  • Auto-Prompting (Auto-Comando): Para facilitar a transição entre blocos de vídeo, o sistema gera automaticamente prompts de pontos baseados na esqueletização topológica das máscaras do bloco anterior. Isso garante que a propagação no novo bloco comece com prompts precisos na posição correta da instância.
  • Gestão de Identidade Persistente: Implementa uma camada de gerenciamento que mapeia os "slots" de objetos internos do SAM2 para uma estrutura de dados persistente, associando IDs de instância imutáveis e rótulos semânticos definidos pelo usuário a cada máscara rastreada.
  • Propagação Temporal: Suporta propagação unidirecional (frente/trás), bidirecional e geração de quadro único, utilizando o princípio da "mudança mais recente" para selecionar os prompts ativos.

3. Contribuições Chave

1. Otimização para Hardware Comum: Modificações no pipeline de dependência do SAM2 permitem a processamento de centenas de quadros em GPUs de médio porte (ex: 24GB VRAM) mantendo baixa latência, algo que a implementação original do SAM2 não suporta facilmente para vídeos longos.
2. Framework Local e Privado: Oferece uma alternativa totalmente local e gratuita a plataformas comerciais pagas, garantindo que os dados de pesquisa nunca saiam do hardware do usuário.
3. Gerenciamento de Metadados Persistentes: Resolve a falta de gerenciamento de metadados no SAM2 nativo, permitindo a exportação de dados estruturados (logs de interação, características de instâncias) além das máscaras binárias.
4. Integração de Fluxo de Trabalho Híbrido: Combina a precisão da anotação manual com a eficiência da propagação automática assistida por IA, reduzindo drasticamente o tempo de anotação.

4. Resultados e Avaliação

O sistema foi validado em ambientes Linux (Ubuntu 22.04) e Windows 11, utilizando um hardware de referência (AMD Ryzen Threadripper, NVIDIA RTX 4090).

• Precisão de Segmentação:

  • Avaliado nos conjuntos de dados DAVIS 2017 (subconjunto TrainVal) e LVOS.
  • No DAVIS, alcançou uma IoU média (Intersection over Union) de 0,9185 e um Dice médio de 0,9512.
  • No LVOS (desafiador, com oclusões e desfoque), obteve uma IoU média de 0,8645 e Dice de 0,9044.
  • As discrepâncias em casos de borda foram frequentemente atribuídas a inconsistências nas anotações de ground truth dos conjuntos de dados públicos (ex: fusão de instâncias distintas ou exclusão de partes anatômicas), e não a falhas do modelo.

• Eficiência de Memória:

  • O uso de blocos e descarte de latência antiga manteve o uso de VRAM estável (entre ~1.5 GB e ~2.9 GB em testes), evitando o estouro de memória comum em inferências de sequência longa.
  • O sistema demonstrou capacidade de lidar com vídeos longos (até 19 minutos nos testes) sem degradação de desempenho.

• Usabilidade:

  • Testes com pesquisadores do Instituto Max Planck de Inteligência Biológica confirmaram que o fluxo de trabalho atende às necessidades de pesquisa biológica real, facilitando o rastreamento de indivíduos em grupos (ex: bandos de pássaros) sob condições não controladas.

5. Significado e Impacto

O SAMannot preenche uma lacuna crítica na comunidade de visão computacional e ciência de dados:

• Democratização do Acesso: Permite que grupos de pesquisa sem orçamentos para plataformas comerciais ou sem acesso a supercomputadores realizem anotações de vídeo de alta qualidade.
• Privacidade de Dados: É a solução ideal para domínios onde a confidencialidade é paramount (medicina, defesa, pesquisa industrial).
• Escalabilidade: A arquitetura modular permite a futura integração de novos modelos fundamentais (ex: SAM3) e a adaptação para domínios específicos (biomedicina, robótica) através de scripts de pós-processamento personalizados.
• Reprodutibilidade: Ao fornecer logs de interação e estruturas de dados padronizadas (YOLO, PNG, CSV), facilita a criação de conjuntos de dados de referência reprodutíveis e a reutilização de anotações.

Em suma, o SAMannot transforma o SAM2 de um modelo de pesquisa pesado em uma ferramenta prática, robusta e acessível para anotação de vídeo interativa em cenários do mundo real.