Resumo Técnico: SegFS – Segmentação de Instâncias de Vídeo de Vocabulário Aberto em Tempo Real com Processamento de Via Dupla

1. Declaração do Problema

A Segmentação de Instâncias de Vídeo de Vocabulário Aberto (OV-VIS) visa identificar, rastrear e segmentar instâncias de objetos através de quadros de vídeo com base em comandos de texto arbitrários. Embora modelos recentes centrados em objetos (ex: GLEE, MOBIUS) tenham alcançado alta precisidade, eles sofrem de um overhead computacional severo, particularmente nos componentes de melhorador de características (feature enhancer) e decodificador de objetos (object decoder). Esses componentes dominam os custos de inferência, tornando a implantação em tempo real e em dispositivos móveis (ex: smartphones) inviável. As tentativas existentes de otimizar esses modelos para dispositivos móveis ainda falham em atender aos requisitos de alta taxa de quadros (ex: 30 FPS) sem uma degradação significativa da precisão. O desafio central é desacoplar a compreensão semântica multimodal computacionalmente cara da predição de máscara densa, quadro a quadro, necessária para a propagação temporal.

2. Metodologia: O Framework SegFS

Os autores propõem o SegFS, um framework de via dupla "Rápido e Lento" projetado para amortizar os custos computacionais ao separar o processamento em duas vias distintas que operam em diferentes frequências temporais.

A Arquitetura de Via Dupla

• A Via Lenta (Keyframes): Opera apenas em keyframes amostrados esparsamente (ex: a cada $T$ quadros). Utiliza um modelo padrão e pesado de OV-VIS centrado em objetos (como MOBIUS, GLEE ou TROY-VIS) para realizar a fusão multimodal completa e a decodificação de objetos. Esta via extrai embeddings de objetos (representações de instância) de alta qualidade e alinhados ao texto.
• A Via Rápida (Inter-frames): Opera em cada quadro intermediário entre os keyframes. Ela ignora completamente o melhorador de características e o decodificador de objetos caros. Em vez disso, baseia-se em um Agregador de Características Rápido (Fast Feature Aggregator) leve, que condiciona os mapas de características do backbone visual utilizando os embeddings de objetos propagados pela via lenta.

Mecanismos Principais

1. Projeção para o Espaço de Características Rápidas: Os embeddings de objetos decodificados pela via lenta são projetados no espaço de características do backbone. Uma rede feed-forward (FFN) seleciona os top-$K$ embeddings com base na similaridade de texto e anexa um token de fundo aprendível.
2. Módulo de Guia de Objeto: No mapa de características do backbone de menor resolução ($P_5$), os embeddings de objetos selecionados são injetados espacialmente. Isso é realizado via:
   • Injeção de Objeto: Computação da similaridade de cosseno entre células espaciais de $P_5$ e tokens de objeto para criar um mapa de características consciente do objeto.
   • Fusão com Portão (Gated Fusion): Um mecanismo de portão combina a semântica de objeto injetada com as características originais do backbone, preservando pistas visuais precisas enquanto incorpora a semântica da instância.
3. Upsampling Progressivo: O mapa $P_5$ enriquecido é progressivamente upsampled e fundido com características do backbone de maior resolução ($P_4, P_3, P_2$) usando blocos de Convolução Separável por Profundidade (DSConvGN) leves.
4. Predição de Máscara: O mapa de características de alta resolução final é convoluído com os embeddings de objeto (atuando como kernels) para gerar logits de máscara.
5. Associação Temporal: O framework emprega o paradigma padrão de "rastreamento por correspondência" (MinVIS), associando queries de objetos entre quadros via similaridade de cosseno de seus embeddings, evitando a estimativa explícita de fluxo óptico.

Estratégia de Treinamento

O SegFS é treinado em conjuntos de dados de segmentação de instância baseados em imagens (COCO, LVIS, RefCOCO, etc.) e tratado como conjuntos de dados de vídeo ao ignorar a continuidade temporal durante o treinamento.

• Correspondência Híbrida: Durante o treinamento, a rede lenta processa a imagem para gerar logits de categoria e caixas delimitadoras precisos. Estes são usados para estabelecer a correspondência bipartida ideal (algoritmo de Hungarian) com o ground truth.
• Supervisão: A rede rápida é supervisionada usando as predições de máscara derivadas desta correspondência, utilizando perdas de Máscara e DICE. Isso permite que a rede rápida aprenda a reproduzir a qualidade de segmentação da rede lenta sem executar os componentes pesados da mesma.

3. Principais Contribuições

• Extensão do Paradigma de Via Dupla: Os autores estendem a abordagem baseada em keyframes para OV-VIS, demonstrando que as características do backbone contêm inerentemente detalhes espaciais suficientes para localização. Consequentemente, o pesado melhorador de características pode ser restrito a keyframes esparsos sem perda significativa de precisão.
• Novo Agregador de Características Rápido: Um módulo leve que injeta embeddings de instância no pirâmide de características do backbone, permitindo a geração de máscaras precisas com latência mínima.
• Equilíbrio Eficiência-Precisão: O framework consegue desacoplar a compreensão semântica da predição densa, alcançando velocidades de tempo real enquanto mantém um desempenho de segmentação competitivo.

4. Resultados Experimentais

Os autores avaliaram o SegFS em benchmarks padrão de OV-VIS: YouTubeVIS19, OVIS, BURST e LV-VIS.

• Desempenho vs. Baselines:
  • O SegFS alcança desempenho comparável à baseline "Reuse Objects" (que executa a rede lenta completa, mas pula o decodificador) e supera significativamente os métodos de propagação baseados em fluxo óptico (RAFT, LiteFlowNet2) e o competidor de rede dupla MPVSS.
  • No backbone MOBIUS-Mini-M, o SegFS atinge um AP de 41.6 no YouTubeVIS19, comparado a 42.1 para a rede lenta completa, enquanto reduz drasticamente a latência.
• Eficiência e Latência:
  • Aceleração: O SegFS alcança até uma redução de 14× na latência em comparação com o modelo MOBIUS orientado para dispositivos móveis.
  • Capacidade de Tempo Real: Em um Samsung Galaxy S25 Ultra, o SegFS ultrapassa o limiar de 30 FPS (alcançando ~38 FPS amortizados em um intervalo de 6 quadros), enquanto os modelos baseline lutam para exceder 10–16 FPS.
  • Hardware: O método foi testado em vários chips móveis (Snapdragon 8 Elite, Gen 5, X2, XR2) e GPUs (A100, T4), mostrando consistentemente uma latência de borda superior.
• Estudos de Ablação:
  • Intervalo de Propagação ($T$): O SegFS mantém um desempenho robusto conforme o intervalo entre os keyframes aumenta (até $T=10$), superando métodos de warping de máscara que degradam rapidamente.
  • Impacto dos Componentes: Os módulos "Object Injection" e "Attention-based Refinement" foram identificados como os componentes mais críticos para reduzir a lacuna de desempenho entre a via rápida e a rede lenta completa.

5. Significância e Alegações

O artigo afirma que o SegFS estabelece um novo padrão para OV-VIS em tempo real em dispositivos. Ao deslocar o fardo computacional da propagação de instâncias de objetos da decodificação de objetos para o condicionamento de características no espaço, o framework efetivamente ignora os componentes mais caros dos modelos atuais de estado da arte.

Os autores enfatizam que sua abordagem:

1. Preserva as Capacidades Zero-Shot: Mantém a natureza de vocabulário aberto dos modelos lentos subjacentes.
2. Permite a Implantação Móvel: É a primeira abordagem a atingir consistentemente >30 FPS em hardware móvel moderno para esta tarefa sem sacrificar a qualidade da máscara.
3. Desacopla Semântica de Geometria: Prova que a compreensão semântica de alto nível não precisa ser recomputada para cada quadro, desde que os embeddings de instância sejam corretamente projetados no espaço de características de um backbone visual.

O trabalho conclui que, para OV-VIS, o pesado melhorador de características é redundante para os inter-quadros, e uma fusão leve das características do backbone com os embeddings projetados é suficiente para uma segmentação de alta qualidade e em tempo real.