Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation

Título: Bootstrapping de Modelo de Segmentação Semântica em Vídeo via Adaptação no Tempo de Teste Assistida por Distilação (DiTTA)

1. O Problema

A Segmentação Semântica em Vídeo (VSS) é uma tarefa fundamental para a compreensão de cenas dinâmicas. No entanto, os métodos totalmente supervisionados tradicionais dependem fortemente de grandes conjuntos de dados de vídeo com anotações densas (pixel a pixel), como o VSPW. A criação desses dados exige um esforço humano massivo e é custosa, limitando a aplicabilidade prática.

Alternativamente, aplicar modelos pré-treinados de Segmentação Semântica em Imagem (ISS) quadro a quadro evita custos de anotação, mas ignora a coerência temporal. Isso resulta em previsões inconsistentes entre quadros, especialmente sob oclusão ou movimento rápido.

Modelos de base recentes, como o SAM2 (Segment Anything Model 2), oferecem propagação de máscaras de alta qualidade, mas utilizá-los diretamente para VSS apresenta desafios:

• Custo Computacional: Invocar o SAM2 em cada quadro para refinar previsões (abordagem zero-shot) gera uma sobrecarga significativa de memória e tempo de inferência.
• Dependência de Erros Iniciais: Abordagens de refinamento dependem excessivamente da precisão do ISS inicial; erros iniciais propagam-se através dos quadros sem correção adequada.
• Falta de Adaptação: O SAM2 não aprende as características específicas do vídeo de teste durante a inferência.

2. Metodologia: DiTTA

O DiTTA (Distillation-assisted Test-Time Adaptation) é um framework inovador que transforma um modelo ISS pré-treinado em um modelo VSS consciente do tempo, sem necessidade de dados de vídeo anotados. A adaptação ocorre no momento do teste (Test-Time Adaptation - TTA) utilizando apenas uma pequena fração inicial do vídeo.

O framework baseia-se em três componentes principais:

A. Módulo de Fusão Temporal Leve (Add-on)

Como os modelos ISS operam quadro a quadro, o DiTTA adiciona um módulo leve baseado em atenção para capturar pistas temporais:

• Utiliza um mecanismo de atenção cruzada para integrar informações do quadro anterior ($t-1$) no quadro atual ($t$).
• Combina os logits originais do ISS com os logits informados pela atenção, ponderados por um mapa de confiabilidade (baseado na entropia da previsão). Isso permite que o modelo confie mais no contexto temporal quando a previsão atual é incerta (ex: oclusão).

B. Alvos de Distilação do SAM2

Para superar a falta de supervisão no tempo de teste, o DiTTA utiliza o SAM2 como um "professor" temporário:

• Início: Durante os primeiros quadros do vídeo (fase de warm-up), o ISS gera previsões iniciais.
• Seleção: Pixels confiáveis do ISS são usados para criar prompts visuais.
• Propagação: O SAM2 propaga essas máscaras bidirecionalmente, gerando máscaras consistentes no tempo.
• Atribuição de Classe: As classes semânticas são atribuídas a essas máscaras baseando-se nas previsões do ISS, criando um alvo de distilação híbrido (semântica do ISS + coerência temporal do SAM2).
• Treinamento: O modelo ISS é adaptado minimizando a perda de entropia cruzada entre suas previsões e esses alvos de distilação, apenas nos quadros iniciais.

C. Alinhamento Contrastivo Baseado em Máscaras

Para garantir consistência não apenas nos logits, mas também nas representações de características (features):

• Um codificador de momento (momentum encoder) gera protótipos de objetos estáveis ao longo do tempo.
• Uma perda contrastiva força o modelo principal a alinhar suas características atuais com os protótipos de objetos consistentes dentro das máscaras temporais.
• Isso reforça a consistência temporal no espaço de representação, evitando que o mesmo objeto seja representado de formas drasticamente diferentes em quadros consecutivos.

Fluxo de Inferência: Após a adaptação nos primeiros quadros (ex: 10% do vídeo), o modelo ISS adaptado é "congelado" e usado para inferência no restante do vídeo. O SAM2 não é mais invocado, garantindo alta velocidade.

3. Principais Contribuições

1. Primeira Abordagem de TTA para VSS com Distilação: Introduz um método que adapta modelos de imagem para vídeo no tempo de teste, utilizando a capacidade temporal de modelos de base (SAM2) como guia de distilação, sem anotações de vídeo.
2. Eficiência Computacional: Elimina a necessidade de invocar o SAM2 durante a inferência completa. O custo computacional é limitado apenas à fase inicial de adaptação.
3. Generalização Robusta: O método demonstra forte capacidade de generalização em cenários de deslocamento de domínio (domain shift) e com diferentes arquiteturas de modelos base.
4. Protocolo de Avaliação Realista (W2F): Propõe o protocolo Warm-Up then Freeze (Aquecimento e Congelamento), que reflete melhor as restrições de recursos em aplicações do mundo real (ex: robótica, vigilância), onde não se pode processar o vídeo inteiro com modelos pesados.

4. Resultados Experimentais

Os experimentos foram realizados principalmente no conjunto de dados VSPW e em cenários de domínio cruzado (Cityscapes).

• Desempenho vs. Modelos Supervisionados: O DiTTA supera consistentemente modelos VSS totalmente supervisionados (como CFFM, TV3S) e modelos ISS padrão, mesmo utilizando apenas 10% do vídeo para adaptação.
  • Exemplo: No protocolo W2F com 10% de aquecimento, o DiTTA alcançou 51.1 mIoU, superando o ISS base (49.0) e o VSS supervisionado CFFM++ (49.6).
• Eficiência (FPS):
  • O DiTTA opera a 13.45 FPS, sendo significativamente mais rápido que o refinamento zero-shot com SAM2 (1.41 FPS) e comparável a modelos VSS leves, mas com desempenho superior.
• Comparação com TTA Existente: Supera métodos de TTA existentes (TENT, CoTTA, AuxAdapt) que não utilizam conhecimento temporal externo, demonstrando que a distilação do SAM2 é mais eficaz do que apenas minimizar entropia ou usar pseudo-rótulos internos.
• Ablação: Estudos mostraram que cada componente (Fusão Temporal, Alvos de Distilação, Alinhamento Contrastivo) contribui significativamente para o ganho final de desempenho.
• Generalização:
  • Funciona bem quando o modelo ISS é treinado em datasets puramente estáticos (ADE20K) e adaptado para vídeo (VSPW), provando que não depende de viés temporal oculto no treinamento.
  • Mantém alta consistência temporal em cenários de domínio cruzado (VSPW $\to$ Cityscapes).

5. Significado e Impacto

O DiTTA representa um avanço significativo na viabilidade prática da Segmentação Semântica em Vídeo. Ele resolve o dilema entre custo de anotação e qualidade temporal:

• Sem Anotação de Vídeo: Elimina a barreira de entrada para aplicações que não possuem dados de vídeo rotulados.
• Escalabilidade: Oferece uma solução que é ao mesmo tempo precisa (competitiva com métodos supervisionados) e eficiente (adequada para inferência em tempo real).
• Utilização de Modelos de Base: Demonstra como modelos fundacionais (como SAM2) podem ser usados não apenas para inferência direta, mas como "professores" para adaptar modelos mais leves e rápidos a tarefas específicas (vídeo), criando um ciclo virtuoso de eficiência e desempenho.

Em resumo, o DiTTA fornece uma solução prática, livre de anotações e escalável para tarefas de segmentação de vídeo no mundo real, transformando modelos de imagem estáticos em sistemas robustos de compreensão de vídeo dinâmico.