Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation

1. Definição do Problema

O artigo aborda a Geração de Grafos de Cena Panópticos Temporais (TPSGG), uma tarefa que visa gerar grafos de cena dinâmicos a partir de entradas de vídeo (incluindo vídeos naturais, RGB-D e nuvens de pontos 4D).

• Objetivo: Representar entidades como nós e suas relações espaço-temporais como arestas, capturando tanto interações estáticas (por exemplo, "em pé sobre") quanto dinâmicas (por exemplo, "chutando", "abrindo").
• Limitações dos Métodos Existentes: As abordagens atuais de última geração geralmente seguem um pipeline de duas etapas:
  1. Segmentação e Rastreamento: Gerar "tubos de máscara" (sequências de máscaras de segmentação rastreadas ao longo do tempo).
  2. Predição de Relações: Codificar esses tubos usando agrupamento global (por exemplo, agrupamento médio) seguido por uma MLP para classificar as relações.
• O Problema Central: Operações de agrupamento global achatam a dimensão temporal, descartando efetivamente padrões de movimento e ordenação de quadros. Isso leva a um desempenho pobre em relações dinâmicas, pois o modelo depende fortemente de semânticas visuais estáticas em vez da evolução do movimento. Métodos existentes de aprendizado contrastivo para vídeos frequentemente focam em semânticas ao nível de quadro ou em clipes inteiros, falhando em isolar o movimento específico aos tubos de máscaras de entidades.

2. Metodologia

Os autores propõem um novo Framework de Aprendizado Contrastivo Consciente de Movimento projetado para forçar o modelo a aprender representações sensíveis a trajetórias de movimento, e não apenas à aparência estática.

A. Visão Geral do Framework

O framework integra-se a um backbone padrão de TPSGG (Segmentação Panóptica + Classificação de Relações), mas introduz um objetivo específico de aprendizado contrastivo durante o treinamento para refinar as representações dos tubos de máscaras de entidades ($H_i$).

B. Estratégias de Aprendizado Contrastivo

O objetivo é aproximar representações de padrões de movimento semelhantes e afastar aquelas com padrões distintos.

1. Amostragem Positiva:
   • Seleciona tubos de máscaras de vídeos diferentes que compartilham a mesma categoria de triplet sujeito-relação-objeto (S-R-O) (por exemplo, "pessoa chutando bola" do Vídeo A e "pessoa chutando bola" do Vídeo B).
   • Racional: Como as semânticas visuais diferem entre os vídeos, o modelo é forçado a depender da trajetória de movimento compartilhada para associar a âncora e as amostras positivas.
2. Amostragem Negativa (Duas Estratégias):
   • Baseada em Embaralhamento: Pega o tubo âncora e embaralha temporalmente os quadros ($\pi(H_a)$).
     • Desafio: Relações estáticas (por exemplo, "sobre") têm pouco movimento, tornando as versões embaralhadas idênticas à original.
     • Solução: Os autores introduzem uma Estratégia de Seleção de Movimento Forte usando bordas de fluxo óptico para filtrar e selecionar apenas tubos com amplitude de movimento significativa para embaralhamento.
   • Baseada em Tripleto: Seleciona tubos negativos do mesmo vídeo mas com tripleto S-R-O diferentes.
     • Estratégia: Usa uma distribuição multinomial para amostrar preferencialmente tripleto que compartilham categorias visuais (sujeito/objeto) com a âncora, mas têm relações diferentes. Isso cria "negativos difíceis" que forçam o modelo a distinguir relações com base no movimento e não na similaridade visual.

C. Transporte Ótimo para Quantificação de Relações

Um desafio crítico é medir a similaridade entre dois tubos de máscaras de possivelmente diferentes comprimentos (durasções de eventos diferentes). O agrupamento padrão falha aqui.

• Abordagem: Os autores tratam dois tubos de máscaras como distribuições de probabilidade discretas ($\mu$ e $\nu$).
• Métrica: Eles utilizam a distância de Transporte Ótimo (OT) (especificamente usando o algoritmo Sinkhorn) para encontrar o custo mínimo para transportar uma distribuição para a outra.
• Benefício: Isso sincroniza efetivamente os estados de movimento de dois tripleto, preservando a evolução temporal e a trajetória das máscaras sem exigir que tenham o mesmo comprimento. A pontuação de similaridade é derivada como $sim = \alpha - d_{OT}$.

3. Contribuições Principais

1. Framework Contrastivo Consciente de Movimento: Um paradigma de aprendizado novo que incentiva explicitamente o modelo a aprender representações baseadas em padrões de movimento, alinhando tripleto S-R-O semelhantes entre vídeos diferentes e separando-os de tripleto embaralhados temporalmente ou visualmente semelhantes, mas semanticamente diferentes.
2. Transporte Ótimo para Alinhamento de Tubos: A introdução da distância de Transporte Ótimo para quantificar relações entre tubos de máscaras de comprimentos variados, superando as limitações do agrupamento temporal na captura de dinâmicas de movimento.
3. Seleção de Movimento Forte: Uma estratégia heurística usando fluxo óptico para filtrar relações estáticas durante a amostragem negativa, garantindo que o objetivo contrastivo permaneça eficaz.
4. Desempenho de Última Geração: Demonstrou melhorias significativas sobre métodos existentes em conjuntos de dados de vídeos naturais e 4D, particularmente no reconhecimento de relações dinâmicas.

4. Resultados Experimentais

O método foi avaliado em OpenPVSG (vídeos naturais) e PSG4D (vídeos RGB-D e de Nuvem de Pontos 4D).

• Conjuntos de Dados:
  • OpenPVSG: 400 vídeos (ViDOR, Epic-Kitchens, Ego4D).
  • PSG4D: Inclui PSG4D-GTA (terceira pessoa) e PSG4D-HOI (egocêntrico).
• Métricas: Recall em K (R@K) e Recall Médio em K (mR@K).
• Principais Descobertas:
  • Desempenho Geral: O método proposto ("Ours") superou bases fortes (IPS+T-Convolution, IPS+T-Transformer, PSG4DFormer) em todas as métricas.
  • Relações Dinâmicas: Como ilustrado na Figura 1, o método melhorou significativamente o desempenho em predicados dinâmicos (por exemplo, "chutando", "correndo sobre") em comparação com as bases que favoreciam relações estáticas (por exemplo, "em pé sobre").
  • Dados 4D: Alcançou ganhos substanciais tanto em entradas de Nuvem de Pontos quanto RGB-D, mostrando generalização além de vídeos 2D padrão.
  • Estudos de Ablação:
    • Remover qualquer uma das perdas contrastivas baseada em embaralhamento ou baseada em tripleto degradou o desempenho, sendo a baseada em tripleto ligeiramente mais fundamental.
    • Substituir o Transporte Ótimo por Agrupamento Padrão + Distância Cosseno/L2 resultou em menor precisão, confirmando a necessidade de preservar a estrutura temporal.
    • O limiar $\gamma$ para selecionar tubos de movimento forte mostrou um ponto ótimo; muito baixo inclui ruído estático, muito alto reduz o volume de dados.

5. Significado

Este trabalho preenche a lacuna entre segmentação panóptica e raciocínio temporal. Ao deslocar o foco de características visuais estáticas para representações conscientes de movimento, o artigo resolve um gargalo crítico na geração de grafos de cena: a incapacidade de modelar com precisão interações dinâmicas.

• Impacto Técnico: Demonstra que o aprendizado contrastivo, quando cuidadosamente projetado com restrições específicas de domínio (tubos de máscaras, transporte ótimo), pode extrair efetivamente dinâmicas temporais que camadas de agrupamento padrão perdem.
• Aplicação: A capacidade aprimorada de entender relações dinâmicas é crucial para agentes autônomos, robótica e sistemas de vigilância inteligente que devem interagir ou prever ações humanas em tempo real.