Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning

1. O Problema

A geração de grafos de cena em vídeo (VSGG) visa decompor o conteúdo de um vídeo em triplets estruturados na forma ⟨sujeito, predicado, objeto⟩, capturando interações espaciais e temporais. No entanto, a abordagem totalmente supervisionada (FS-VSGG) sofre de um gargalo de escalabilidade devido à necessidade de anotações exaustivas de caixas delimitadoras (bounding boxes) para todos os objetos em cada quadro.

Para mitigar isso, a VSGG Fracamente Supervisionada (WS-VSGG) utiliza apenas triplets não localizados (sem caixas delimitadoras) em quadros específicos (geralmente o quadro central). O problema central identificado pelos autores é uma discrepância fundamental entre os pipelines totalmente supervisionados e os fracamente supervisionados:

• Detectores Supervisionados: Filtram implicitamente objetos não interativos, focando em propostas relevantes para a relação.
• Detectores "Off-the-shelf" (Prontos): Usados em WS-VSGG, detectam indiscriminadamente todos os objetos visíveis. Isso gera um volume massivo de pares não interativos (ruídos) que sobrecarregam o modelo de previsão de relações.
• Falha Atual: Os métodos existentes treinam apenas nos pares "casados" (matchados) com as anotações e descartam os não casados. Isso cria uma lacuna de distribuição: o modelo é treinado apenas em pares interativos, mas deve inferir em um espaço dominado por pares não interativos, levando a falsos positivos e baixa precisão.

2. Metodologia

Os autores propõem um framework unificado composto por três componentes principais para abordar essa lacuna:

A. Relação-Consciente de Correspondência (Relation-Aware Matching - RAM)

Para fornecer supervisão mais limpa, o método utiliza modelos de visão-linguagem (VL) para resolver a ambiguidade de nível de classe.

• Problema: A correspondência baseada apenas na classe (ex: "copo") pode marcar erroneamente múltiplos copos na cena como positivos, mesmo que apenas um esteja sendo segurado.
• Solução: O RAM gera consultas textuais ricas em contexto (ex: "o copo que a pessoa está segurando") e as alinha com as detecções de objetos usando modelos de grounding (como GroundingDINO).
• Mecanismo: Utiliza mapas de atenção cruzada para localizar a instância específica que corresponde à descrição relacional. Um escore de confiabilidade determina se a correspondência baseada em grounding é usada ou se há um retorno à correspondência por classe. Isso reduz drasticamente os rótulos falsos positivos.

B. Aprendizado e Pontuação de Afinidade de Par (Pair Affinity Learning and Scoring - PALS)

O núcleo da contribuição é a introdução de uma afinidade de par aprendível.

• Dualidade de Representação: O modelo possui dois embeddings paralelos para cada par de objetos:
  1. Embedding de Relação: Foca na classificação do predicado (interativo).
  2. Embedding de Afinidade de Par: Foca em estimar a probabilidade de o par participar de qualquer interação significativa, independentemente do predicado específico.
• Treinamento: Ambos os pares casados (positivos) e não casados (negativos) são usados para treinar a afinidade. Isso ensina o modelo a distinguir ativamente entre pares interativos e não interativos.
• Inferência: Durante a inferência, o escore de afinidade é multiplicado ao escore final de classificação, reordenando os triplets e suprimindo pares não interativos que teriam alta confiança de detecção, mas baixa probabilidade de interação.

C. Modulação de Afinidade de Par (Pair Affinity Modulation - PAM)

Para lidar com o fato de que pares não interativos dominam o espaço de entrada e diluem o contexto durante o raciocínio:

• Mecanismo: O PAM atua como um módulo de "porta" (gating) nas camadas de atenção espacial e temporal do modelo de base.
• Funcionamento: Utiliza a matriz de afinidade aprendida para modular os logits de atenção. Pares com baixa afinidade (não interativos) têm sua influência reduzida, permitindo que pares interativos se concentrem uns nos outros para refinar o contexto relacional.
• Benefício: Melhora o raciocínio contextual dentro e entre os quadros, filtrando o ruído antes que ele se propague.

3. Principais Contribuições

1. Identificação da Discrepância de Distribuição: Evidenciam que a falha em WS-VSGG não é apenas a falta de caixas delimitadoras, mas a incapacidade dos modelos atuais de lidar com a dominância de pares não interativos gerados por detectores genéricos.
2. Framework Unificado (RAM + PALS + PAM): Uma abordagem que refina os rótulos pseudo (RAM), aprende explicitamente a distinção interativa/não-interativa (PALS) e modula o raciocínio do modelo (PAM).
3. Supervisão de Pares Negativos: Ao contrário de métodos anteriores que descartam pares não casados, este trabalho os utiliza como supervisão negativa crítica para o aprendizado da afinidade.
4. Agnosticismo de Arquitetura: O método é "plug-and-play", funcionando sobre diferentes backbones (STTran, DSG-DETR) e não requer anotações extras além das triplets não localizadas.

4. Resultados

Os experimentos foram conduzidos no dataset Action Genome (AG) sob o protocolo SGDet (detecção de cena).

• Desempenho SOTA: O método alcançou o estado da arte em VSGG fracamente supervisionada.
  • No cenário "With Constraint" (apenas um predicado por par), houve um ganho médio de +5.47 em R@10 sobre as melhores baselines.
  • No cenário "No Constraint", o ganho médio foi de +6.43 em R@10.
• Fechamento da Lacuna: A melhor configuração alcançou 88,3% e 94,3% do desempenho dos modelos totalmente supervisionados (upper bound) nos protocolos com e sem restrição, respectivamente, utilizando apenas anotações de um único quadro não localizado.
• Análise de Componentes:
  • O PALS foi identificado como o componente individual mais impactante, confirmando que a filtragem de pares não interativos é o principal gargalo.
  • O RAM melhorou significativamente a qualidade dos rótulos pseudo, aumentando a precisão em até 80% em comparação com a correspondência por classe simples.
  • O PAM trouxe ganhos consistentes, especialmente em vídeos com alta densidade de pares não interativos.

5. Significância

Este trabalho é significativo porque redefine o paradigma da VSGG fracamente supervisionada. Em vez de apenas tentar melhorar a detecção ou a classificação de predicados, ele ataca a raiz do problema: a seleção de pares relevantes.

Ao introduzir a "afinidade de par" como uma tarefa de aprendizado explícita e utilizá-la para modular a atenção do modelo, os autores demonstram que é possível alcançar desempenho próximo ao totalmente supervisionado com uma fração do custo de anotação. A abordagem sugere que modelar explicitamente a interatividade entre objetos detectados é crucial para qualquer tarefa de compreensão visual que dependa de relações, abrindo caminho para aplicações mais escaláveis em vídeo.