Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning

Título: Follow the Saliency: Saliência Supervisionada para Legendagem Densa de Vídeo Augmentada por Recuperação

1. Problema Identificado

A Legendagem Densa de Vídeo (DVC - Dense Video Captioning) visa detectar e descrever múltiplos eventos em vídeos longos e não editados. Embora métodos baseados em recuperação (retrieval-augmented) tenham melhorado o desempenho ao buscar legendas relevantes de bancos de dados externos, eles enfrentam um gargalo crítico: a segmentação temporal.

• Falha na Segmentação: Métodos anteriores (como Sali4Vid e HiCM2) utilizam estratégias heurísticas ou baseadas em similaridade semântica para dividir o vídeo em segmentos. Isso frequentemente resulta em segmentos que não estão alinhados com as verdadeiras fronteiras dos eventos (ground truth).
• Consequência: Segmentos mal alinhados levam a uma recuperação de legendas irrelevante, o que, por sua vez, degrada a qualidade da geração da legenda pelo decodificador.
• Limitação de Saliência: Abordagens anteriores tratam a "saliência" (importância temporal de um quadro) de forma implícita ou derivada de heurísticas, sem supervisioná-la diretamente com as anotações de eventos existentes.

2. Metodologia Proposta: STaRC

O authors propõem o STaRC (Saliency Training for Retrieval and Captioning), um framework unificado que utiliza saliência supervisionada para guiar tanto a recuperação de informações quanto a geração de legendas.

O framework opera em três etapas principais:

A. Predição de Saliência Supervisionada (Highlight Detection)

• Conceito: Em vez de usar heurísticas, o modelo aprende scores de saliência quadro a quadro diretamente das anotações de eventos existentes no dataset (sem custo adicional de anotação).
• Mecanismo:
  1. Refinamento de Características: Um módulo de Auto-atenção com Janela Deslizante (SWSA) refina as características visuais temporais, agregando contexto local em múltiplas escalas.
  2. Módulo de Detecção de Destaques: Um módulo treinado para prever a probabilidade de um quadro ser parte de um evento (highlight).
  3. Treinamento: As anotações de eventos são convertidas em rótulos binários (1 para quadros dentro de eventos, 0 para fora). O modelo é treinado com uma função de perda softmax listwise para maximizar a probabilidade dos quadros anotados como eventos.

B. Design Unificado Baseado em Saliência
O STaRC utiliza os scores de saliência aprendidos ($P_s$) de duas formas complementares:

1. Segmentação e Recuperação Guiadas por Saliência (SGSR):

   • Substitui o agrupamento (clustering) baseado apenas em similaridade semântica por uma abordagem baseada em Transporte Ótimo (Optimal Transport - OT).
   • Restrição Desbalanceada: O OT é aplicado de forma desbalanceada nos quadros (usando $P_s$ como margem suave) e balanceado nos âncoras (protótipos semânticos). Isso força o algoritmo a agrupar quadros importantes em segmentos coesos, alinhados com as fronteiras reais dos eventos.
   • Recuperação: Segmentos de alta qualidade são usados para buscar as legendas mais relevantes no banco de dados externo.

2. Prompts de Saliência (SaliP):

   • Os scores de saliência são projetados e injetados explicitamente no decodificador de texto como prompts de fundamentação temporal.
   • Isso guia o decodificador a focar nos quadros semanticamente importantes durante a geração da legenda, garantindo que a descrição corresponda ao momento visual correto.

C. Arquitetura de Treinamento e Inferência

• Treinamento: O decodificador recebe características visuais originais (para alinhamento preciso com o texto) e os prompts de saliência. A perda total combina a perda de entropia cruzada (texto) e a perda de saliência supervisionada.
• Inferência: O decodificador utiliza as características refinadas (pós-SWSA) e os prompts de saliência para gerar legendas mais precisas e coerentes.

3. Contribuições Principais

1. Framework STaRC: Primeira abordagem a utilizar aprendizado de saliência supervisionado (derivado de anotações de DVC existentes) como sinal unificado para recuperação e geração em DVC.
2. SGSR (Segmentação Guiada por Saliência): Introdução de um método de agrupamento baseado em Transporte Ótimo desbalanceado, que cria segmentos temporalmente alinhados com os eventos reais, superando métodos heurísticos.
3. SaliP (Prompts de Saliência): Injeção explícita de scores de saliência no decodificador, atuando como um mecanismo de atenção temporal que melhora a fundamentação da legenda.
4. Desempenho SOTA: Demonstração de que o alinhamento preciso entre segmentação e recuperação é a chave para melhorar a geração de legendas.

4. Resultados Experimentais

O modelo foi avaliado nos benchmarks YouCook2 e ViTT, superando o estado da arte (SOTA) na maioria das métricas.

• YouCook2 (Validação):
  • CIDEr: 80.53 (vs. 75.80 do Sali4Vid anterior).
  • METEOR: 13.86.
  • F1 de Localização: 34.34 (melhorando a precisão na detecção de eventos).
• ViTT (Teste):
  • CIDEr: 56.04.
  • Precisão: 49.72.
• Análise de Correlação: O estudo demonstrou uma forte correlação positiva entre a qualidade da segmentação temporal (medida por Recall@0.5 e IoU Médio) e o desempenho final da geração de legendas. Melhores segmentos levam diretamente a melhores legendas.
• Estudos de Ablação:
  • A remoção do módulo SGSR ou SaliP causa quedas significativas no desempenho, confirmando que ambos são essenciais e complementares.
  • O uso de pooling ponderado por saliência nos segmentos superou a média uniforme.

5. Significado e Impacto

O trabalho STaRC estabelece um novo paradigma para a Legendagem Densa de Vídeo ao demonstrar que:

• A qualidade da segmentação temporal é o fator limitante crítico para métodos de recuperação aumentada.
• É possível extrair sinais de supervisão ricos diretamente das anotações de eventos existentes, sem necessidade de anotações manuais adicionais de "destaques".
• A unificação da saliência entre a etapa de recuperação (segmentação) e a etapa de geração (decodificação) cria um ciclo virtuoso de alinhamento semântico-temporal.

Em suma, o STaRC prova que "seguir a saliência" supervisionada permite que o modelo entenda não apenas o que está acontecendo no vídeo, mas quando e por quanto tempo cada evento ocorre, resultando em descrições mais precisas e contextualmente corretas.