Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning

1. Il Problema

Il Dense Video Captioning (DVC) ha l'obiettivo di rilevare e descrivere multipli eventi all'interno di video lunghi e non tagliati. Sebbene i metodi recenti basati sul recupero di informazioni (retrieval-augmented) abbiano ottenuto buoni risultati, soffrono di un limite fondamentale: la segmentazione temporale.

• Limitazione attuale: I metodi esistenti (come Sali4Vid o HiCM2) utilizzano strategie euristica o basate sulla similarità semantica per dividere il video in segmenti. Queste strategie spesso falliscono nel rispettare i veri confini degli eventi (ground truth), generando segmenti disallineati.
• Conseguenza: Segmenti imprecisi portano a un recupero (retrieval) di didascalie irrilevanti dal datastore esterno, il quale, a sua volta, fornisce un contesto errato al decoder per la generazione del testo.
• Analisi: Gli autori dimostrano una forte correlazione positiva tra la qualità della segmentazione temporale (misurata tramite IoU e Recall) e le prestazioni finali nella generazione delle didascalie (metriche come CIDEr e METEOR).

2. Metodologia: STaRC

Gli autori propongono STaRC (Saliency Training for Retrieval and Captioning), un framework che introduce un apprendimento supervisionato della saliency (importanza) a livello di fotogramma, utilizzando direttamente le annotazioni degli eventi esistenti senza costi aggiuntivi di etichettatura.

L'architettura si basa su tre componenti principali:

A. Predizione della Saliency Supervisionata (Highlight Detection)

Invece di derivare la saliency in modo euristico, STaRC la impara supervisionata:

• Input: Le annotazioni temporali degli eventi nel dataset (es. YouCook2, ViTT) vengono convertite in etichette binarie a livello di fotogramma (1 = all'interno di un evento, 0 = fuori).
• Modulo: Un modulo di Highlight Detection prende in input le features video raffinate (tramite un meccanismo SWSA - Sliding-Window Self-Attention) e predice un punteggio di saliency per ogni fotogramma.
• Obiettivo: Il modello viene addestrato con una funzione di perdita list-wise softmax per massimizzare la probabilità dei fotogrammi all'interno degli eventi annotati.

B. Segmentazione e Recupero Guidati dalla Saliency (SGSR)

Questo modulo utilizza i punteggi di saliency appresi per creare segmenti di video coerenti:

• Clustering OT-based: Viene utilizzato un approccio di Trasporto Ottimale (Optimal Transport - OT) non bilanciato. A differenza dei metodi precedenti che usano solo la similarità semantica, SGSR usa i punteggi di saliency come vincolo morbido sulla distribuzione dei fotogrammi.
• Funzionamento: I fotogrammi "importanti" (alta saliency) ricevono una massa di trasporto maggiore, permettendo di formare segmenti che si allineano naturalmente con i confini degli eventi reali.
• Recupero: Vengono selezionati i segmenti migliori (top-k) e, per ciascuno, vengono recuperate le didascalie più rilevanti dal datastore. Le features dei segmenti sono calcolate tramite una media pesata dalla saliency, dando più importanza ai fotogrammi chiave.

C. Prompt di Saliency (SaliP)

La saliency non serve solo per il recupero, ma guida anche la generazione del testo:

• Meccanismo: I punteggi di saliency vengono proiettati in uno spazio vettoriale e iniettati esplicitamente nel decoder come prompt temporali (Saliency Prompts).
• Vantaggio: Questo fornisce al decoder un segnale esplicito su quali momenti temporali sono cruciali, migliorando la coerenza tra il contesto visivo e la descrizione testuale generata.

3. Contributi Chiave

1. Framework STaRC: Il primo approccio che unifica il recupero e la generazione di didascalie DVC attraverso un segnale di saliency supervisionato, eliminando la necessità di etichette aggiuntive.
2. SGSR (Segmentazione Guidata): Un metodo di clustering basato sul Trasporto Ottimale che allinea i segmenti ai confini reali degli eventi, superando le limitazioni delle strategie di clustering puramente semantiche o euristica.
3. SaliP (Prompt Espliciti): L'introduzione di prompt di saliency nel decoder, che trasforma la saliency da un segnale implicito a una guida esplicita per il grounding temporale.
4. Analisi di Correlazione: Dimostrazione empirica che migliorare la qualità della segmentazione temporale porta direttamente a un miglioramento delle prestazioni di captioning.

4. Risultati Sperimentali

Il modello è stato valutato sui benchmark YouCook2 e ViTT, ottenendo prestazioni State-of-the-Art (SOTA):

• YouCook2 (Validation):
  • CIDEr: 80.53 (vs 75.80 di Sali4Vid, il precedente SOTA).
  • METEOR: 13.86.
  • F1 Score (Localizzazione): 34.34.
• ViTT (Test):
  • CIDEr: 56.04.
  • Precision: 49.72.

Studi Ablativi:

• La combinazione di SGSR e SaliP offre il massimo guadagno (+14.24 punti CIDEr rispetto alla baseline Vid2Seq).
• L'uso della media pesata dalla saliency (invece che uniforme) e il clustering OT guidato dalla saliency sono stati confermati come componenti critici per le prestazioni.
• L'analisi dei failure case mostra che il metodo riduce significativamente i segmenti disallineati rispetto ai metodi precedenti.

5. Significato e Impatto

Il lavoro STaRC rappresenta un passo avanti significativo nel campo del DVC perché:

• Supera l'euristica: Sostituisce le strategie di segmentazione basate su regole fisse o similarità grezza con un apprendimento supervisionato diretto dalle annotazioni.
• Unificazione: Dimostra che un singolo segnale di saliency può guidare efficacemente sia la fase di recupero (retrieval) che quella di generazione (captioning), creando un ciclo virtuoso di allineamento temporale.
• Efficienza dei Dati: Raggiunge prestazioni superiori senza richiedere nuove annotazioni costose, riutilizzando intelligentemente le annotazioni temporali esistenti dei dataset DVC.

In sintesi, STaRC dimostra che la saliency supervisionata è il segnale mancante per allineare correttamente la struttura temporale del video con la descrizione semantica, risolvendo il problema della disallineazione che ha limitato i metodi di recupero precedenti.