Deep kernel video approximation for unsupervised action segmentation

Titolo: Approssimazione Video tramite Kernel Profondo per la Segmentazione di Azioni Non Supervisionata

1. Il Problema

Il lavoro si concentra sulla segmentazione non supervisionata delle azioni per video (per-video). Questo scenario è cruciale in applicazioni come l'assistenza sanitaria e il monitoraggio delle attività, dove la privacy impedisce l'archiviazione di grandi dataset di addestramento.

• Vincoli: Non è possibile accedere a grandi set di dati di training né a annotazioni. L'algoritmo deve operare su un singolo video alla volta.
• Sfida: Le metodologie precedenti non modellano la distribuzione sottostante del video, ignorando la geometria dello spazio delle immagini. Questo le rende instabili rispetto alle deformazioni dei supporti della distribuzione.
• Obiettivo: Segmentare un video in azioni mutuamente esclusive senza conoscere a priori il numero esatto di segmenti, approssimando la distribuzione dei frame reali con un insieme ridotto di frame sintetici.

2. Metodologia

L'approccio proposto apprende un'approssimazione video (un piccolo insieme di frame sintetici $\{e_{v_m}\}$) che approssima la distribuzione dei frame originali del video $\{v_i\}$.

• Metrica di Distanza: MMD (Maximum Mean Discrepancy)

  • Per definire la "vicinanza" tra la distribuzione reale del video ($P$) e quella dell'approssimazione ($Q$), gli autori utilizzano l'MMD.
  • L'MMD è una metrica che preserva la geometria nello spazio delle distribuzioni ed è più efficiente e facile da ottimizzare rispetto all'Optimal Transport (OT), che è computazionalmente costoso ($O(n^3 \log n)$ contro $O(n^2)$ per l'MMD).
  • L'MMD misura la distanza tra le medie dei kernel (mean embeddings) nello spazio di Hilbert a kernel riproducente (RKHS).

• Spazio dei Kernel: Infinite NTK (Neural Tangent Kernels)

  • Invece di usare kernel fissi (come quelli della famiglia esponenziale) che hanno potere descrittivo limitato, o di imparare il kernel insieme ai dati (che porterebbe a soluzioni banali), gli autori utilizzano le NTK infinite.
  • Le NTK combinano la flessibilità non parametrica dei metodi a kernel con il potere descrittivo delle reti neurali profonde.
  • Kernel Composto: Poiché la NTK pura non è un kernel "characteristic" (non garantisce che MMD=0 implichi P=Q), viene combinata con un kernel Gaussiano. La funzione di kernel finale è il prodotto:
    $$k(v_i, v_j) = \alpha \cdot k_{NTK}(v_i, v_j) \cdot k_{Gauss}(v_i, v_j)$$
    dove $\alpha$ è un fattore di ridimensionamento e la scala di lunghezza del kernel Gaussiano è fissata alla mediana delle distanze quadrate per evitare soluzioni banali.

• Processo di Apprendimento e Segmentazione

  1. Si ottimizza l'MMD minimizzando la distanza tra la distribuzione dei frame reali e quella dei frame sintetici appresi.
  2. L'ottimizzazione avviene su batch di dati per gestire video lunghi.
  3. Assegnazione: Ogni frame reale viene assegnato al segmento sintetico (azione) con cui ha la massima similarità nel kernel space (massimizzando $k(v_i, e_{v_m})$).
  4. Smoothing: Per evitare una sovrasegmentazione dovuta alla mancanza di coerenza temporale, i frame di input vengono filtrati con un kernel Gaussiano temporale prima dell'ottimizzazione.

3. Contributi Chiave

1. Primo approccio Deep Kernel: È il primo lavoro che propone di apprendere un'approssimazione video in uno spazio di kernel profondo ottimizzando una metrica geometrica (MMD).
2. Indipendenza dal numero di segmenti: A differenza dei metodi agglomerativi (clustering), il metodo proposto non forza rigidamente un numero fisso di segmenti. Se un frame sintetico non si allinea bene con nessun frame reale, può essere ignorato, permettendo al modello di adattarsi meglio alla struttura sottostante dei dati quando il numero reale di azioni è sconosciuto.
3. Efficienza Computazionale: L'uso di NTK infinite e MMD permette di processare video lunghi in modo efficiente, evitando la complessità cubica dell'Optimal Transport.
4. Riduzione della Privacy: Il metodo opera interamente su un singolo video senza necessità di dataset di training esterni, risolvendo problemi di privacy.

4. Risultati Sperimentali

Gli autori hanno testato il metodo su 6 benchmark standard: Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended e MPII Cooking 2.

• Confronto con lo Stato dell'Arte:

  • Il metodo ottiene risultati competitivi rispetto ai metodi più recenti (TW-FINCH, ABD, ASOT, CLOT) che operano per video.
  • In particolare, supera ASOT sul dataset 50 Salads e ABD su YTI.
  • Mostra un miglioramento significativo rispetto all'inizializzazione uniforme (uniform init) su video lunghi (es. 50 Salads, MPII Cooking 2).

• Scenario "Numero di Segmenti Sconosciuto":

  • Quando il numero di segmenti target viene variato casualmente (scenario realistico dove il numero esatto non è noto), il metodo proposto supera costantemente TW-FINCH in termini di punteggio F1.
  • Questo dimostra la robustezza del metodo: non essendo vincolato a un numero fisso di cluster, riesce a gestire meglio le azioni ripetute e le variazioni nella struttura temporale.

• Limiti:

  • Il metodo fatica su azioni molto simili (es. "avvitare vite" con numeri diversi nel dataset Desktop Assembly) perché impara un solo frame sintetico per azione, che può essere troppo semplificato.
  • Fallisce quando azioni dissimili sono etichettate come un'unica classe (es. sfondo in MPII Cooking 2).
  • È sensibile all'iperparametro di smoothing temporale.

5. Significato e Conclusioni

Questo lavoro introduce un paradigma innovativo per la segmentazione video non supervisionata, spostando il focus dal clustering delle feature all'apprendimento di una rappresentazione distribuzionale del video.

• Impatto: Offre una soluzione praticabile per scenari ad alta privacy e vincoli di dati, garantendo una segmentazione che rispetta la geometria intrinseca dei dati.
• Innovazione: L'integrazione di NTK infinite con l'MMD dimostra che è possibile ottenere la potenza descrittiva delle reti profonde mantenendo la stabilità teorica e l'efficienza dei metodi a kernel, superando i limiti computazionali dell'Optimal Transport.

In sintesi, il paper dimostra che apprendere un'approssimazione video sintetica in uno spazio di kernel profondo, minimizzando la discrepanza massima media, è un approccio efficace, robusto e computazionalmente efficiente per la segmentazione di azioni senza supervisione.