Deep kernel video approximation for unsupervised action segmentation

Probleemstelling

Het artikel richt zich op onzelftoezicht (unsupervised) actie-segmentatie op video-niveau. Het specifieke doel is om video's op te splitsen in onderling uitsluitende segmenten die corresponderen met individuele acties, zonder gebruik te maken van gelabelde trainingsdata of grote datasets.

Dit probleem is cruciaal voor toepassingen in de gezondheidszorg en ondersteund wonen (bijv. activiteitstracking), waar privacywetgeving het opslaan van grote datasets van gebruikers vaak verbiedt. In deze scenario's moet het model per video werken ("per-video"), zonder toegang tot een brede verzameling van trainingsvideo's. Bestaande methoden missen vaak een modellering van de onderliggende verdeling van de videoframes, wat leidt tot instabiliteit bij vervormingen van de data-structuur.

Methodologie

De auteurs stellen een nieuwe methode voor die videoframes benadert door te leren in een diepe kernel-ruimte (deep kernel space). De kern van de aanpak bestaat uit de volgende componenten:

1. Video-benadering (Video Approximation):
   In plaats van de volledige video te verwerken, leert het model een kleine set synthetische frames $\{e_{v_m}\}$ (waarbij $M \ll N$, met $N$ het aantal originele frames). Deze synthetische frames vormen een benadering van de oorspronkelijke videodistributie. Het doel is om de verdeling $Q$ van deze synthetische frames zo dicht mogelijk bij de werkelijke verdeling $P$ van de video te brengen.

2. Geometrie-bewarende metriek: MMD:
   Om de "nadering" te definiëren, gebruiken de auteurs de Maximum Mean Discrepancy (MMD). MMD is een metriek in de ruimte van kansverdelingen die de geometrie van de data behoudt.

   • In tegenstelling tot Optimal Transport (OT), die vaak wordt gebruikt maar computatie-intensief en moeilijk te optimaliseren is, is MMD sneller, makkelijker te optimaliseren en minder gevoelig voor de "curse of dimensionality".
   • De MMD-minimalisatie zorgt ervoor dat de gemiddelde embeddings van de originele frames en de synthetische frames in de kernel-ruimte dicht bij elkaar liggen.

3. Diepe Kernels: Oneindige NTK's:
   MMD werkt in een Reproducing Kernel Hilbert Space (RKHS). De auteurs kiezen voor Neural Tangent Kernels (NTKs), specifiek oneindige NTKs, om de kernel-functie te definiëren.

   • Reden: Vaste kernels (zoals exponentiële families) hebben beperkte beschrijvingskracht. Diepe netwerken zijn informatiever, maar het gezamenlijk leren van de input en de kernel leidt vaak tot triviale oplossingen.
   • Oplossing: NTKs combineren de flexibiliteit van kernel-methoden met de beschrijvingskracht van diepe netwerken. Omdat de auteurs werken met oneindig brede netwerken, zijn de NTK-paramaters vast (geen leerbare weights), wat de stabiliteit garandeert.
   • Kernel-combinatie: Omdat een pure NTK geen "characteristic kernel" is (hij beschrijft de verdeling niet volledig), combineren de auteurs de NTK met een Gaussische kernel via een product: $k(v_i, v_j) = \alpha \cdot k_{ntk}(v_i, v_j) \cdot k_G(v_i, v_j)$. Dit minimaliseert de afstand zowel in de inputruimte als in de gradiëntruimte van het netwerk.

4. Segmentatie:
   Na het leren van de synthetische frames worden de originele frames toegewezen aan de dichtstbijzijnde synthetische frame in de kernel-ruimte (via een maximale kernel-similariteit). Dit resulteert in een segmentatie van de video.

Belangrijkste Bijdragen

• Nieuwe Formulering: Dit is het eerste werk dat videobenadering leert in een diepe kernel-formulering door MMD te optimaliseren voor onzelftoezicht.
• Per-Video Focus: De methode is specifiek ontworpen voor data-beperkte scenario's waar geen grote trainingsdatasets beschikbaar zijn.
• Robuustheid bij onbekend aantal segmenten: In tegenstelling tot hiërarchische clustering-methoden (zoals TW-FINCH), presteert de methode beter wanneer het exacte aantal acties in de video niet vooraf bekend is. De methode dwingt geen vast aantal segmenten af; synthetische frames die niet goed overeenkomen met de data, worden simpelweg niet toegewezen.
• Efficiëntie: Door gebruik te maken van MMD en batching is de methode computatie-efficiënter dan Optimal Transport-benaderingen.

Resultaten

De methode is getest op zes standaard benchmarks: Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended en MPII Cooking 2.

• Vergelijking met State-of-the-Art: De methode levert concurrerende resultaten op ten opzichte van de beste bestaande per-video methoden (zoals TW-FINCH, ABD, ASOT).
• F1-Scores: Wanneer het aantal segmenten onbekend is (een realistischere setting), behaalt de voorgestelde methode consistent hogere F1-scores dan eerdere agglomeratieve methoden (zoals TW-FINCH).
• Analyse van Kernel-keuze: Experimenten tonen aan dat de combinatie van een Gaussische kernel en een NTK (de voorgestelde aanpak) de beste segmentatie-accuraatheid oplevert, superior aan alleen NTK of alleen Gaussische kernels.
• Smoothing: Het toepassen van tijds-smoothing op de input-features verbetert de prestaties aanzienlijk, vooral bij lange video's.

Betekenis en Beperkingen

Betekenis:
De paper biedt een krachtige oplossing voor privacygevoelige toepassingen waarbij data lokaal moet worden verwerkt. Door de onderliggende verdeling van de video te benaderen in een diepe kernel-ruimte, wordt een robuuste segmentatie bereikt zonder dat er grote datasets nodig zijn. De methode is vooral sterk in het omgaan met variabele aantallen acties binnen een video.

Beperkingen:

• Over-simplificatie: De methode leert één synthetisch frame per actie. Dit kan te simpel zijn voor complexe of lange acties.
• Vergelijkbare Acties: De methode faalt bij het onderscheiden van zeer vergelijkbare acties (bijv. "schroef vastdraaien 1" vs "schroef vastdraaien 2" in de Desktop Assembly dataset).
• Gecombineerde Labels: Het heeft moeite met datasets waar verschillende acties onder één label vallen (bijv. "achtergrond" in MPII Cooking 2).
• Hyperparameters: De methode is gevoelig voor de smoothing-hyperparameter, die handmatig moet worden gekozen op basis van de videolengte.

Concluderend biedt dit werk een innovatieve, efficiënte en privacy-vriendelijke aanpak voor onzelftoezicht actie-segmentatie door gebruik te maken van de synergie tussen MMD en oneindige Neural Tangent Kernels.