Deep kernel video approximation for unsupervised action segmentation

1. Problématique

L'article s'intéresse à la segmentation d'actions non supervisée par vidéo (per-video). Contrairement aux méthodes supervisées qui nécessitent de vastes ensembles de données annotées, cette tâche vise à segmenter une vidéo unique en actions distinctes sans aucune annotation préalable ni accès à d'autres vidéos d'entraînement.

Ce scénario est crucial dans des domaines sensibles comme la santé et l'assistance à la vie, où le stockage de grandes quantités de données vidéo est interdit pour des raisons de confidentialité. Les défis majeurs incluent :

• L'absence de données d'entraînement externes.
• La nécessité de modéliser la distribution sous-jacente des images de la vidéo.
• L'instabilité des méthodes existantes face aux déformations de la distribution des données.
• L'incertitude sur le nombre réel de segments (actions) présents dans la vidéo.

2. Méthodologie

Les auteurs proposent une approche novatrice basée sur l'apprentissage d'une approximation vidéo dans un espace de noyaux profonds (deep kernel space).

A. Concept Central : Approximation Vidéo

Au lieu de segmenter directement les frames, la méthode apprend un petit ensemble de frames synthétiques $\{e_{v_m}\}$ (une approximation) qui représente fidèlement la distribution des frames réelles de la vidéo $\{v_i\}$.

• Soit $P$ la distribution des frames réelles.
• Soit $Q$ la distribution de l'approximation synthétique.
• L'objectif est d'apprendre $Q$ de telle sorte qu'elle soit aussi proche que possible de $P$.

B. Métrique de Proximité : MMD (Maximum Mean Discrepancy)

Pour mesurer la distance entre les distributions $P$ et $Q$, l'article utilise le MMD, une métrique géométrique préservant la structure de l'espace des distributions.

• Avantages par rapport au Transport Optimal (OT) : Le MMD est plus rapide à optimiser, plus simple à mettre en œuvre par lots (batches), et évite la malédiction de la dimensionnalité qui affecte l'OT.
• Formulation : Le MMD minimise la distance entre les moyennes des noyaux (kernel means) $\mu_P$ et $\mu_Q$ dans un Espace de Hilbert à Noyau Reproduisant (RKHS).

C. Espace de Noyaux : Noyaux Tangents Neuraux Infinis (Infinite NTK)

Pour définir l'espace de noyaux, les auteurs choisissent les Noyaux Tangents Neuraux (NTK) infinis plutôt que des noyaux fixes classiques (comme les noyaux exponentiels) ou des réseaux de neurones finis.

• Pourquoi les NTK ? Ils combinent la flexibilité non paramétrique des méthodes à noyaux avec la puissance descriptive des réseaux de neurones profonds.
• Éviter les solutions triviales : L'utilisation de NTK fixes permet d'éviter les solutions triviales qui surviendraient si l'on apprenait simultanément l'approximation vidéo et la fonction de noyau.
• Noyau Hybride : Pour garantir que le noyau soit "caractéristique" (c'est-à-dire que MMD=0 implique $P=Q$), les auteurs combinent le NTK avec un noyau gaussien via un produit :
  $$k(v_i, v_j) = \alpha \cdot k_{NTK}(v_i, v_j) \cdot k_{Gauss}(v_i, v_j)$$
  Le noyau gaussien gère l'espace image d'entrée, tandis que le NTK capture les caractéristiques de haut niveau via les gradients du réseau.

D. Segmentation

Une fois l'approximation vidéo apprise, la segmentation est effectuée en attribuant chaque frame réelle $v_i$ à la frame synthétique $e_{v_m}$ la plus similaire dans l'espace du noyau :
$$m^* = \arg \max_m k(v_i, e_{v_m})$$
Les auteurs utilisent également un lissage temporel (filtre gaussien) sur les entrées pour éviter une sur-segmentation due au bruit temporel.

3. Contributions Clés

1. Première approche par approximation vidéo en espace de noyaux profonds : C'est la première fois qu'une approximation vidéo est apprise via une optimisation du MMD dans un espace de noyaux profonds pour la segmentation non supervisée.
2. Utilisation des NTK infinis : L'adoption des NTK infinis offre une puissance descriptive supérieure aux noyaux fixes tout en restant un noyau fixe (évitant l'optimisation conjointe instable).
3. Robustesse au nombre de segments inconnu : La méthode ne force pas un nombre fixe de segments. Si certaines frames synthétiques n'ont aucune frame réelle associée, elles sont ignorées, permettant à la méthode de mieux suivre la distribution réelle des données, même lorsque le nombre d'actions est mal estimé.
4. Efficacité computationnelle : L'optimisation par lots du MMD permet de traiter des vidéos très longues, là où le Transport Optimal serait prohibitif.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur six benchmarks standards : Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended et MPII Cooking 2.

• Comparaison avec l'état de l'art : La méthode obtient des résultats compétitifs par rapport aux méthodes de pointe (TW-FINCH, ABD, ASOT, CLOT) qui opèrent par vidéo.
• Performance sur le nombre de segments inconnu : C'est le point fort de la méthode. Lorsque le nombre de segments est estimé de manière aléatoire (et donc incorrect), la méthode proposée surpasse systématiquement les méthodes agglomératives (comme TW-FINCH) en termes de score F1. Elle gère mieux les actions répétées et les transitions floues.
• Analyse des choix de modèle :
  • La combinaison NTK + Gaussien donne les meilleurs résultats (supérieurs aux NTK seuls ou aux noyaux gaussiens seuls).
  • Le lissage temporel (smoothing) est crucial, surtout pour les vidéos longues, améliorant significativement la précision (MoF).
• Limitations observées :
  • La méthode peine à distinguer des actions très similaires (ex: visser une vis 1, 2, 3, 4 dans Desktop Assembly).
  • Elle échoue lorsque des actions distinctes sont regroupées sous une même étiquette (ex: le fond dans MPII Cooking 2).
  • La sensibilité au paramètre de lissage nécessite un réglage manuel.

5. Signification et Conclusion

Cet article propose une solution élégante et efficace pour la segmentation d'actions dans des environnements contraints en données (privacy-preserving). En modélisant la vidéo comme une distribution à approximer via des noyaux profonds, l'approche contourne les limitations des méthodes de clustering traditionnelles qui ignorent la géométrie de la distribution.

La capacité de la méthode à fournir des résultats robustes même lorsque le nombre d'actions est inconnu la rend particulièrement pertinente pour des applications réelles où les annotations précises sont impossibles à obtenir. Bien que des défis subsistent pour les actions très fines ou ambiguës, l'approche ouvre une nouvelle voie en combinant la théorie des noyaux (MMD, NTK) avec l'apprentissage profond pour l'analyse vidéo non supervisée.