D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

Imaginez que vous regardez une longue vidéo non éditée de quelqu'un en train de cuisiner un gâteau. La caméra ne s'arrête jamais de tourner ; elle capture le tamisage de la farine, le cassage des œufs, le vrombissement du mélangeur et le bip du minuteur du four, tout cela dans un flux continu. Votre objectif est d'agir comme un monteur super intelligent capable de regarder ces images brutes et de les découper automatiquement en scènes parfaites et étiquetées : « Mélange », « Cuisson », « Refroidissement ». C'est le défi de la segmentation temporelle d'actions. Si les ordinateurs sont excellents pour reconnaître ce qu'est un objet (comme un chat ou une voiture), déterminer exactement quand une action s'arrête et quand une autre commence dans une vidéo réelle et désordonnée est beaucoup plus difficile.

Pour résoudre cela sans avoir besoin qu'un humain note chaque seconde de la vidéo (ce qui est incroyablement coûteux et lent), les scientifiques utilisent un outil mathématique appelé Transport Optimal. Pensez à cela comme à un problème de logistique : vous avez un tas de colis de « cadres » (les moments de la vidéo) et un ensemble d'entrepôts d'« actions » (les étiquettes comme « mélange » ou « cuisson »). L'ordinateur essaie de trouver la manière la plus efficace d'expédier chaque cadre vers l'entrepôt correct. Dans les meilleurs scénarios, l'ordinateur apprend à deviner les étiquettes, utilise ces suppositions pour améliorer sa compréhension de la vidéo, puis utilise cette meilleure compréhension pour deviner à nouveau les étiquettes, créant ainsi une boucle de rétroaction utile. C'est le fondement d'une méthode appelée CLOT, qui a été très fructueuse pour démêler ces puzzles vidéo.

Cependant, les chercheurs derrière cette nouvelle publication ont remarqué un léger dysfonctionnement dans cette boucle de rétroaction. C'est comme une danse où la musique (les étiquettes d'action) ne cesse de changer, mais où les danseurs (les cadres vidéo) essaient de suivre une carte dessinée hier. À mesure que l'ordinateur comprend mieux la vidéo, la « carte » qu'il utilise pour définir les actions ne se met pas à jour assez vite pour correspondre à l'image nouvelle et plus nette. Ce décalage perturbe l'ordinateur, particulièrement lors de moments délicats comme les transitions rapides ou les actions très courtes. La publication présente une nouvelle méthode appelée D-CLOT (Double Closed Loop Optimal Transport) pour corriger cela. En ajoutant un « stabilisateur » qui empêche les cadres vidéo de devenir trop saccadés et une étape de « recalibrage » qui met constamment à jour la carte d'action pour correspondre à la nouvelle danse, D-CLOT aide l'ordinateur à voir la vidéo beaucoup plus clairement. Les résultats montrent que cette approche améliore considérablement la précision du découpage de ces vidéos en scènes, même sur des tâches très difficiles et fines comme l'assemblage de jouets.

Le Problème : Une Carte qui ne Correspond pas au Territoire

Imaginez que vous naviguiez dans une ville en utilisant une carte. Au début, la carte est un peu floue. À mesure que vous marchez, vous commencez à voir les rues plus clairement et vous mettez à jour votre image mentale de la ville. Mais que se passe-t-il si la carte papier que vous avez en main ne se met jamais à jour ? Vous marchez dans une ville qui a changé, mais votre carte montre toujours l'ancien aménagement. Vous pourriez essayer de tourner à gauche là où un nouveau bâtiment se dresse désormais, ou vous pourriez être confus parce que les noms de rues sur votre carte ne correspondent pas aux panneaux que vous voyez.

C'est exactement ce qui arrivait à la méthode précédente, la plus performante, CLOT. CLOT était excellente pour affiner l'« image mentale » des cadres vidéo, rendant les cadres plus nets et plus distincts. Elle prenait une vidéo floue et, grâce à un processus ingénieux de supposition et de correction, faisait en sorte que les cadres semblent appartenir à des actions spécifiques. Cependant, la « carte » qu'elle utilisait pour définir ces actions — les prototypes d'action (les définitions mathématiques de ce à quoi ressemble le « mélange » ou la « cuisson ») — ne se mettait pas à jour assez rapidement.

Les auteurs de cette publication ont identifié cela comme une incohérence représentation-prototype. À mesure que les cadres vidéo devenaient plus clairs et mieux organisés, les définitions des actions restaient figées dans leur ancien état, moins précis. Cela était particulièrement préjudiciable lors des transitions ambiguës (quand une action s'estompe dans une autre) et pour les actions courtes ou peu fréquentes (comme un rapide « claquement » de doigts ou une étape rare comme « ajouter du sel »). Dans ces cas, les anciennes définitions rigides étaient submergées par les actions dominantes, ce qui amenait l'ordinateur à manquer les petits détails ou à fusionner deux actions différentes en une seule.

La Solution : Une Double Boucle de Correction

Pour corriger cela, l'équipe a construit D-CLOT, qui ajoute une « double boucle fermée » au système. Considérez cela comme l'ajout de deux nouveaux contrôles de sécurité sur la piste de danse.

1. Le Stabilisateur Contraint par Graphe (Le Filet de Sécurité)
Premièrement, le système devait s'assurer que les cadres vidéo ne devenaient pas trop erratiques lorsqu'ils étaient affinés. Parfois, dans le processus de tentative de regroupement de cadres similaires, l'ordinateur pourrait accidentellement lier deux cadres éloignés dans le temps simplement parce qu'ils se ressemblent. Cela brise le flux naturel de la vidéo.

D-CLOT introduit un module contraint par graphe. Imaginez cela comme un filet de sécurité qui garde les danseurs proches de leurs voisins d'origine. Il garantit que si deux cadres vidéo étaient côte à côte dans les images brutes, ils restent proches l'un de l'autre dans la version « affinée » de l'ordinateur. Cela préserve la structure du voisinage local, empêissant l'ordinateur de créer des connexions factices entre des moments sans rapport. Cela stabilise la géométrie de la vidéo, s'assurant que le « territoire » est fiable avant de tenter de mettre à jour la « carte ».

2. Le Raffinement de l'Embedding d'Action (La Mise à Jour de la Carte)
Une fois les cadres vidéo stabilisés, le système doit mettre à jour les définitions d'action pour correspondre à cette image nouvelle et plus claire. La méthode précédente ne mettait à jour ces définitions que lentement, via un processus de descente de gradient, ce qui revient à essayer de pousser un rocher massif avec ses mains. C'est lent et on peut rester bloqué.

D-CLOT introduit une étape de ré-ancrage périodique. De temps en temps, le système s'arrête, observe les cadres vidéo stabilisés et recalcule complètement ce que devraient être les prototypes d'action. Les auteurs ont testé deux méthodes pour ce faire :

• D-CLOT (Le Rafraîchissement K-Means) : Cette méthode utilise une technique de regroupement standard (k-means) pour trouver le centre des nouveaux groupes de cadres et déplace les définitions d'action vers ce centre. C'est un rafraîchissement rapide et indépendant de l'assignation.
• D-CLOTB (La Mise à jour Barycentrique) : C'est la version la plus sophistiquée. Elle ne se contente pas de regarder le centre des groupes ; elle calcule le barycentre de transport optimal. Imaginez que vous avez un tas de sable (les cadres vidéo) et que vous voulez trouver le point d'équilibre parfait. Cette méthode pèse chaque cadre en fonction de la confiance de l'ordinateur quant à son appartenance à cette action. Si l'ordinateur est très sûr qu'un cadre est un « mélange », il tire fortement la définition du « mélange ». S'il est incertain, il tire moins. Cela crée une mise à jour sensible à l'assignation qui correspond parfaitement à l'état actuel de la vidéo.

Les Résultats : Des Coupes Plus Nettes et une Meilleure Compréhension

L'équipe a testé D-CLOT sur cinq jeux de données, allant de vidéos de cuisine (comme la préparation du petit-déjeuner ou des salades) à des vidéos d'instruction et même un nouveau jeu de données très difficile appelé Assembly101, qui concerne l'assemblage de jouets.

Les résultats sont impressionnants. En corrigeant le décalage entre les cadres vidéo et les définions d'action, D-CLOT a considérablement amélioré la qualité de la segmentation :

• Sur le jeu de données YouTube Instructions (YTI), la nouvelle méthode a amélioré le score F1 (une mesure de la correspondance entre les segments et la vérité terrain) de +12,7 points et le mIoU (intersection moyenne sur union) de +10,2 points par rapport à la meilleure méthode précédente.
• Sur le jeu de données 50Salads, elle a enregistré des gains de +8,9 points F1 dans l'évaluation au niveau de l'activité.
• Plus notablement, l'équipe a établi la première base de référence non supervisée sur Assembly101. Ce jeu de données est beaucoup plus difficile que les autres, avec des vidéos dépassant en moyenne 13 000 cadres et contenant de 11 à 42 actions fines par catégorie de jouet. Même ici, D-CLOT a surpassé les méthodes précédentes, montant que l'approche de la « double boucle » fonctionne même lorsque les actions sont minuscules et que la vidéo est longue et bruitée.

Les auteurs ont constaté que les deux composants — le stabilisateur de graphe et le ré-ancrage de prototype — fonctionnent mieux ensemble. Le stabilisateur empêche les cadres vidéo de devenir chaotiques, et le ré-ancrage garantit que les définitions d'action restent synchronisées avec la vidéo. La variante D-CLOTB, avec sa mise à jour barycentrique sensible à l'assignation, avait tendance à être la plus robuste, surtout sur les jeux de données présentant des durées d'action complexes et déséquilibrées.

Pourquoi Cela Importe

Cette publication suggère que pour que les ordinateurs comprennent réellement les vidéos non découpées sans l'aide humaine, ils doivent constamment mettre à jour leur « dictionnaire » interne d'actions pour correspondre à la clarté de la vidéo qu'ils observent. Il ne suffit pas de raffiner la vidéo ; il faut aussi raffiner les définitions de ce que l'on regarde.

En introduisant ce mécanisme de double boucle, les chercheurs ont montré que la segmentation d'action non supervisée peut devenir beaucoup plus fiable, en particulier pour les actions délicates, courtes et rares qui piègent souvent l'IA. Ils n'ont pas seulement ajusté les chiffres ; ils ont corrigé un problème structurel fondamental dans la façon dont ces systèmes apprennent. Bien qu'il reste de la marge de progression, notamment sur le jeu de données très fin de l'Assembly101, D-CLOT établit une nouvelle norme pour la façon dont les machines peuvent apprendre à regarder et à comprendre le monde qui les entoure, une image à la fois.