💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

Cet article introduit la planification de procédures de scènes inter-vidéos (CVSPP), une nouvelle tâche exigeant que les modèles extraient simultanément des preuves vidéo pertinentes et planifient des actions, et propose la fusion de preuves en une seule étape (OSEF), une méthode qui évite la sélection stricte en fusionnant toutes les preuves candidates dans un treillis souple pour la planification, atteignant ainsi des performances de pointe sur un nouveau benchmark à onze sources.

Auteurs originaux : Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

Publié 2026-08-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment préparer une tasse de café parfaite. Vous ne voulez pas seulement que le robot connaisse les étapes ; vous voulez qu'il regarde une vidéo, qu'il comprenne quelle vidéo spécifique montre la bonne méthode, qu'il trouve le moment exact où le barista verse l'eau, puis qu'il rédige lui-même les instructions. C'est le monde de la Planification de Procédures par Scènes Vidéo (Video Scene Procedure Planning). Il s'agit d'une branche de l'intelligence artificielle où les ordinateurs tentent de comprendre comment passer d'une scène de départ (comme des ingrédients bruts) à une scène d'objectif (comme un repas terminé) en regardant des vidéos.

Pendant longtemps, les chercheurs donna l'ordinateur la vidéo « correcte » et les temps de début et de fin exacts. C'était comme donner au robot la bonne page d'un livre de cuisine en lui disant : « Lis ceci ». Mais dans le monde réel, si vous demandez à un moteur de recherche « comment faire du café », il ne vous donne pas une vidéo parfaite ; il vous donne une liste de dix vidéos différentes. Certaines sont excellentes, d'autres sont terribles, et certaines montrent les mêmes étapes mais filmées dans des cuisines différentes. Le grand défi est le suivant : comment apprendre à un ordinateur à choisir la bonne vidéo parmi une liste désordonnée, à trouver la bonne partie de cette vidéo, puis à planifier les étapes, sans pour autant s'embrouiller avec les mauvaises options ? Ce document s'attaque à ce problème complexe du monde réel.

Le Problème : Le piège de la « Mauvaise Recette »

Les auteurs introduisent un nouveau jeu plus difficile appelé Cross-Video Scene Procedure Planning (CVSPP). Imaginez un défi de type émission de cuisine où l'animateur vous donne la description d'un plat (« Commencez avec des pommes de terre crues, finissez avec des frites dorées ») et une pile de quatre vidéos de cuisine différentes. Votre travail est de :

Choisir la vidéo qui montre réellement comment faire des frites.
Trouver le clip spécifique au sein de cette vidéo où la friture a lieu.
Rédiger la recette étape par étape.

La partie délicate est que les quatre vidéos peuvent porter sur la « préparation de nourriture », et elles peuvent même se ressembler beaucoup. Si vous choisissez la mauvaise vidéo (peut-être celle qui montre comment cuire un gâteau) ou le mauvais clip (peut-être la partie où ils lavent les pommes de terre, et non la friture), votre recette sera absurde.

Les méthodes précédentes tentaient de résoudre cela en jouant à « deviner et vérifier ». Elles choisissaient une vidéo, disaient « D'accord, c'est celle-là ! », puis essayaient de planifier les étapes. Mais si elles choisissaient la mauvaise vidéo dès le départ, tout le plan s'effondrait. C'est comme essayer de suivre une carte pour aller à Paris alors que vous avez accidentellement choisi une carte de Londres ; peu importe la qualité de votre lecture de la carte, vous n'atteindrez jamais la Tour Eiffel. Les auteurs soutiennent que faire ce « choix difficile » trop tôt est une erreur fatale.

La Solution : OSEF (One-Step Evidence Fusion)

Pour correr cela, l'équipe a construit un nouveau système appelé OSEF (One-Step Evidence Fusion). Au lieu de choisir une seule vidéo et de jeter les autres, OSEF garde toutes les vidéos dans le mélange jusqu'à la toute dernière seconde.

Imaginez que vous êtes un détective essayant de résoudre un mystère. Au lieu d'arrêter le premier suspect que vous voyez, vous gardez les quatre suspects dans la pièce. Vous examinez les indices (la description de « début » et d'« objectif ») et vous demandez : « À quel point le Suspect A correspond-il à l'histoire ? Et le Suspect B ? » Vous ne choisissez pas seulement un seul individu ; vous créez un « tableau de score » pour chaque instant de chaque vidéo.

Ensuite, OSEF utilise un « traducteur » spécial (appelé adaptateur token-global) pour transmettre ce tableau de score complet au cerveau de planification. C'est comme donner au chef une immense feuille transparente qui montre chaque étape possible de chaque vidéo, pondérée par la probabilité qu'elle soit correcte. Le chef peut alors regarder l'ensemble de l'image et décider : « Ah, l'étape de la friture dans la Vidéo 1 semble être la meilleure, mais l'étape de la découpe dans la Vidéo 2 est plus claire. »

En gardant toutes les options « souples » et disponibles, le système évite le piège de se verrouiller sur la mauvaise vidéo trop tôt. Cela permet au processus de planification de se corriger, même si la supposition initiale sur la meilleure vidéo était légèrement erronée.

Ce qu'ils ont trouvé

Les auteurs ont testé leur nouvelle méthode contre neuf familles de planification sur un benchmark massif qu'ils ont construit, comprenant 1-11 sources différentes de vidéos d'instruction (comme la cuisine, le bricolage et le nettoyage). Ils ont créé un « tableau de score » avec 14 scénarios de test différents.

Voici ce que disent les chiffres :

La Grande Victoire : Sur les six scénarios de test les plus fiables (appelés « cellules natives »), OSEF arrive en première position dans chacun d'eux.
L'Amélioration : Sur quatre tests spécifiques où les vidéos étaient très similaires (même tâche), OSEF a amélioré le taux de réussite de l'obtention de la bonne vidéo et du bon plan de 2,9 à 10,7 points de pourcentage par rapport aux meilleures méthodes précédentes.
La Recette Secrète : Les auteurs ont découvert que le plus grand gain ne provenait pas d'une nouvelle mathématique sophistiquée pour choisir la vidéo, mais de l'interface qui maintenait toutes les options vidéo ouvertes pour le planificateur. C'est l'approche « token-global » qui a fait la différence.
Les Limites : Le système éprouve toujours des difficultés lorsque les vidéos sont très courtes ou que les étiquettes sont désordonnées. Dans cinq des scénarios de test convertis, le système n'a pas performé mieux que le simple fait de deviner la réponse la plus commune (le « plancher de séquence majoritaire »), suggérant que pour certains types de données désordonnées, le problème est encore très difficile.

Pourquoi c'est important

Ce document démontre que lorsque nous demandons à des ordinateurs d'apprendre à partir d'un tas désordonné de vidéos du monde réel, nous ne pouvons pas les forcer à faire un choix unique et tranché immédiatement. Au lieu de cela, nous devons les laisser garder toutes les possibilités en tête à la fois, en laissant la décision finale émerger de l'ensemble de l'image.

Les auteurs précisent avec prudence que, bien qu'il s'agisse d'une avancée significative, ce n'est pas une baguette magique. Le système repose toujours sur des caractéristiques vidéo pré-traitées et des requêtes déterministes, et il peut encore être confus si les vidéos sont trop similaires ou si les données sont trop bruitées. Cependant, en prouvant que « garder ses options ouvertes » fonctionne mieux que de « choisir un vainqueur tôt », ils ont offert aux chercheurs en IA une nouvelle façon plus robuste d'enseigner aux machines comment apprendre à partir du chaos merveilleux des vidéos d'instruction humaines.

Résumé Technique : OSEF : Fusion de Preuves en une Étape pour la Planification de Procédures de Scènes Inter-Vidéos

1. Définition du Problème : Planification de Procédures de Scènes Inter-Vidéos (CVSPP)

Le document traite d'une lacune dans la planification de procédures de scènes vidéo (VSPP) existante. Les systèmes VSPP traditionnels supposent que la vidéo de preuve correcte et la fenêtre temporelle sont fournies en entrée pour prédire une séquence d'actions transformant une scène de départ en une scène d'objectif. Dans des scénarios réels, cependant, la preuve correcte n'est pas disponible ; un système doit d'abord extraire la bonne vidéo à partir d'un ensemble de candidats et localiser la fenêtre temporelle pertinente avant de planifier.

Les auteurs introduisent la Planification de Procédures de Scènes Inter-Vidéos (CVSPP) comme une tâche de référence où un modèle reçoit :

Une requête légale : Une description textuelle d'une transition départ-objectif dont les réponses ont été occultées (ex: « départ : pommes de terre crues ; objectif : frites dorées servies ») sans révéler l'ID de la vidéo, les horodatages ou la séquence d'actions.
Un ensemble de candidats ( $K$ vidéos), chacune divisée en $M$ cellules temporelles.

Le modèle doit simultanément :

Extraire (Retrieve) la vidéo de support correcte.
Localiser la fenêtre temporenelle pertinente au sein de cette vidéo.
Planifier la séquence d'actions ordonnée en ensemble fermé reliant les états de départ et d'objectif.

La tâche est définie par deux défis couplés :

Ambiguïté de la preuve pour une même tâche : Plusieurs vidéos candidates peuvent démontrer la même procédure nominale avec des étapes et des fenêtres adjacentes presque identiques, rendant le conditionnement par le seul nom de la tâche insuffisant.
Propagation d'erreur de l'extraction vers la planification : Dans les cascades standard de type « extraction puis planification », une sélection dure précoce de la mauvaise vidéo ou de la mauvaise fenêtre transmet une chaîne de scènes incorrecte au planificateur, provoquant l'échec irrémédiable de la perte de planification.

2. Méthodologie : Fusion de Preuves en une Étape (OSEF)

Pour répondre à ces défis, les auteurs proposent One-Step Evidence Fusion (OSEF), un cadre qui retarde l'engagement irréversible de la preuve. Au lieu de sélectionner une seule vidéo et de découper une fenêtre avant la planification, OSEF évalue tous les scores de toutes les cellules candidates et injecte la représentation complète de la preuve douce (soft evidence) dans un chemin unique et différentiable.

L'architecture se compose de trois composants principaux :

Treillis de Preuves Conditionné par la Requête (Query-Conditioned Evidence Lattice) :
- Le modèle évalue chaque cellule $(k, m)$ du treillis candidat de $K \times M$ par rapport à la requête légale $q$ .
- Un levage symétrique sans paramètre construit des intervalles fermés valides $(i \le j)$ pour former un treillis de scores $H_\theta(q, k, i, j)$ .
- L'argmax de ce treillis détermine la vidéo rapportée et l'étendue localisée pour l'évaluation, mais le chemin du planificateur conserve l'ensemble des $K \times M$ cellules.
Adaptateur de Preuve-vers-Planification (E2P) Global-par-Token :
- Ce composant empêche la perte de signaux au niveau de la cellule qui se produit dans le pooling standard.
- Il aplatit l'intégralité du treillis $K \times M$ (sans découpage) et le traite via un encodeur Transformer à une seule couche.
- $2T$ requêtes de points terminaux apprises (représentant les états de départ et d'objectif pour chacune des $T$ étapes) effectuent une attention croisée sur toutes les cellules du treillis.
- Cela produit un tenseur de chaîne d'états de scène ( $B \times T \times 2 \times d_v$ ) où toute la preuve de chaque candidat reste disponible pour le planificateur, même si la sélection par argmax dur est incorrecte.
Planificateur Conditionné par l'Objectif :
- Un Transformer à trois couches mappe les paires d'états vers les logits d'action par étape.
- La requête légale conditionne le planificateur via deux mécanismes : une mise à l'échelle et un décalage affine de type FiLM sur les tokens d'état, et comme un token distinct prépendu pour l'attention.
- Une tête partagée décode les $T$ étapes.

Objectif d'entraînement :
Le modèle utilise une Supervision en Cascade Conjointe (Joint-Cascade Supervision). La perte ( $L_{JC}$ ) combine la perte de cross-entropie de la planification générée à partir de la chaîne globale douce ( $\hat{S}$ ) avec une somme pondérée des pertes des plans générés par les chaînes candidates individuelles ( $S_k$ ), pondérées par la probabilité d'extraction $p_k$ . Cela permet à la perte de planification de remodeler la représentation de la preuve.

3. Construction du Benchmark

Les auteurs ont construit un benchmark à partir de 11 sources de vidéos instructionnelles (3 benchmarks de planification natifs : COIN, CrossTask, NIV ; et 8 sources converties comme YouCook2, Ego4D, etc.).

Audit de la Requête Légale : Une porte de contrôle « fail-closed » garantit que les requêtes ne contiennent aucune fuite de vérité terrain (pas d'ID de vidéo, d'horodatages ou de séquences d'actions).
Rôles Négatifs : Le benchmark inclut des rôles négatifs typés pour tester des modes de défaillance spécifiques : Mauvaise Vidéo (WV), Mauvaise Fenêtre (WO) et Mauvaise Tâche (WA).
Métriques :
- Axe de la Preuve : R@1 pour la vidéo exacte, MRB (MRR) et IoU de l'étendue (span-IoU).
- Axe de la Planification : Précision Moyenne par étape (MAcc) et Succès de Séquence Exacte (PLAN-SR).
- Métrique Complète : FULL-SR, la probabilité d'extraire correctement la vidéo, de localiser la fenêtre et de prédire exactement la séquence d'actions simultanément.

4. Résultats Clés

Le papier évalue OSEF contre neuf familles de planificateurs adaptés (incluant des planificateurs latents, graphiques, génératifs et de séquences discrètes) à travers 14 cellules source-horizon.

Performance de Classement : OSEF arrive premier sur les six cellules natives (COIN, CrossTask, NIV) où le classement des méthodes est valide.
Gains de Performance : Sur quatre cellules de même tâche correspondantes (COIN-T3/T4 et CrossTask-T3/T4), OSEF améliore le FULL-SR de 2,9 à 10,7 points de pourcentage par rapport à une base SOTA améliorée par sélection dure.
Analyse des Composants : Une étude d'ablation révèle que l'interface globale-par-token (retenir toutes les cellules plutôt que de faire un pooling) représente le plus grand incrément de performance. Le pooling doux seul est insuffisant ; la capacité de lire l'ensemble du treillis via des requêtes apprises est critique.
Modes de Défaillance :
- L'extraction est presque saturée sur les candidats de tâches distinctes pour certaines sources (ex: NIV-T3 atteint 99,20 % R@1), mais la planification reste le goulot d'étranglement.
- La localisation est faible ; un plan correct ne garantit pas une fenêtre correcte (le FULL-SR reste élevé même quand le span-IoU est bas).
- Sur les sources converties avec des étiquettes grossières (ex: CEgo, TACoS), la performance se situe souvent près du « plancher de la séquence majoritaire », indiquant que ces cellules sont des tests de stress dégénérés en termes de labels plutôt que des preuves de classement.

5. Signification et Revendications

Le papier affirme être le premier benchmark à évaluer conjointement l'extraction, la localisation et la planification à partir d'une requête dont les réponses ont été occultées. Sa signification réside dans :

Formalisation du Problème Couplé : Il sépare explicitement l'« ambiguïté de la preuve pour une même tâche » de la « propagation d'erreur de l'extraction vers la planification », montant que les cascades de sélection dure sont fragiles.
Introduction de la Fusion Douce : OSEF démontre qu'en gardant la preuve « douce » sur l'ensemble du treillis candidat et en l'injectant au planificateur via un adaptateur global-par-token, on surpasse significativement les bases de sélection dure.
Évaluation du Transfert : Il fournit un banc d'essai rigoureux pour comprendre comment les planificateurs VSPP existants se transfèrent lorsque la preuve n'est pas fournie, révélant que la plupart des planificateurs hérités échouent sans l'interface spécifique d'OSEF.

Les auteurs notent modestement des limites : la configuration actuelle utilise des caractéristiques gelées et des requêtes déterministes, et le coût du treillis augmente avec le nombre de candidats ( $K$ ). Ils identifient le décodage fidèle de l'étendue et des backbones plus puissants comme des défis ouverts. Le package supplémentaire inclut les constructeurs de modèles, le code d'évaluation et les audits par cellule.