💻 computer science

EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026

Ce papier présente EgoAction, un cadre unifié pour la détection d'actions en vision égocentrique dans le défi EPIC-KITCHENS, qui améliore la précision de localisation en découplant la modélisation temporelle des verbes et des noms et en employant une nouvelle stratégie de fusion pondérée dynamique pour combiner de manière adaptative leurs prédictions en fonction de la fiabilité spécifique à chaque flux.

Auteurs originaux : Zhiheng Fu, Zixu Li, Zhiwei Chen, Fangxu Liu, Yupeng Hu, Weili Guan, Liqiang Nie

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiheng Fu, Zixu Li, Zhiwei Chen, Fangxu Liu, Yupeng Hu, Weili Guan, Liqiang Nie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une longue vidéo non montée de quelqu'un cuisinant dans une cuisine, filmée depuis une caméra fixée sur sa propre tête. La vidéo est tremblante, la caméra bouge avec sa tête, et de nombreux objets encombrent le champ de vision. Votre tâche consiste à agir comme un éditeur ultra-précis : vous devez identifier exactement quand une action spécifique commence et se termine (comme « ouvrir un réfrigérateur » ou « remuer une poêle ») et l'étiqueter correctement.

Ce papier, intitulé EgoAction, décrit un système conçu pour remporter un défi spécifique (le Défi de Détection d'Actions EPIC-KITCHENS) en résolvant trois problèmes principaux qui font généralement échouer les ordinateurs.

Voici la décomposition de leur solution à l'aide d'analogies simples :

Le Problème : Deux Experts, Une Tâche Désordonnée

Les chercheurs ont réalisé que reconnaître ce qui se passe (le « Nom », comme « tasse ») et ce qui est fait (le « Verbe », comme « prendre ») sont deux compétences différentes qui échouent souvent de manières distinctes.

L'Expert « Nom » : Cet expert est excellent pour repérer les objets. Mais si la tasse est cachée derrière une main ou enfouie dans une pile de vaisselle, cet expert se perd et pourrait deviner le mauvais moment où l'action s'est produite.
L'Expert « Verbe » : Cet expert est excellent pour repérer les mouvements. Mais si le mouvement est très subtil ou se produit lentement, cet expert se perd et pourrait deviner le mauvais moment de début ou de fin.

L'Ancienne Méthode : Auparavant, les systèmes se contentaient de prendre la moyenne de ce que les deux experts avaient deviné. Si l'expert « Nom » était confiant mais que l'expert « Verbe » était totalement perdu, la moyenne tirait la bonne réponse vers la mauvaise, gâchant ainsi le timing.

La Solution : Le Gestionnaire « Conscient de la Fiabilité »

Le système EgoAction agit comme un gestionnaire intelligent qui ne se contente pas de moyenner les opinions de deux employés ; au lieu de cela, il écoute celui qui est le plus confiant à ce moment précis.

1. Les Deux Équipes Séparées (Détection Découplée)

Au lieu de forcer l'ordinateur à apprendre « ouvrir le réfrigérateur » comme un seul concept géant et compliqué, le système entraîne deux équipes séparées :

Équipe Nom : Ne cherche que les objets (réfrigérateur, tasse, couteau).
Équipe Verbe : Ne cherche que les actions (ouvrir, prendre, remuer).
Elles travaillent indépendamment, en utilisant un cerveau visuel puissant (appelé VideoMAE-L) qui a été pré-entraîné sur des milliers de vidéos de cuisine.

2. La « Fusion Pondérée Dynamique » (Le Gestionnaire Intelligent)

C'est la plus grande innovation du papier. Lorsque les deux équipes terminent leur travail, elles proposent un moment de début et de fin pour une action.

L'Ancienne Règle : « Prenons simplement la moyenne de vos deux moments. »
La Nouvelle Règle (DWF) : Le système examine le score de confiance de chaque équipe.
- Si l'Équipe Nom est sûre à 99 % qu'elle voit une tasse, mais que l'Équipe Verbe n'est sûre qu'à 50 % du mouvement de « prise », le système dit : « D'accord, nous ferons confiance au timing de l'Équipe Nom pour le début et la fin de ce clip. »
- Si l'Équipe Verbe crie : « Je vois définitivement qu'on remue ! » mais que l'Équipe Nom est incertaine parce que la poêle est floue, le système fait confiance au timing de l'Équipe Verbe.

C'est comme un arbitre dans un match qui dit : « Le joueur qui est immobile et regarde le ballon décide où l'action a commencé, pas le joueur qui court partout, confus. »

3. Assembler le Puzzle (Composition)

Une fois que le système a obtenu le meilleur timing de l'équipe la plus fiable, il combine le meilleur « Verbe » et le meilleur « Nom » pour créer l'étiquette finale (par exemple, « prendre » + « tasse » = « prendre une tasse »). Il le fait pour les 10 verbes et noms les plus probables, créant une liste de meilleurs candidats, puis utilise un filtre (Soft-NMS) pour éliminer les suppositions en double afin que vous n'obteniez pas dix étiquettes « prendre une tasse » pour la même action.

Les Résultats

Le système a été testé sur un ensemble de données massif de vidéos de cuisine.

Il a obtenu un score de 25,94 % (appelé « mAP ») sur le classement officiel, se classant 3ᵉ parmi tous les concurrents.
Il a prouvé qu'en laissant les experts « Nom » et « Verbe » travailler séparément et ne les combinant que lorsque l'un est clairement plus fiable, le système commet moins d'erreurs sur quand les choses se produisent.

Résumé

Imaginez EgoAction comme une équipe de deux spécialistes (un pour les objets, un pour le mouvement) travaillant sur une vidéo tremblante. Au lieu de moyenner aveuglément leurs opinions contradictoires, le système agit comme un superviseur intelligent : « Celui qui est le plus confiant à l'instant présent décide du timing exact. » Ce simple changement de stratégie leur a permis de battre de nombreux autres systèmes complexes lors de la compétition.

Résumé technique : EgoAction pour la détection d'actions EPIC-KITCHENS

1. Définition du problème

L'article traite du défi de la détection d'actions EPIC-KITCHENS-100, qui exige que les modèles localisent les instants de début et de fin des occurrences d'actions dans de longues vidéos égocentriques non découpées, et attribuent une étiquette compositionnelle composée d'un verbe et d'un nom (par exemple, « ouvrir frigo »).

La difficulté fondamentale réside dans le couplage de la localisation temporelle et de la sémantique compositionnelle. Une prédiction n'est correcte que si l'Intersection sur Union temporelle (tIoU) dépasse un seuil et que le couple verbe-nom est exact. Les auteurs identifient trois goulots d'étranglement spécifiques dans ce contexte :

C1 : Ambiguïté des frontières : Les tremblements de caméra égocentriques et les phases d'interaction courtes provoquent des décalages temporels dans les propositions, même lorsque la classification est correcte.
C2 : Dégradation spécifique au flux : Le flux des noms échoue souvent en raison d'occlusions ou d'encombrements, tandis que le flux des verbes échoue en raison de mouvements subtils ou différés. Une moyenne arithmétique fixe des frontières des deux flux amplifie les erreurs lorsque l'un des flux est peu fiable.
C3 : Sparsité compositionnelle : Avec 97 verbes et 300 noms, l'espace d'action est vaste mais épars. Le système doit maintenir des candidats riches sans explosion combinatoire avant la suppression des non-maximums (NMS).

2. Méthodologie : EgoAction

Le système proposé, EgoAction (Composition d'actions égocentriques avec fusion temporelle consciente de la fiabilité), est un pipeline de détection unifié et découplé. Il évite de forcer les noms et les verbes dans un seul détecteur conjoint, les traitant plutôt comme des flux complémentaires avec une fiabilité de localisation variable.

2.1. Extraction de caractéristiques

Le pipeline utilise des caractéristiques VideoMAE-L pré-extraites, affinées sur EPIC-KITCHENS. Les caractéristiques sont extraites de vidéos à 30 images par seconde avec une longueur de clip de 16 et un pas de snippet de 8. Pour les vidéos longues, une inférence par fenêtre glissante est employée avec une longueur de fenêtre maximale de 4608 étapes de caractéristiques et un chevauchement de 50 %.

2.2. Détection temporelle causale découplée

Le système emploie deux détecteurs séparés de style CausalTAD (un pour les noms, un pour les verbes) basés sur l'implémentation OpenTAD.

Architecture : Les caractéristiques sont projetées dans des représentations temporelles causales et traitées via une Pyramide Temporelle Multi-niveaux (7 niveaux).
Tête : Une tête de détection sans ancre prédit les probabilités de classe par point et les distances aux frontières de segment.
Entraînement : Les détecteurs de noms et de verbes sont entraînés séparément sur la division train+val en utilisant AdamW, la précision mixte et des poids EMA.
Interaction inter-flux (Optionnelle) : Une variante à double flux a été explorée où une porte d'incertitude supprime les caractéristiques auxiliaires peu fiables avant l'attention croisée, mais la soumission finale maintient les flux découplés pour assurer la robustesse, reportant les décisions de fiabilité au post-traitement.

2.3. Évaluation des actions compositionnelles

Pour chaque indice de proposition aligné $j$ , le système combine les $K$ meilleurs candidats de noms et de verbes ( $K_n=10, K_v=10$ ).

Calcul du score : Le score d'action est la moyenne géométrique des probabilités de nom et de verbe : $S_{j,p,q} = \sqrt{P^n_{j,p} P^v_{j,q}}$ . Cela garantit qu'un candidat n'est fort que lorsque les preuves d'objet et de mouvement le soutiennent tous deux.
Fusion des frontières : L'innovation critique est la Fusion Pondérée Dynamique (DWF). Au lieu d'une moyenne arithmétique fixe, le système calcule des poids par proposition basés sur la confiance de classification maximale de chaque flux ( $C^n_j$ $C_{j}^{n}$ et $C^v_j$ $C_{j}^{v}$ ).
- Poids : $W^n_j = \frac{C^n_j}{C^n_j + C^v_j + \epsilon}$ et $W^v_j = \frac{C^v_j}{C^n_j + C^v_j + \epsilon}$ .
- Frontière fusionnée : $\hat{b}_j = W^n_j b^n_j + W^v_j b^v_j$ .
- Logique : Cela déplace l'autorité des frontières vers le flux le plus fiable (par exemple, si le nom est occlus, le flux de verbes domine la localisation temporelle) sans altérer le score sémantique de l'action.

2.4. Post-traitement

Les propositions fusionnées subissent un Soft-NMS (par classe) pour supprimer les détections dupliquées avec des intervalles fortement chevauchants. Le système agrège les résultats des fenêtres glissantes et produit la soumission JSON finale.

3. Contributions clés

Analyse du problème : Les auteurs identifient que la détection conjointe directe ou la fusion fixe à deux flux est insuffisante pour EPIC-KITCHENS en raison de l'ambiguïté des frontières égocentriques, de la dégradation spécifique aux flux et de la sparsité compositionnelle.
Pipeline EgoAction : Un pipeline de détection causale découplé utilisant des caractéristiques VideoMAE-L affinées sur EPIC, des détecteurs temporels spécifiques aux facteurs et une règle de fusion pondérée dynamique (DWF) novatrice pour le post-traitement des frontières.
Performance : Le système atteint une performance équilibrée entre les facteurs, évitant le compromis où l'amélioration d'une métrique dégrade l'autre.

4. Résultats expérimentaux

Le système a été évalué sur le classement officiel 2026 de la détection d'actions EPIC-KITCHENS (Codabench).

mAP Action : 25,94 (Moyenne sur tIoU 0,1–0,5).
mAP Verbe : 28,66.
mAP Nom : 28,61.
Classement : Le système s'est classé 3e parmi toutes les soumissions, suivant la 2e place de 0,31 points et surpassant la 4e place de 1,73 points.
Insights des ablations : L'écart entre la mAP au niveau des facteurs (~28,6) et la mAP action (25,94) souligne que la précision de la localisation temporelle reste le goulot d'étranglement principal, en particulier aux seuils tIoU plus élevés (0,5). La DWF vise spécifiquement cela en adaptant l'autorité des frontières en fonction de la confiance du flux.

5. Signification et affirmations

L'article affirme qu'EgoAction fournit un système compact et reproductible pour la détection d'actions temporelles égocentriques. Sa signification principale réside dans l'observation que les flux de verbes et de noms échouent différemment (mouvement vs visibilité) et qu'une moyenne fixe des frontières est sous-optimale.

En remplaçant la moyenne codée en dur par une Fusion Pondérée Dynamique, le système déplace l'autorité des frontières vers le flux le plus fiable tout en préservant le mécanisme de notation d'action découplé. Les auteurs soulignent qu'il s'agit d'un opérateur léger, uniquement tensoriel, ne nécessitant aucune tête de calibration apprise, évitant ainsi le surapprentissage tout en traitant efficacement l'asymétrie de fiabilité des flux inhérente aux données vidéo égocentriques. Les résultats démontrent que séparer les décisions de localisation de la notation sémantique, puis les fusionner en fonction de la confiance, est une stratégie supérieure pour la détection d'actions compositionnelles dans des vidéos non découpées.