🤖 machine learning

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

UNIEGO introduit un cadre de distillation hiérarchique multi-enseignants qui emploie des modèles de Proxy spécifiques à la représentation et une stratégie de Distillation de Proxy Sélective pour unifier des connaissances diverses provenant de multiples points de vue, modalités et modèles de fondation en un seul encodeur de vidéo égocentrique de pointe.

Auteurs originaux : Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à cuisiner un plat complexe, mais que vous portez un bandeau sur les yeux et que vous n'avez qu'un minuscule trou de serrure devant le visage. Vous pouvez voir la casserole, mais vous ne voyez pas vos mains, les ingrédients sur le plan de travail, ni la personne debout à côté de vous. C'est exactement le problème auquel les ordinateurs sont confrontés lorsqu'ils essaient de comprendre des vidéos filmées du point de vue d'une personne (appelées vidéo égocentrée). La caméra voit une vue étroite, instable et souvent obstruée, manquant des détails cruciaux sur le corps de la personne ou sur la pièce environnante.

Le document présente un nouveau système appelé UNIEGO pour résoudre cela. Considérez UNIEGO comme un chef cuisinier qui veut apprendre la recette parfaite, mais au lieu de simplement regarder à travers ce petit trou de serrure, il a accès à une équipe de neuf professeurs experts.

Voici comment fonctionne UNIEGO, décomposé en étapes simples :

1. Le Problème : Trop de professeurs, trop de langues

Habituellement, si vous voulez apprendre de nombreux professeurs, vous leur demandez simplement d'enseigner tous en même temps. Mais dans ce cas, les professeurs parlent des « langues » différentes et regardent le monde sous des angles différents :

L'écart de point de vue : Certains professeurs portent la même caméra que vous (égocentriques), tandis que d'autres vous regardent depuis l'autre bout de la pièce (exocentriques).
L'écart de modalité : Certains professeurs voient en couleurs standard (RGB), d'autres voient en profondeur 3D (comme un capteur de vision nocturne), et d'autres ne voient que le squelette de vos os.
L'écart de modèle : Certains professeurs sont de gigantesques modèles d'IA pré-entraînés (Modèles Fondations) qui connaissent beaucoup de choses sur le monde, tandis que d'autres sont des modèles spécialisés pour des tâches spécifiques.

Si vous essayez d'écouter les neuf professeurs en même temps, c'est comme être dans une pièce où tout le monde crie dans des langues différentes. L'étudiant est confus, les instructions s'entrechoquent et il n'apprend rien. C'est ce qu'on appelle les « gradients conflictuels ».

2. La Solution : Les traducteurs « Proxy »

UNIEGO ne laisse pas l'étudiant parler directement aux professeurs. À la place, il engage une équipe de Proxies (intermédiaires).

Considérez ces Proxies comme des interprètes.

Chaque professeur (l'expert en squelette, la caméra de profondeur, la géante IA) enseigne à un Proxy spécifique.
Crucialement, chaque Proxy parle la même langue que l'étudiant final : ils regardent tous la vidéo à travers le même « trou de serrure égocentrique ».
Le professeur enseigne au Proxy son savoir spécifique (par exemple, « Voici comment le squelette bouge »), et le Proxy traduit cela dans un format que l'étudiant peut comprendre.

À la fin de cette première étape, l'étudiant dispose d'un groupe de neuf interprètes, parlant tous la même langue, mais chacun détenant une pièce du puzzle provenant d'un expert différent.

3. Le Filtre Intelligent : « Selective Proxy Distillation »

C'est là que réside la partie délicate. Même avec des interprètes, il arrive parfois qu'un interprète soit erroné ou confus sur un moment précis de la vidéo. Si l'étudiant écoute un interprète confus, il apprendra une mauvaise chose.

UNIEGO utilise un filtre intelligent appelé Selective Proxy Distillation (SPD).

Pour chaque instant de la vidéo, UNIEGO demande aux interprètes : « Qui est confiant et correct en ce moment ? »
Il ignore les interprètes qui sont incertains ou dans l'erreur.
Il n'écoute que les quelques meilleurs interprètes qui sont sûrs de leur réponse.

C'est comme un élève dans une salle de classe qui ne lève la main pour écouter que le professeur qui est sûr à 100 % de sa réponse, ignorant ceux qui devinent. Cela empêche l'étudiant d'être confus par de mauvais conseils.

4. Le Départ Progressif : « Proxy Merging »

Avant même que l'étudiant ne commence à apprendre des interprètes, UNIEGO lui donne un « coup de pouce ». Il prend le savoir de tous les interprètes et les fusionne mathématiquement pour créer un point de départ qui est déjà plutôt bon. Cela place l'étudiant dans une « zone de sécurité » où l'apprentissage est plus facile et moins susceptible de dérailler.

Le Résultat

Le résultat final est UNIEGO, un modèle d'IA unique qui :

N'a besoin que d'une seule caméra (la caméra portée sur soi) pour fonctionner lors d'une utilisation réelle.
En sait plus que ce qu'une seule caméra pourrait jamais voir, car il a été entraîné sur la sagesse combinée de la profondeur, des squelettes et des vues extérieures.
Perform de mieux en reconnaissance d'actions, en recherche de vidéos et en découpage de clips vidéo que toute méthode précédente ayant tenté de combiner ces vues directement.

En bref, UNIEGO est un étudiant brillant qui apprend en engageant une équipe de traducteurs pour transformer une pièce chaotique d'experts qui crient en une leçon claire et unique, en veillant à n'écouter que les meilleurs conseils au bon moment.

Résumé Technique : UNIEGO

Énoncé du Problème

La compréhension de la vidéo égocentrée est fondamentalement contrainte par le champ de vision étroit et les auto-occlusions persistantes inhérents aux caméras portables. Un modèle unique entraîné uniquement sur des données RGB égocentrées échoue souvent à capturer toute la richesse de l'action humaine, manquant d'accès aux structures géométriques complémentaires (profondeur, squelette) et au contexte de scène plus large disponible via des points de vue exocentrés. De plus, la riche connaissance représentationnelle encapsulée dans les modèles de fondation (FM) à grande échelle et les diverses modalités reste largement inexploitée pour les tâches égocentrées.

Bien que la distillation de connaissances multi-enseignants offre une solution potentielle, les approches existantes sont confrontées à deux défis majeurs dans le cadre égocentré :

Hétérogénéité : Les enseignants varient considérablement en termes d'architecture (par exemple, modèles de squelettes basés sur les graphes vs encodeurs vidéo), de modalités d'entrée (RGB, profondeur, squelette) et de point de vue (égocentré vs exocentré).
Gradients Conflictuels : La distillation directe de ces enseignants hétérogènes vers un étudiant unique crée des espaces de caractéristiques incompatibles, ce qui entraîne des signaux de gradient conflictuels qui dégradent l'optimisation et empêchent l'étudiant de combler efficacement les écarts de modalité et de point de vue.

Méthodologie : Distillation Multi-Enseignants Hiérarchique

Les auteurs proposent UNIEGO, un encodeur égocentré unifié entraîné via un cadre de distillation hiérarchique à deux niveaux. Cette approche évite la distillation directe à partir d'enseignants hétérogènes, en interposant une couche de modèles Proxies spécifiques à la représentation pour servir de médiateurs au transfert de connaissances.

Niveau I : Apprentissage par Proxy

La première étape traduit la connaissance de divers enseignants en un espace égocentré homogène.

Architecture : Un ensemble de $R$ modèles proxies est entraîné, où chaque proxy partage la même architecture égocentrée (par exemple, TimeSformer) que l'étudiant final.
Processus : Chaque proxy $P_r$ distille indépendamment la connaissance d'un enseignant spécifique $T_r$ (couvrant les points de vue RGB, profondeur, squelette, égo et exo, incluant des modèles de fondation comme DINOv2 et SigLIP).
Objectif : Les proxies apprennent à mapper les caractéristiques des enseignants hétérogènes dans un espace de plongement (embedding) égocentré cohérent, comblant ainsi efficacement les écarts de modalité et de point de vue. Cette étape utilise une distillation au niveau des caractéristiques (distance cosinus) combinée à une perte de classification d'action.

Niveau II : Distillation de Proxy Sélective (SPD)

La seconde étape consolide les connaissances du pool de proxies dans le modèle UNIEGO final.

Initialisation par Fusion de Proxies : Pour stabiliser l'optimisation, UNIEGO n'est pas initialisé de manière aléatoire, mais comme une combinaison convexe apprise des paramètres des proxies ( $\theta^*_{merge} = \sum \alpha^*_r \theta_r$ ). Cela place le modèle unifié dans une région plate et bien conditionnée du paysage de perte avant le début de la distillation.
Distillation de Proxy Sélective (SPD) : Plutôt que de distiller à partir de tous les proxies simultanément, la SPD sélectionne de manière adaptative un sous-ensemble de proxies fiables pour chaque échantillon.
- Critère de Sélection : Un proxy n'est considéré comme candidat que s'il prédit correctement la classe d'action. Parmi les candidats corrects, les top- $k$ proxies présentant la perte d'entropie croisée la plus faible (confiance la plus élevée) sont sélectionnés.
- Suppression : Si aucun proxy n'est correct pour un échantillon, la distillation est ignorée pour cet échantillon afin d'éviter l'absorption de supervisions erronées.
- Perte : Les proxies sélectionnés fournissent des signaux de distillation tant au niveau des caractéristiques qu'au niveau des logits à l'étudiant.

Principales Contributions

Cadre UNIEGO : Introduction d'un encodeur égocentré unifié entraîné avec neuf enseignants à travers plusieurs modalités, points de vue et modèles de fondation, utilisant des proxies spécifiques à la représentation comme médiateurs structurés.
Trois Composants Troitement Couplés :
- Apprentissage par Proxy : Convertit la supervision hétérogène en un pool de proxies égocentrés architecturalement homogènes.
- Distillation de Proxy Sélective (SPD) : Un mécanisme par échantillon qui route dynamiquement la supervision des proxies les plus fiables, atténuant les conflits de gradients.
- Fusion de Proxies : Une initialisation convexe apprise qui stabilise le paysage d'optimisation.
Performance de l'État de l'Art : Démonstration que le transfert de connaissances structuré et médié par des proxies produit des représentations plus riches que la supervision directe multi-enseignants.

Résultats Expérimentaux

UNIEGO a été évalué sur trois benchmarks égo-exo exigeants : EgoExo-Fitness, Assembly101 et EgoExo4D.

Reconnaissance d'Actions : UNIEGO a atteint des performances de l'état de l'art sous inférence égocentrée (en utilisant uniquement une vidéo égocentrée lors du test).
- Il a surpassé l'architecture TimeSformer de +4,4 %, +3,1 % et +1,2 % sur les trois jeux de données respectifs.
- Il a dépassé la base de comparaison de distillation la plus forte ( $\pi$ -ViT) de +4,6 % et +2,9 % sur EgoExo-Fitness et Assembly101.
- Crucialement, il a surpassé les bases de distillation multi-enseignants naïves, confirmant la nécessité de l'approche médiée par des proxies.
Recherche Vidéo et Segmentation : UNIEGO a démontré une performance supérieure dans la recherche vidéo (mesurée par mAP et Recall@1) et la segmentation d'action temporelle (scores F1, distance d'édition et précision) par rapport aux bases. Notamment, la distillation multi-enseignants naïve dégradait les performances de segmentation par rapport aux bases de départ (scratch), tandis que UNIEGO les améliorait.
Généralisation : Le cadre s'est avéré robuste à travers différentes architectures de backbone, y compris des modèles compacts comme UniFormer-S (22 millions de paramètres), montrant son efficacité pour le déploiement avec des ressources limitées.

Signification et Revendications

L'article affirme que UNIEGO résout avec succès la nature "mal posée" de l'apprentissage d'une représentation égocentrée unifiée à partir de sources hétérogènes. En introduisant des proxies comme médiateurs, le cadre :

Dissout l'Écart de Représentation : Les projections d'enseignants hétérogènes dans un espace proxy homogène augmentent considérablement la similitude entre les représentations des enseignants (vérifié via l'alignement de noyau centré - CKA).
Atténue les Conflits de Gradients : La combinaison de l'apprentissage par proxy et de la distillation sélective transforme un paysage d'optimisation conflictuel en un paysage cohérent. L'analyse montre que la SPD réduit considérablement les taux de conflit de gradient par rapport à la distillation multi-enseignants directe.

Les auteurs concluent que UNIEGO permet à un encodeur égocentré de "voir plus loin, savoir plus et mieux généraliser" sans nécessiter de flux de caméras supplémentaires lors de l'inférence. Ils reconnaissent une limite dans leur stratégie actuelle de sélection de proxy (reposant sur une heuristique de faible perte) et suggèrent qu'un mécanisme de sélection adaptatif et appris est une direction prometteuse pour les travaux futurs.