💻 computer science

Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory

Cet article introduit ESOM, un nouveau cadre pour la récupération de la mémoire épisodique en ligne dans les flux vidéo égocentrés qui traite les images une seule fois à l'aide d'une mémoire compacte pour localiser des objets, démontrant une performance supérieure aux méthodes en ligne existantes tout en soulignant le besoin critique d'améliorations dans la découverte et le suivi d'objets pour accroître davantage la précision.

Auteurs originaux : Zaira Manigrasso, Matteo Dunnhofer, Antonino Furnari, Moritz Nottebaum, Antonio Finocchiaro, Davide Marana, Rosario Forte, Giovanni Maria Farinella, Christian Micheloni

Publié 2026-06-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zaira Manigrasso, Matteo Dunnhofer, Antonino Furnari, Moritz Nottebaum, Antonio Finocchiaro, Davide Marana, Rosario Forte, Giovanni Maria Farinella, Christian Micheloni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portez une caméra qui enregistre toute votre journée, du moment où vous vous réveillez jusqu'au moment où vous allez vous coucher. Maintenant, imaginez que vous oubliez où vous avez mis vos clés, ou que vous ne vous souvenez plus si vous avez verrouillé la porte du garage. Vous demandez à la caméra : « Montre-moi la dernière fois que j'ai eu mes clés. »

C'est le problème que l'article traite. Mais il y a un piège : les caméras du monde réel ne peuvent pas tout stocker.

Le Problème : Le dilemme « Hors ligne » vs « En ligne »

L'ancienne méthode (Hors ligne) :
Considérez l'ancienne méthode comme un détective qui attend la fin de la journée pour résoudre un crime. Il possède l'intégralité du fichier vidéo de la journée sauvegardé sur un énorme disque dur. Quand vous demandez : « Où étaient mes clés ? », il rembobine tout le film, image par image, pour chercher les clés.

Le problème : Cela nécessite de stocker des téraoctets de données (comme une bibliothèque de films) et prend beaucoup de temps pour la recherche. Il est impossible pour un petit appareil portable (comme des lunettes ou une montre) de transporter autant de mémoire ou d'avoir autant de puissance de batterie.

La nouvelle méthode (En ligne) :
Les auteurs proposent un nouveau jeu appelé OVQ2D (Online Visual Query 2D).

L'analogie : Imaginez que vous marchez dans une ville très animée. Vous ne pouvez pas garder une carte de toute la ville dans votre tête. À la place, vous avez un carnet de notes intelligent. Pendant que vous marchez, vous notez seulement les choses importantes que vous voyez en ce moment même (comme « J'ai vu un bus rouge », « J'ai vu un café »). Vous jetez le reste du décor.
Le défi : Plus tard, quand quelqu'un demande : « Où était le bus rouge ? », vous devez le retrouver dans votre carnet. Mais voici la partie difficile : vous ne saviez pas qu'on vous poserait la question sur le bus rouge avant de voir ce bus. Vous deviez décider sur le moment : « Est-ce que ce bus est assez important pour que je le note ? » sans connaître l'avenir.

La Solution : ESOM (Le Carnet de Notes Intelligent)

L'article présente un système appelé ESOM (Egocentric Streaming Object Memory). Considérez l'ESOM comme une équipe de trois personnes travaillant ensemble pour organiser ce carnet de notes intelligent :

Le Repéreur (Découverte d'objets) :
Cette personne scanne chaque image de la vidéo au fur et à mesure qu'elle se déroule. Elle s'exclame : « Hé, je vois un chien ! Je vois une voiture ! Je vois un sandwich ! » Elle est comme un agent de sécurité repérant tout ce qui est nouveau.
Le Suiveur (Traçage d'objets) :
Une fois que le Repéreur a trouvé quelque chose, le Suiveur prend le relais. Il suit cet objet spécifique dans ses mouvements. « D'accord, ce chien marche vers la gauche, maintenant il est derrière un arbre, maintenant il a disparu. » Il garde la carte d'identité de l'objet active pour que vous ne perdiez pas sa trace.
Le Bibliothécaire (Mémoire d'objets) :
Cette personne décide de ce qui est réellement écrit dans le carnet. Elle ne note pas chaque pixel de la vidéo (ce qui serait trop lourd). À la place, elle écrit une note compacte : « À 14h00, un chien était à cet endroit. Voici une petite photo de lui. » Elle jette le reste de la vidéo.

Comment cela fonctionne quand vous posez une question

Lorsque vous demandez plus tard : « Où était le chien ? », le système ne regarde pas la vidéo originale (car elle a disparu). Au lieu de cela, il feuillette son Carnet de notes intelligent :

Il compare votre question (« Montre-moi le chien ») avec les photos dans le carnet.
Il trouve la meilleure correspondance.
Il vous montre la séquence de notes : « Voici le chien à 14h00, ici à 14h01, ici à 14h02. »
Résultat : Vous obtenez la réponse instantanément, en utilisant très peu de mémoire et de batterie.

Les Résultats : Bonnes Nouvelles et Mauvaises Nouvelles

Les chercheurs ont testé cela sur un immense ensemble de données de vidéos réelles (Ego4D).

La Bonne Nouvelle : L'ESOM est bien meilleur que les autres méthodes « en ligne ». Il est rapide (trouver des réponses en quelques secondes au lieu de minutes) et utilise une quantité infime de mémoire (1,7 Go au lieu de 12 Go). Cela prouve que vous pouvez faire cela sans stocker toute la vidéo.
La Mauvaise Nouvelle : C'est encore très difficile. Le système n'a réussi qu'environ 4 % du temps.
- Pourquoi ? Parce que le « Repéreur » et le « Suiveur » ne sont pas encore parfaits. Dans la vie réelle, les choses bougent vite, sont bloquées par d'autres personnes ou sont floues. Si le Repéreur manque le chien, ou si le Suiveur perd sa trace, le Bibliothécaire n'a rien à écrire, et la réponse est perdue.
- Le Test de la « Magie » : Les chercheurs ont lancé une simulation où le Repéreur et le Suiveur étaient parfaits (comme avec un assistant surhumain). Dans ce cas, le taux de réussite a bondi à 82 %. Cela prouve que l'idée fonctionne parfaitement ; nous avons juste besoin de meilleurs outils pour le Repéreur et le Suiveur.

Résumé

Cet article présente une nouvelle façon pour les caméras portables de fonctionner comme une mémoire humaine : regarder, ne se souvenir que des parties importantes, et oublier le reste. Ils ont construit un système (ESOM) qui fait cela efficacement, prouvant qu'il est possible de répondre à « Où était X ? » sans enregistrer toute la vidéo de la journée. Cependant, le système est actuellement limité par la capacité des ordinateurs à repérer et à suivre des objets dans des vidéos du monde réel qui sont désordonnées.

Résumé technique détaillé de l'article « Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory »

Formulation du problème : Visual Query 2D en ligne (OVQ2D)

L'article traite des limites des systèmes de récupération de mémoire épisodique (EM) existants, plus précisément de la tâche de Visual Query 2D (VQ2D) introduite par le benchmark Ego4D. Les formulations actuelles de VQ2D opèrent dans un cadre hors ligne (offline), supposant un accès complet à l'historique de la vidéo au moment de la requête. Cette approche nécessite de stocker l'intégralité de la séquence vidéo (ce qui peut atteindre des téraoctets pour les appareils portables) et entraîne une surcharge de calcul importante, car le système doit rescanner la vidéo pour chaque nouvelle requête.

Pour permettre un déploiement pratique sur des appareils portables aux contraintes de puissance et de stockage, les auteurs introduisent la Visual Query 2D en ligne (OVQ2D). Dans cette formulation :

Traitement en streaming : Le système traite la vidéo égocentrée ( $V_{ego}$ ) en ligne, n'observant chaque image qu'une seule fois.
Mémoire compacte : Au lieu de stocker la vidéo brute, le système doit maintenir une mémoire dynamique et compacte des objets et événements pertinents.
Récupération : Étant donné une requête visuelle sous forme de patch $Q$ (une image d'un objet), le système doit récupérer la localisation spatio-temporelle (une séquence de boîtes englobantes et d'images) de la dernière apparition de l'objet en utilisant uniquement la mémoire stockée, sans accéder au flux vidéo original.

Ce changement introduit trois défis majeurs absents des contextes hors ligne :

Découverte non supervisée : Le système doit identifier en temps réel des objets potentiellement interrogeables sans connaissance préalable de ce que l'utilisateur demandera.
Suivi préemptif : Le système doit suivre les instances d'objets et stocker leurs traces de réponse à l'avance, plutôt que d'initier une recherche seulement après la réception d'une requête.
Association de représentations : Le système doit associer les traces de réponse potentielles à des représentations visuelles adaptées à une récupération future, car il ne peut pas comparer directement le patch de requête aux candidats de la vidéo brute lors de la phase de recherche.

Méthodologie : ESOM (Egocentric Streaming Object Memory)

Les auteurs proposent ESOM, un cadre conçu pour aborder l'OVQ2D via trois modules intégrés :

1. Représentation de la mémoire d'objets ( $M_{ego}$ )
La structure de données centrale est une liste dynamique d'instances d'objets $O_i$ . Chaque instance est une liste indexée temporellement de registres $o_{i,t}$ , contenant :

$t$ : Horodatage.
$b_{i,t}$ : Coordonnées de la boîte englobante (bounding box).
$F_t$ : L'image RGB associée (ou un patch extrait de celle-ci).
$c_{i,t}$ : Un label de pertinence binaire indiquant si le contenu visuel est suffisamment distinctif pour la récupération.
Cette structure permet un stockage indexé, léger et lisible par l'humain des objets observés.

2. Population de la mémoire d'objets (OMP)
Cet algorithme met à jour continuellement $M_{ego}$ à mesure que la vidéo arrive en streaming. Il coordonne deux sous-modules :

Suivi d'objets (OT - Object Tracking) : Met à jour les positions des objets précédemment mémorisés dans l'image actuelle $F_t$ en utilisant un tracker d'objets visuels. Il filtre les résultats basés sur des scores de confiance et écrit les traces mises à jour dans la mémoire.
Découverte d'objets (OD - Object Discovery) : Détecte de nouveaux objets d'intérêt dans $F_t$ à l'aide d'un détecteur d'objets. Il filtre les détections basées sur la confiance et vérifie l'Intersection over Union (IoU) avec les entrées de la mémoire existantes. Les nouvelles détections non chevauchantes sont ajoutées à la mémoire comme de nouvelles instances d'objets.
Filtrage de pertinence : Avant d'écrire dans la mémoire, un classificateur binaire évalue le patch visuel pour déterminer s'il est distinctif ( $c_{i,t}=1$ ). Cette étape filtre les patches de faible qualité ou non distinctifs pour améliorer l'efficacité de la récupération.

3. Récupération et localisation de la requête (QRL)
Lorsqu'un utilisateur fournit une requête $Q$ , l'algorithme QRL :

Extrait les représentations de caractéristiques $\Phi(Q)$ .
Les compare aux caractéristiques $\Phi(\phi_{i,t})$ de tous les patches d'objets pertinents ( $c_{i,t}=1$ ) stockés dans $M_{ego}$ en utilisant une fonction de similarité $\Psi$ .
Aggrège les scores par instance d'objet. Si le score de similarité maximal dépasse un seuil, le système renvoie la séquence contiguë la plus récente de boîtes englobantes et d'images pour cet objet en tant que trace de réponse visuelle $r$ .
Crucialement, ce processus repose exclusivement sur $M_{ego}$ et n'accède pas à la vidéo originale $V_{ego}$ .

Contributions clés

Formulation de la tâche OVQ2D : L'article introduit un nouveau benchmark prêt pour l'application, qui impose un traitement en ligne, en un seul passage, et une utilisation de mémoire compacte, reflétant les contraintes des appareils portables.
Architecture ESOM : Un cadre novateur intégrant la découverte d'objets, le suivi à long terme et la gestion dynamique de la mémoire. Il privilégie le déploiement et le benchmarking pratiques plutôt que la nouveauté algorithmique, en exploitant des composants de détection et de suivi de pointe.
Benchmarking en conditions réelles : Les auteurs fournissent un benchmark sur le jeu de données Ego4D. Ils soutiennent que ce benchmark sert de ressource précieuse non seulement pour la récupération de l'EM, mais aussi pour évaluer l'applicabilité réelle des algorithmes de détection et de suivi d'objets dans des tâches en aval, allant au-delà de l'évaluation isolée des composants.

Résultats et performances

Les expériences ont été menées sur le benchmark de l'Ego4D Episodic Memory VQ2D (433 heures de vidéo, 22 000 requêtes).

Comparaison avec les bases de référence : ESOM surpasse les autres approches en ligne (adaptées d'AMEGO et VideoAgent) en termes de taux de succès et d'efficacité. La meilleure configuration d'ESOM (utilisant un détecteur basé sur YOLO et un tracker EgoSTARK) atteint un taux de succès de 4,02 % avec une empreinte mémoire de 1,7 Go et un temps de récupération de 3,1 secondes.
Comparaison avec les méthodes hors ligne : Bien que les méthodes VQ2D hors ligne atteignent des taux de succès plus élevés (par exemple, 55,89 % pour VQLoC), elles nécessitent de stocker la vidéo complète (12,1 Go) et prennent beaucoup plus de temps pour récupérer (par exemple, 41 secondes). ESOM réduit l'utilisation de la mémoire jusqu'à 7 $\times$ et le temps de récupération jusqu'à 13 $\times$ par rapport aux bases de référence hors ligne.
Analyse Oracle : L'article souligne que les faibles taux de succès des méthodes actuelles sont principalement dus aux limitations de la détection et du suivi d'objets dans les vidéos égocentrées du monde réel, et non à l'architecture de la mémoire elle-même.
- Avec un suivi parfait (Oracle OT) et une détection standard, le succès grimpe à 31,91 %.
- Avec une détection parfaite (Oracle OD) et un suivi standard, le succès grimpe à 40,55 %.
- Avec une détection et un suivi parfaits, ESOM atteint un taux de succès de 81,92 %, surpassant les meilleures méthodes hors ligne.
Analyse des composants :
- L'algorithme QRL utilisant les caractéristiques de Siamese R-CNN surpasse systématiquement les approches basées sur DINOv2.
- Le filtrage de pertinence améliore considérablement la vitesse et la précision de la récupération en écartant les représentations suboptimales.
- La performance du suivi (plus précisément l'exactitude d'association, AssA) est plus critique pour le succès de l'OVQ2D que l'exactitude de détection brute (DetA), car des traces cohérentes sont essentielles pour construire des séquences de réponse valides.

Signification et affirmations

L'article affirme que l'OVQ2D représente une étape nécessaire vers des systèmes de mémoire épisodique déployables pour la technologie portable. Bien que le taux de succès actuel d'environ 4 % sur des données réelles soit modeste, les auteurs soulignent que cela reflète l'état actuel de la détection et du suivi d'objets en vision égocentrée, plutôt qu'un échec du paradigme de récupération de la mémoire.

La portée de ce travail réside dans :

Faisabilité : Démontrer que la récupération de la mémoire épisodique peut être effectuée en ligne avec des budgets de mémoire et de calcul gérables.
Valeur de diagnostic : Le benchmark et ses configurations « oracle » fournissent un banc d'essai rigoureux pour identifier les goulots d'étranglement des algorithmes de détection et de suivi d'objets lorsqu'ils sont appliqués à des flux vidéo continus du monde réel, suggérant que les améliorations futures de ces composants fondamentaux se traduiront directement par de meilleurs systèmes de mémoire épisodique.
Efficacité : Prouver que des représentations de mémoire centrées sur les objets et compactes peuvent offrir des gains substantiels en stockage et en vitesse par rapport au stockage de la vidéo brute, sans perte catastrophique de capacité de récupération (en supposant que la détection/le suivi soient robustes).