Agentic Very Long Video Understanding

Ce travail présente EGAgent, un cadre agentique innovant basé sur des graphes de scènes d'entités qui permet une compréhension vidéo longitudinale avancée et un raisonnement multi-modal sur des flux vidéo continus de plusieurs jours, surpassant les méthodes existantes sur des tâches complexes d'assistance personnelle.

L'essentiel

Imaginez que vous portez des lunettes intelligentes qui enregistrent tout ce que vous voyez et entendez, 24 heures sur 24, pendant une semaine entière. À la fin de cette semaine, vous avez des milliers d'heures de vidéo. Si vous demandez à une intelligence artificielle (IA) classique : "Avec qui j'ai mangé le mardi matin, et qu'est-ce qu'on a dit sur le chat ?", l'IA va probablement paniquer. Elle est comme un étudiant qui doit lire un million de pages de livres en une seconde pour trouver une seule phrase. Elle va s'essouffler, oublier les détails, ou simplement répondre n'importe quoi.

C'est le problème que résout ce papier de recherche avec un système appelé EGAgent.

Voici une explication simple, avec des images pour mieux comprendre :

1. Le Problème : La "Méthode de la Fourmi"

Les IA actuelles sont comme des fourmis qui essaient de traverser un océan en marchant sur chaque goutte d'eau. Elles regardent la vidéo image par image, mot par mot. Pour une vidéo de 50 heures, c'est impossible. Elles n'ont pas assez de "mémoire" (ce qu'on appelle la fenêtre de contexte) pour tout garder en tête en même temps.

2. La Solution : Le "Journal de Bord Magique" (Le Graphe d'Entités)

Au lieu de regarder chaque image, EGAgent crée d'abord un résumé intelligent, qu'on appelle un Graphe d'Entités.

Imaginez que vous tenez un journal de bord très spécial. Au lieu d'écrire : "À 14h00, je marche, puis je vois un chien, puis je parle à Paul...", ce journal ne note que les relations importantes :

• Qui : Paul, Moi, le chien.
• Quoi : Le chien, la voiture, le café.
• Où : Le parc, la cuisine.
• Quand : "Paul m'a parlé entre 14h00 et 14h05".
• Action : "J'ai utilisé la voiture", "Paul a parlé à moi".

Ce journal est comme une carte de relations (un graphe) qui relie les gens, les objets et les lieux avec des fils temporels. C'est beaucoup plus petit et plus facile à lire que la vidéo brute.

3. Comment ça marche ? L'Agent Détective

Quand vous posez une question, EGAgent ne se lance pas dans la vidéo en aveugle. Il agit comme un détective privé qui utilise trois outils :

1. Le Détective Visuel (Recherche d'images) : Il cherche des images précises (ex: "montrer les gens qui dansent").
2. Le Détective Audio (Recherche de texte) : Il lit la transcription de ce qui a été dit (ex: "trouver quand on a parlé du chat").
3. Le Détective du Journal (Recherche dans le Graphe) : C'est son super-pouvoir. Il consulte le "Journal de Bord Magique" pour dire : "Attends, le graphe me dit que Paul et moi avons parlé dans la cuisine le mardi entre 14h et 15h. Allons vérifier là-bas."

4. L'Analogie du "Grand Livre de Cuisine"

Imaginez que vous voulez savoir : "Quelle recette j'ai faite le jour où il a plu, et qui m'a aidé ?"

• L'IA classique : Elle lit chaque page du livre de cuisine, de la première à la dernière, en espérant tomber sur la bonne page. C'est lent et elle peut se tromper.
• EGAgent : Il ouvre le sommaire (le Graphe). Il voit : "Il a plu le mardi. J'ai fait une tarte. Paul m'a aidé." Il va directement à la page du mardi, vérifie avec la vidéo (pour voir la tarte) et l'audio (pour entendre Paul), et vous donne la réponse en quelques secondes.

5. Pourquoi c'est génial ?

Ce système permet de faire des enquêtes complexes sur de très longues périodes.

• "Qui m'a rendu visite cette semaine ?"
• "Combien de fois ai-je bu de l'eau avant de partir travailler ?"
• "Avec qui j'ai eu une conversation importante il y a trois jours ?"

Grâce à ce "Graphe d'Entités", l'IA ne perd pas le fil. Elle se souvient que "Paul" est toujours "Paul", même si on le voit dans 500 vidéos différentes. Elle peut relier des événements séparés par plusieurs jours.

En résumé

EGAgent, c'est comme donner à votre assistant personnel une mémoire à long terme structurée. Au lieu de lui faire lire tout votre film de vie en boucle, vous lui donnez un index intelligent qui lui permet de sauter directement aux moments importants, de croiser les informations (qui a dit quoi, où et quand), et de vous répondre avec précision, même si la question porte sur une semaine entière de vie.

C'est une étape de plus vers un assistant personnel capable de vraiment comprendre notre vie, jour après jour.

Résumé technique

1. Problématique : La Compréhension Vidéo "Très Longue"

L'article aborde le défi émergent de la création d'assistants personnels IA "toujours actifs" (always-on), alimentés par des dispositifs portables comme les lunettes intelligentes (ex: Ray-Ban Meta). Ces appareils génèrent des flux vidéo egocentriques (à la première personne) continus qui peuvent s'étendre sur des jours, voire des semaines.

Les défis principaux identifiés sont :

• Limites des fenêtres de contexte : Les modèles de langage (LLM) et les modèles vision-langage (VLM) actuels ne peuvent pas ingérer des heures de vidéo en une seule fois.
• Manque de raisonnement compositionnel : Les méthodes existantes (RAG, sélection de trames) échouent souvent à effectuer un raisonnement multi-sauts (multi-hop) sur de longues périodes, notamment pour suivre les habitudes, les interactions entre entités ou les événements récurrents.
• Perte de cohérence temporelle : Il est difficile de relier des événements dispersés dans le temps (ex: "Qui m'a accompagné lors de chaque trajet en taxi cette semaine ?") sans une représentation structurée des relations.

L'objectif est de passer d'une compréhension d'événements isolés à une compréhension longitudinale capable d'interpréter des flux vidéo sur plusieurs jours.

---

2. Méthodologie : Le Framework EGAgent

Les auteurs proposent EGAgent, un framework agentic (basé sur des agents) qui ne tente pas de tout traiter en une seule fois, mais qui décompose les requêtes complexes en sous-tâches en utilisant des outils de recherche spécialisés.

A. Représentation par Graphes de Scènes d'Entités (Entity Scene Graphs)

Au cœur de la méthode se trouve la construction d'un graphe structuré à partir de la vidéo longue :

• Nœuds : Représentent les entités (Personnes, Objets, Lieux).
• Arêtes (Relations) : Capturent les interactions (ex: TALKS_TO, USES, INTERACTS_WITH, MENTIONS).
• Annotation Temporelle : Chaque arête est annotée avec un intervalle de temps précis (t_start, t_end). Cela permet de suivre l'évolution des relations dans le temps.
• Construction : Le graphe est généré à partir de transcripts audio et de descriptions de scènes visuelles (fusionnées par un LLM), puis stocké dans une base de données SQLite. Il permet des requêtes incrémentielles et évolutives.

B. Architecture Agentic (Agent Planificateur)

EGAgent orchestre le processus de réponse via un Agent de Planification qui décompose une requête utilisateur complexe en une séquence de sous-tâches. Pour chaque sous-tâche, l'agent sélectionne dynamiquement l'un des trois outils de recherche suivants :

1. Outil de Recherche Visuelle (Visual Search) :
   • Utilise des embeddings de trames vidéo (échantillonnées à 1 FPS) et une recherche sémantique hybride (SQL + recherche vectorielle) pour localiser des événements visuels spécifiques.
2. Outil de Recherche de Transcripts Audio (Audio Transcript Search) :
   • Interroge les transcripts audio (avec identification des locuteurs) soit via une recherche lexicale (BM25) soit via un LLM pour trouver des dialogues pertinents.
3. Outil de Recherche sur le Graphe d'Entités (Entity Graph Search) :
   • Exécute des requêtes SQL sur le graphe d'entités. L'agent adopte une stratégie "du strict au relâché" : il commence par des correspondances exactes (jour, heure, entités, relation) et assouplit progressivement les contraintes (fenêtre temporelle, correspondance partielle des noms) si aucune donnée n'est trouvée.

C. Flux de Travail

1. Décomposition : L'agent planificateur divise la question en sous-tâches.
2. Récupération (Retrieval) : Chaque sous-tâche est envoyée à l'outil approprié (Visuel, Audio ou Graphe).
3. Analyse : Un outil d'analyse (LLM) filtre les données récupérées, extrait les preuves et met à jour une mémoire de travail (Working Memory).
4. Synthèse : Une fois toutes les sous-tâches traitées, un agent VQA (Visual Question Answering) utilise la mémoire de travail accumulée et la question originale pour générer la réponse finale.

---

3. Contributions Clés

1. Représentation par Graphe Temporel : Introduction d'un graphe d'entités annoté temporellement spécifiquement conçu pour la vidéo longue, permettant de modéliser les relations et les habitudes sur de longues périodes.
2. Framework Agentic Hybride : Développement d'un système qui combine la recherche structurée (SQL sur le graphe) avec la recherche non structurée (embeddings visuels et transcripts) pour un raisonnement multimodal et transversal.
3. Stratégie de Requêtes Adaptative : Mise en place d'une stratégie de recherche "strict-to-relaxed" sur le graphe pour maximiser la précision tout en assurant un rappel (recall) élevé face au bruit des données réelles.
4. Nouveau Benchmark et Résultats : Évaluation sur des données réelles de vie quotidienne (EgoLife) et démonstration d'une supériorité significative par rapport aux méthodes existantes.

---

4. Résultats Expérimentaux

Les performances ont été évaluées sur deux benchmarks : EgoLifeQA (vidéos egocentriques de 50+ heures) et Video-MME (Long).

• Sur EgoLifeQA :

  • EGAgent atteint un état de l'art (SOTA) avec 57,5 % de précision moyenne (avec Gemini 2.5 Pro comme backbone).
  • Il surpasse la méthode précédente (EgoButler) de 20,6 % en moyenne.
  • Gains spécifiques : Les améliorations sont particulièrement marquées sur les catégories nécessitant un raisonnement relationnel complexe :
    • RelationMap (cartographie des relations) : +32 % par rapport au SOTA précédent.
    • TaskMaster (suivi de tâches/habitudes) : +39,7 % par rapport au SOTA précédent.
  • L'ablation montre que l'ajout du graphe d'entités est crucial pour ces tâches, tandis que la recherche visuelle seule échoue à maintenir l'identité des entités sur le long terme.

• Sur Video-MME (Long) :

  • EGAgent obtient 74,1 % de précision, une performance compétitive par rapport aux modèles natifs géants (comme Gemini 2.5 Pro) qui traitent directement les vidéos, mais en utilisant 10 fois moins de trames (50 trames récupérées vs 256+ pour les modèles natifs).

• Efficacité :

  • Le graphe d'entités est extrêmement léger (environ 2 Mo pour 52 heures de vidéo), contrairement aux bases de données d'embeddings visuels qui sont beaucoup plus volumineuses.
  • La latence totale pour répondre à une question est d'environ 2 à 3 minutes, ce qui est acceptable pour un assistant personnel asynchrone.

---

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de la compréhension vidéo pour les assistants personnels :

• Au-delà du "Context Window" : Il démontre que pour gérer des vidéos de plusieurs jours, il ne suffit pas d'augmenter la fenêtre de contexte des LLM, mais qu'il faut adopter une approche agentic avec des représentations structurées (graphes) et des outils de recherche spécialisés.
• Raisonnement Temporel et Relationnel : La capacité à suivre les habitudes et les interactions sociales sur plusieurs jours ouvre la voie à des assistants capables de fournir un contexte personnel profond (ex: "Qui m'a aidé la dernière fois que j'ai perdu mes clés ?").
• Efficacité des Ressources : En utilisant des graphes pour indexer les relations, le système réduit drastiquement le besoin de traiter des milliers de trames vidéo, rendant la compréhension de vidéos ultra-longues plus viable sur le plan computationnel.

En résumé, EGAgent propose une architecture robuste pour transformer des flux vidéo bruts et continus en une base de connaissances structurée, permettant un raisonnement complexe et temporellement cohérent, essentiel pour la prochaine génération d'IA portables.