LLandMark: A Multi-Agent Framework for Landmark-Aware Multimodal Interactive Video Retrieval

Ce papier présente LLandMark, un cadre multi-agents modulaire conçu pour la recherche interactive de vidéos multimodales axée sur les repères, qui intègre une analyse sémantique avancée, une reconnaissance de texte et une génération autonome de requêtes visuelles pour améliorer la précision des recherches dans des contextes vietnamiens complexes.

L'essentiel

Imaginez que vous cherchez une aiguille dans une botte de foin, mais que cette botte de foin est en réalité un océan de vidéos de 250 Go, rempli de millions de secondes d'images et de sons. C'est le défi que relève LLandMark, un nouveau système intelligent présenté dans cet article.

Voici une explication simple de comment cela fonctionne, en utilisant des analogies du quotidien.

1. Le Problème : Chercher sans carte

Dans le passé, pour trouver une vidéo spécifique (par exemple, "Montrez-moi la scène où le maire parle devant la cathédrale Saint-Joseph à Hanoï"), les ordinateurs étaient comme des bibliothécaires un peu perdus. Ils ne comprenaient pas bien le contexte culturel, ils lisaient mal les textes écrits à l'écran (surtout en vietnamien avec ses accents complexes), et ils ne savaient pas que "Saint-Joseph" n'est pas juste un mot, mais un bâtiment avec deux tours spécifiques.

2. La Solution : Une équipe de détectives (LLandMark)

Au lieu d'avoir un seul robot qui essaie de tout faire, LLandMark fonctionne comme une équipe de détectives spécialisés qui travaillent ensemble. C'est un système "multi-agent". Voici les membres de l'équipe :

• Le Chef d'Orchestre (Planificateur) : C'est lui qui reçoit votre demande. Si vous dites "Je veux voir le marché Ben Thanh", il ne cherche pas juste le mot "marché". Il dit : "Attends, c'est un lieu célèbre ! Il faut qu'on cherche des images de ce marché précis, qu'on vérifie les sous-titres, et qu'on écoute la bande-son." Il crée un plan de recherche sur mesure.
• L'Expert Culturel (Agent des Lieux) : C'est le super-héros du système. Si vous mentionnez un monument vietnamien, il ne se contente pas du nom. Il le transforme en une description visuelle détaillée pour l'ordinateur.
  • Analogie : Au lieu de dire "Cherche Saint-Joseph", il dit au système : "Cherche un bâtiment avec deux tours carrées, en pierre grise, style gothique, avec une façade néo-gothique." Cela aide l'ordinateur à reconnaître le bâtiment même s'il ne connaît pas le nom par cœur.
• Le Traducteur et Correcteur (Module OCR) : Les vidéos ont souvent du texte écrit dessus. Les vieux systèmes lisaient mal le vietnamien (ils confondaient les accents, transformant "Hà Nội" en "Ha Noi" ou pire). Ce module utilise une intelligence artificielle très puissante (Gemini) pour "nettoyer" le texte, remettre les accents manquants et corriger les erreurs, comme un professeur de langue qui relit votre devoir avant de le rendre.
• Le Détective Visuel (Recherche Image-à-Image) : C'est la partie la plus magique. Si vous cherchez un lieu, le système va d'abord chercher sur Internet de belles photos de ce lieu. Ensuite, il utilise ces photos comme "modèles" pour fouiller dans la base de données vidéo.
  • Analogie : C'est comme si vous montriez une photo de votre ami à un policier pour qu'il le retrouve dans une foule, au lieu de lui donner juste son nom.

3. Comment tout s'assemble ?

Quand vous posez une question, voici ce qui se passe en quelques secondes :

1. Analyse : L'équipe décortique votre demande.
2. Recherche Parallèle : Tous les détectives travaillent en même temps. L'un cherche le texte, l'autre le son, un autre compare les images de monuments, et un autre cherche des objets spécifiques (comme "une voiture rouge").
3. Synthèse : Un dernier agent rassemble toutes ces preuves. Il ne se contente pas de donner une liste de vidéos ; il vous dit : "Voici la vidéo, voici le moment exact, et voici pourquoi c'est la bonne réponse (regardez, on voit bien les tours de la cathédrale et on entend le mot 'Hanoï' dans le son)."

4. Pourquoi c'est génial ?

Ce système a été testé lors d'un grand concours (HCMAIC 2025) et s'est classé parmi les meilleurs.

• Il comprend la culture : Il sait que les lieux vietnamiens ont une apparence spécifique.
• Il est précis : Il ne se trompe pas sur les accents vietnamiens.
• Il est transparent : Vous pouvez voir comment le système a raisonné, comme si vous regardiez par-dessus l'épaule du détective.

En résumé : LLandMark est comme un guide touristique ultra-intelligent et infatigable qui possède une carte détaillée de tout le Vietnam, sait lire parfaitement les panneaux de rue, et peut vous montrer exactement le moment où vous avez besoin de voir, même si vous ne vous souvenez que d'une vague idée de ce que vous cherchez.

Résumé technique

1. Problématique

La récupération d'informations dans de vastes corpus vidéo hétérogènes (250 Go dans le cadre du défi HCMAIC 2025) pose des défis majeurs, notamment :

• La variabilité linguistique et le bruit textuel : Les systèmes existants peinent à gérer les textes à l'écran (OCR) en vietnamien, souvent dégradés par des erreurs de diacritiques, ainsi que les discours transcrits.
• Le manque de contexte spatial et culturel : Les approches traditionnelles échouent souvent sur les requêtes complexes faisant référence à des lieux spécifiques (ex: « devant la cathédrale Saint-Joseph ») car elles ne comprennent pas la sémantique visuelle des repères culturels vietnamiens.
• Les limites des pipelines rigides : Les systèmes précédents (comme MAVEN) manquent de flexibilité dans la planification de la recherche et l'intégration de connaissances spécifiques aux domaines.

2. Méthodologie

Le système LLandMark propose une architecture modulaire à base d'agents multiples, conçue pour la recherche vidéo interactive, adaptative et explicable. Le processus se déroule en plusieurs étapes clés :

A. Prétraitement et Indexation

• Segmentation : Utilisation de TransNetV2 pour découper les vidéos en plans (shots) et extraire des images clés (keyframes) représentatives (échantillonnage aux percentiles 0.15, 0.5, 0.85).
• Encodage Multimodal :
  • Visuel : Les images clés sont encodées via CLIP (ConvNeXt-XXLarge) et indexées dans Milvus pour la recherche sémantique.
  • Textuel (ASR) : La transcription audio est réalisée avec WhisperX et indexée dans Elasticsearch.
  • Objets : Détection d'objets via YOLOv9-e (pré-entraîné sur COCO) stockée dans un fichier JSON.
  • Métadonnées : Gestion centralisée via MongoDB.

B. Module de Raffinement OCR (Spécifique au Vietnamien)

Pour pallier les erreurs de l'OCR standard (PaddleOCR) sur les diacritiques vietnamiens :

• Un pipeline hybride combine PaddleOCR avec un modèle de langage (Gemini 2.5 Flash) via LlamaIndex.
• Ce module corrige les diacritiques, répare l'orthographe et élimine le bruit, produisant un texte linguistiquement cohérent pour la recherche ultérieure.

C. Architecture Multi-Agents (LLandMark)

Le cœur du système repose sur quatre agents collaboratifs :

1. Agent d'Analyse et de Planification : Interprète l'intention de la requête (en vietnamien ou anglais) et génère un plan de recherche structuré (SearchPlan). Il traduit les requêtes sémantiques en anglais pour CLIP, mais conserve les termes vietnamiens pour l'ASR/OCR.
2. Agent de Connaissance des Repères (Landmark Knowledge Agent) : Détecte les lieux emblématiques et les reformule en descriptions visuelles détaillées (ex: transformer « Cathédrale Saint-Joseph » en « deux tours carrées, pierre grise sombre, architecture gothique »). Cela comble le fossé sémantique dans l'espace d'encodage de CLIP.
3. Orchestrateur de Recherche Parallèle : Exécute simultanément les recherches sémantiques (Milvus), textuelles (Elasticsearch) et par objets.
4. Agent de Réordonnancement et de Synthèse : Fusionne les résultats pondérés et génère une réponse naturelle explicable en s'appuyant sur les preuves multimodales (images, texte, objets).

D. Pipeline de Recherche Image-à-Image Assisté par LLM

Pour les requêtes de repères, un pipeline automatisé est introduit :

• Détection du repère par le LLM.
• Génération de requêtes web et récupération d'images de référence via l'API Google Custom Search.
• Recherche de similarité visuelle entre ces images de référence et les images clés de la vidéo (via CLIP), éliminant ainsi le besoin d'entrée manuelle d'images par l'utilisateur.

3. Contributions Clés

• LLandMark : Une architecture multi-agents modulaire intégrant la planification de requêtes, le raisonnement sur les repères et le réordonnancement multimodal.
• Pipeline OCR avec Raffinement Gemini : Une méthode hybride (PaddleOCR + Gemini via LlamaIndex) qui améliore significativement la reconnaissance de texte vietnamien en restaurant les diacritiques.
• Recherche Image-à-Image Assistée par LLM : Un système autonome qui détecte les repères, récupère des images de référence web et effectue une mise en correspondance visuelle, rendant la recherche culturellement ancrée et précise.

4. Résultats Expérimentaux

Les évaluations ont été menées lors de la phase de qualification du défi HCMAIC 2025 sur un corpus de 250 Go.

• Performance Globale : Le système a obtenu un score total de 77,40 / 88, se classant dans le top 56 des plus de 680 équipes inscrites.
• Répartition des tâches : Les résultats montrent une performance robuste et cohérente sur les trois types de tâches :
  • Recherche d'information textuelle (KIS).
  • Réponses aux questions visuelles (QA).
  • Raisonnement temporel et extraction de trames clés (TRAKE).
• Analyse Qualitative : Les études de cas démontrent que LLandMark surpasse les recherches par simple encodage (CLIP de base) pour les requêtes complexes impliquant des lieux (ex: « marché Ben Thanh », « cathédrale Saint-Joseph »), là où les modèles de base échouent à interpréter le contexte culturel.

5. Signification et Impact

Ce travail marque une avancée significative dans la recherche vidéo interactive, en particulier pour les contextes linguistiques et culturels spécifiques (comme le vietnamien).

• Explicabilité : Contrairement aux boîtes noires, LLandMark rend le processus de raisonnement transparent (planification, reformulation, preuves visuelles).
• Adaptabilité Culturelle : L'intégration de la connaissance des repères culturels permet de résoudre des requêtes que les modèles génériques ne peuvent pas traiter.
• Fondation Future : Le système démontre comment la combinaison de la planification structurée et du raisonnement par LLM peut créer des systèmes de recherche multimédia centrés sur l'humain, capables de gérer la complexité du monde réel.