💻 computer science

See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval

Le papier propose SMORE, un cadre de travail efficace en termes de mémoire pour la recherche de moments vidéo qui utilise des légendes guidées par la requête, une modulation d'importance et une compression de trames adaptative pour atteindre des performances de pointe sur plusieurs bancs d'essai tout en surmontant les contraintes de mémoire du traitement dense de trames.

Auteurs originaux : Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Publié 2026-01-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un film de 2 heures, mais que vous ne possédez qu'un minuscule carnet de notes pour écrire ce qui s'y passe. Vous devez trouver une scène spécifique à partir d'une description du type : « Le moment où le chiot poursuit la balle rouge. »

Le Problème :
La plupart des systèmes d'IA actuels essaient de résoudre cela de deux manières, et les deux présentent des défauts :

L'approche par « Instantanés Dispersés » : Ils prennent quelques images aléatoires du film toutes les quelques secondes. Si le chiot traverse l'écran entre deux instantanés, l'IA le manque complètement. C'est comme essayer de lire un livre en ne regardant que la page 1, la page 50 et la page 100.
L'approche par « Description Complète » : Ils essaient d'écrire un résumé détaillé de chaque seconde du film. Cela capture tout, mais cela remplit votre carnet (mémoire) si vite que l'ordinateur plante avant même d'avoir pu terminer.

La Solution : SMORE (See MORE, store less / Voir PLUS, stocker moins)
Les auteurs proposent un nouveau cadre appelé SMORE. Considérez cela comme un assistant super intelligent et économe en mémoire qui sait exactement ce que vous cherchez avant même de commencer à lire le script.

Voici comment fonctionne SMORE, en utilisant trois astuces simples :

1. Le « Surligneur Personnalisé » (Captions guidées par la requête)

Au lieu d'écrire des notes génériques comme « Un chien marche », SMORE écoute d'abord votre question spécifique.

L'ancienne méthode : L'IA écrit : « Un chien marche. » (Générique, pourrait ne pas vous aider à trouver la scène spécifique).
La méthode SMORE : Si vous demandez : « Où est le chiot qui poursuit la balle ? », l'IA regarde la vidéo et écrit : « Un chiot est en train de poursuivre une balle ».
L'analogie : Imaginez un bibliothécaire qui, au lieu de simplement répertorier chaque livre par sa couleur, lit votre demande (« Je cherche un livre sur l'espace ») et écrit ensuite une note spéciale sur les livres pertinents disant : « Celui-ci parle d'espace ! ». Cela garantit que les notes correspondent exactement à ce que vous recherchez.

2. Le « Bouton de Volume » (Importance sensible à la requête)

Tous les messages ne sont pas également importants. Certaines scènes ne sont que du bruit de fond ; d'autres sont l'événement principal.

Comment ça marche : SMORE attribue un « bouton de volume » à chaque note qu'il écrit. Si une note correspond parfaitement à votre recherche, il augmente le volume (importance élevée). Si une note concerne quelque chose d'irrelevant (comme un chat qui dort en arrière-plan alors que vous avez posé une question sur un chiot), il baisse le volume (importance faible).
L'analogie : C'est comme un DJ qui mixe une playlist. Quand la chanson que vous voulez entendre arrive, le DJ pousse le volume. Quand une chanson dont vous ne vous souciez pas joue, il la fait fondre en arrière-plan pour qu'elle ne vous distrait pas. Cela aide l'IA à se concentrer uniquement sur les parties « fortes » (importantes) de la vidéo.

3. Le « Compresseur Intelligent » (Compression visuelle structurée)

Les vidéos contiennent souvent de nombreuses images qui se ressemblent presque toutes (par exemple, une voiture roulant sur une route droite pendant 10 secondes). Stocker chaque image est une perte d'espace.

Comment ça marche : SMORE examine les images consécutives. Si deux images sont presque identiques, il ne jette pas l'une d'elles (ce qui ferait perdre de l'information). Au lieu de cela, il les « écrase » mathématiquement ensemble en un résumé compact qui conserve les détails les plus importants.
L'analogie : Imaginez que vous avez une pile de 100 photos d'un coucher de soleil où le soleil bouge à peine. Au lieu de garder les 100 photos, vous prenez les 5 meilleures et les fusionnez en une seule « super-photo » de haute qualité qui capture tout le mouvement sans avoir besoin de 100 fichiers distincts.

Les Résultats

L'article a testé ce système sur trois bases de données vidéo majeures (QVHighlights, Charades-STA et ActivityNet-Captions).

Performance : SMORE a surpassé les meilleurs modèles actuels (comme Chrono et LLaVA-MR) pour trouver les bons moments de la vidéo.
Efficacité : Il a accompli cela en utilisant moins de mémoire. Alors que d'autres modèles de pointe nécessitaient une puce informatique massive et coûteuse (80 Go de mémoire) pour fonctionner, SMORE pouvait obtenir de meilleurs résultats sur une puce plus petite et plus courante (48 Go).

En résumé :
SMORE est comme un détective qui ne se contente pas de lire tout le dossier de l'affaire aveuglément. Au lieu de cela, il lit l'indice spécifique que vous lui donnez, surligne les pages pertinentes, réduit le bruit, et résume les parties ennuyeuses afin de pouvoir résoudre le mystère plus rapidement et avec moins de papier.

Résumé Technique : SMORE (See MORE, store less)

Problématique

La recherche de moments vidéo (Video Moment Retrieval - VMR) consiste à identifier des segments temporels spécifiques au sein d'une vidéo qui correspondent sémantiquement à une requête en langage naturel. Bien que les modèles de langage de grande taille multimodaux (MLLM) aient fait progresser la compréhension vidéo, la VMR reste un défi en raison des contraintes de mémoire associées au traitement de trames vidéo échantillonnées de manière dense sur des durées prolongées.

Les méthodologies existantes sont confrontées à un arbitrage entre la résolution de l'information et l'efficacité de la mémoire :

Échantillonnage parcellaire : Les approches traditionnelles reposent souvent sur la sélection d'un nombre limité de clés (keyframes) pour respecter les budgets de mémoire. Cela risque de manquer des indices visuels critiques et éphémères, entraînant une perte d'information, particulièrement dans les vidéos longues.
Traitement dense avec des légendes génériques : Des stratégies alternatives tentent de condenser le contenu visuel en légendes textuelles pour réduire la charge de mémoire. Cependant, le légendage zero-shot conventionnel génère des descriptions génériques qui manquent d'alignement avec les intentions spécifiques de l'utilisateur, ce qui entraîne une performance de recherche sous-optimale.
Goulots d'étranglement de la mémoire : Les systèmes VMR récents basés sur les MLLM (par exemple, Chrono, LLaVA-MR) améliorent la conscience temporelle mais nécessitent souvent une mémoire GPU substantielle (par exemple, 80 Go A100), limitant leur accessibilité et leur évolutivité.

Méthodologie : Cadre SMORE

Les auteurs proposent SMORE (See MORE, store less), un cadre conçu pour améliorer l'efficacité de la mémoire tout en maintenant une haute résolution de l'information. SMORE opère dans une architecture de tokens entrelacés où les trames vidéo sont combinées avec des horodatages et enrichies de légendes textuelles guidées par la requête. Le cadre se compose de trois composants principaux :

1. Génération de légendes guidée par la requête

Pour remédier au désalignement entre les légendes génériques et les requêtes des utilisateurs, SMORE introduit un processus de légendage en deux étapes :

Analyse de la requête : La requête d'entrée est analysée pour extraire des objets et des actions spécifiques.
Vérification de pertinence par QA : Un module de Question-Réponse (QA) évalue si des objets ou actions spécifiques apparaissent dans une scène vidéo donnée.
Légendage à double voie :
- Scènes pertinentes : Si une scène contient des éléments pertinents pour la requête, un « prompt sensible à la requête » est utilisé pour générer une légende spécifiquement alignée avec l'intention de l'utilisateur (par exemple, se concentrer sur « cuisiner » et « facetime » si ceux-ci sont dans la requête).
- Scènes non pertinentes : Les scènes échouant à la vérification de pertinence reçoivent des légendes standards et génériques.
  Cela garantit que le modèle reçoit une couverture sémantique dense sans générer de texte distrayant ou trompeur pour les segments non pertinents.

2. Modulation de l'importance sensible à la requête

Toutes les légendes générées ne contribuent pas de la même manière à la tâche de recherche. SMORE emploie un mécanisme de pondération pour prioriser le contenu informatif :

Un score de similitude $S_q(f_i, c_i)$ est calculé pour chaque paire trame-légende basé sur la similitude cosinus entre la trame et la requête, et la requête et la légende (incorporant la similitude trame-légende).
Les plongements (embeddings) des légendes sont repondérés par ce score avant d'entrer dans la couche d'auto-attention du LLM. Cela permet au modèle de se concentrer sur les segments ayant une haute pertinence sémantique avec la requête et de réduire le poids des informations de fond ou redondantes.

3. Compression Visuelle Structurée (SVC)

Pour réduire la redondance spatiale sans perdre la fidélité temporelle, SMORE utilise une stratégie de compression à faible surcharge basée sur la Décomposition en Valeurs Singulières (SVD) :

Détection de redondance : Les plongements de trames consécutives sont comparés via une similitude cosinus par rapport à une trame ancre actuelle.
Compression SVD : Si la similitude dépasse un seuil $\theta$ , les trames sont empilées et compressées à l'aide d'une SVD tronquée (approximation de rang 1). La ligne moyenne résultante sert de plongement compact qui conserve les caractiques spatiales dominantes tout en éliminant les redondances d'ordre inférieur.
Mise à jour de l'ancre : Si la similitude est faible, la trame actuelle est conservée comme nouvelle ancre.
Cette approche préserve mieux la dynamique visuelle essentielle et l'ordre temporel que la simple sélection de trames ou le pooling moyen.

Principales Contributions

Cadre VMR efficace en mémoire : SMORE atteint des performances de pointe (SOTA) sur les benchmarks standards tout en opérant dans des environnements de mémoire restreints (48 Go A6000), contrastant avec les méthodes nécessitant des GPU 80 Go A100.
Abstraction sémantique guidée par la requête : L'introduction du légendage guidé par la requête et de la modulation d'importance comble le fossé entre la couverture visuelle dense et l'intention spécifique de l'utilisateur, améliorant la précision de la recherche sans augmenter le nombre de tokens visuels.
Compression Visuelle Structurée : La méthode de compression basée sur la SVD proposée réduit efficacement l'utilisation de la mémoire en éliminant les trames redondantes tout en préservant les preuves visuelles clés, surpassant la sélection de trames naïve et le pooling moyen.

Résultats Expérimentaux

Les auteurs ont évalué SMORE sur trois ensembles de données représentatifs : QVHighlights, Charades-STA, et ActivityNet-Captions.

QVHighlights : SMORE a atteint une nouvelle performance de pointe (SOTA). Il a amélioré le modèle de haute précision SG-DETR de 4,19 % en R1@0.5 et de 6,24 % en R1@0.7, tout en maintenant une moyenne de précision moyenne (mAP) plus élevée (+0,62 %). Il a également surpassé le modèle à haut rappel LLaVA-MR dans les métriques de rappel et de mAP.
Charades-STA : SMORE a établi un nouveau SOTA, surpassant LLaVA-MR de 1,12 % en mIoU et de 0,61 % en R1@0.5.
ActivityNet-Captions : Le modèle a obtenu des gains de 1,15 % en R1@0.5 et de 0,66 % en R1@0.7 par rapport au précédent SOTA.
Études d'ablation : L'ablation progressive a confirmé que chaque composant (légendage zero-shot, légendage guidé par la requête, modulation d'importance et SVC) contribue de manière synergique à la performance finale, le modèle complet montrant une amélioration totale de +2,86 % de la mAP moyenne par rapport à la ligne de base.
Efficacité de la mémoire : Les expériences ont démontré que SMORE surpasse systématiquement les lignes de base de type « uniquement trames » à travers divers budgets de mémoire (30 Go à 45 Go), prouvant sa capacité à passer à l'échelle pour des vidéos plus longues avec une information multimodale plus riche sous des contraintes strictes.

Signification et Revendications

L'article affirme que SMORE démontre que la haute précision de recherche et l'efficacité de la mémoire ne sont pas mutuellement exclusives. En exploitant l'abstraction sémantique guidée par la requête et la compression visuelle structurée, le cadre permet le déploiement de puissants modèles de langage-vidéo sur du matériel plus accessible (par exemple, des GPU 48 Go) sans compromettre la compréhension temporelle fine.

Les auteurs positionnent SMORE comme une solution au compromis fondamental en VMR entre le besoin de raisonnement temporel dense et les limitations des ressources de mémoire actuelles. Ils notent que bien que le cadre introduise une légère latence d'inférence due à son pipeline modulaire, il offre une architecture flexible qui peut fonctionner en modes de stockage efficace (légendage à la demande) ou de latence efficace (légendes pré-calculées), ce qui le rend adaptable pour divers déploiements réels.

L'article conclut en reconnaissant des limites, telles qu'une dégradation des performances avec des requêtes ou des vidéos hautement ambiguës, et suggère que les travaux futurs pourraient explorer des modèles own-only pour étendre la généralisabilité du cadre.