💬 NLP

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

Le papier propose HERMES, une architecture novatrice sans entraînement qui traite le cache KV comme une mémoire hiérarchique pour permettre une compréhension vidéo en flux continu en temps réel, offrant des réponses instantanées et une précision supérieure avec une réduction significative de la charge mémoire et des tokens vidéo.

Auteurs originaux : Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

Publié 2026-04-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Regarder un film en direct sans s'essouffler

Imaginez que vous avez un ami très intelligent (une Intelligence Artificielle) capable de regarder des vidéos.

Le problème actuel : Si vous lui montrez un film entier d'un coup (vidéo "hors ligne"), il peut le regarder, le résumer et répondre à vos questions. Mais si vous lui montrez un flux vidéo en direct (comme une caméra de surveillance ou un match de foot en streaming), il a du mal.
Pourquoi ? Parce que pour comprendre ce qui se passe maintenant, il doit se souvenir de ce qui s'est passé il y a 10 minutes, 1 heure, ou même 2 heures.
La contrainte : La mémoire de l'ordinateur (la "mémoire vive" ou RAM) est limitée. Si l'IA essaie de se souvenir de chaque seconde de chaque image, elle s'essouffle, devient lente, et finit par planter (comme un téléphone qui plante quand on ouvre trop d'applis). De plus, elle doit répondre instantanément, sans attendre de "recharger" ses souvenirs depuis un disque dur.

💡 La Solution : HERMES, le "Super-Mémo" Hiérarchique

Les chercheurs ont créé HERMES. C'est une méthode qui permet à l'IA de regarder des vidéos en direct, de répondre en temps réel, et de ne jamais manquer de mémoire, sans avoir besoin de réapprendre (c'est-à-dire sans entraînement supplémentaire).

Pour comprendre comment ça marche, imaginons que la mémoire de l'IA est une bibliothèque avec trois étages différents, chacun ayant un rôle précis :

1. Le Rez-de-chaussée : La Mémoire Sensorielle (Le "Ce qui vient d'arriver")

L'analogie : C'est comme votre propre conscience immédiate. Si quelqu'un vous parle, vous vous souvenez de ses dernières paroles, mais vous oubliez vite ce qu'il a dit il y a 5 minutes.
Dans HERMES : Les couches inférieures de l'IA se concentrent uniquement sur les images tout récentes. Elles gardent les détails frais pour répondre à des questions comme "Que fait la personne maintenant ?".

2. Le 1er Étage : La Mémoire de Travail (Le "Fil conducteur")

L'analogie : C'est comme un chef de cuisine qui prépare un plat. Il garde en tête les ingrédients qu'il vient de mettre dans la casserole, tout en se souvenant de la recette globale.
Dans HERMES : Les couches du milieu mélangent le présent et le passé récent. Elles servent de pont pour comprendre les actions en cours tout en gardant un lien avec ce qui s'est passé il y a un moment.

3. Le Grenier : La Mémoire à Long Terme (Les "Points Clés")

L'analogie : Imaginez que vous regardez un film de 3 heures. Vous ne vous souvenez pas de chaque seconde, mais vous vous souvenez des moments clés : l'explosion, le baiser, la fin.
Dans HERMES : Les couches profondes de l'IA ne gardent pas chaque image. Elles identifient et stockent uniquement les "ancres" (les moments importants) qui résumèrent chaque scène. C'est comme un résumé écrit sur un post-it pour chaque chapitre du film.

🚀 Comment HERMES change la donne ?

La grande innovation, c'est que HERMES utilise intelligemment la mémoire interne de l'IA (ce qu'on appelle le "KV Cache") au lieu de chercher des souvenirs à l'extérieur.

Pas de recherche externe : D'autres méthodes doivent aller chercher des informations dans une base de données externe quand vous posez une question. C'est comme si l'IA devait courir à la bibliothèque pour trouver un livre avant de répondre. HERMES, lui, a déjà les livres sur son bureau. Il répond instantanément.
Économie d'espace : Au lieu de garder 100% des images, HERMES jette intelligemment les images inutiles (ceux qui ne changent rien) et ne garde que l'essentiel. Il peut réduire la quantité d'images de 68% tout en étant aussi intelligent, voire plus !
Vitesse fulgurante : Grâce à cette organisation, HERMES est 10 fois plus rapide que les meilleures méthodes actuelles pour donner sa première réponse.

🏆 Le Résultat en Bref

En résumé, HERMES est comme un assistant personnel qui :

Regarde un film en direct avec vous.
Ne se souvient que de ce qui est important (les scènes clés) et de ce qui se passe à l'instant T.
Répond à vos questions en une fraction de seconde, sans jamais planter, même si le film dure des heures.
Fonctionne sur n'importe quel ordinateur puissant sans avoir besoin d'être "entraîné" spécifiquement pour cela.

C'est une avancée majeure pour rendre les IA capables de comprendre le monde en temps réel, comme nous le faisons nous-mêmes, sans se fatiguer ni oublier le début de la conversation.

1. Problématique

Les modèles de langage multimodaux (MLLM) ont montré des progrès significatifs dans la compréhension de vidéos hors ligne. Cependant, leur extension aux flux vidéo en temps réel (streaming) reste un défi majeur. Les modèles existants peinent à concilier trois exigences contradictoires :

Maintenir une performance de compréhension stable sur de longues séquences.
Répondre en temps réel avec une faible latence.
Limiter la surcharge mémoire (GPU) pour éviter les erreurs de mémoire (OOM).

Les méthodes actuelles souffrent de deux approches limitées :

Mémoire externe : Elles stockent les vidéos dans des bases de données et effectuent des recherches (retrieval) lors des requêtes utilisateur, ce qui introduit une latence élevée et une complexité de cohérence.
Compression naïve : Les méthodes de compression de tokens (comme FIFO uniforme) ignorent la structure hiérarchique de l'attention dans les couches du modèle, entraînant une perte d'informations critiques.

2. Méthodologie : HERMES

HERMES est une architecture sans entraînement (training-free) et plug-and-play qui conceptualise le KV Cache (Cache Clé-Valeur) comme une mémoire hiérarchique. L'approche repose sur une investigation mécaniste des préférences d'attention par couche dans les MLLM.

A. Investigation Mécaniste de l'Attention

L'analyse des poids d'attention révèle trois régimes distincts selon la profondeur des couches du modèle :

Couches Superficielles (Sensory Memory) : Présentent un biais fort vers la récence. Elles se concentrent sur les tokens visuels les plus récents pour percevoir l'entrée immédiate.
Couches Profondes (Long-term Memory) : Le biais de récence disparaît. L'attention devient sparse et rythmique, se concentrant sur des "tokens ancrés" (anchor tokens) qui résumement l'information sémantique de chaque image (frame-level). Elles servent de mémoire à long terme.
Couches Intermédiaires (Working Memory) : Elles agissent comme une transition, intégrant à la fois l'information récente et les résumés sémantiques globaux.

B. Architecture de HERMES

Basée sur cette observation, HERMES implémente trois composants clés :

Gestion Hiérarchique du KV Cache :
- Au lieu d'une éviction uniforme (FIFO), HERMES calcule un score d'importance ( $S_i^l$ ) pour chaque token selon sa couche ( $l$ ).
- Couches superficielles : Importance basée sur une courbe d'oubli exponentielle (théorie d'Ebbinghaus) favorisant la récence.
- Couches profondes : Importance basée sur les poids d'attention directs (ou via un prompt générique) pour conserver les tokens ancrés sémantiquement.
- Couches intermédiaires : Un mélange pondéré entre la récence et l'attention.
Lissage Mémoire Inter-couches (Cross-Layer Memory Smoothing) :
- Pour éviter l'incohérence où un token est évité dans une couche mais conservé dans une autre, HERMES propage et lisse les signaux d'importance des couches profondes vers les couches superficielles. Cela assure une cohérence visuelle à travers le réseau.
Re-indexation des Positions (Position Re-Indexing) :
- Pour gérer l'accumulation infinie de tokens dans un flux, les indices de position sont réaffectés de manière contiguë dans la fenêtre de mémoire allouée.
- Deux stratégies sont proposées : Lazy Re-Indexing (déclenché uniquement à la limite, idéal pour le streaming) et Eager Re-Indexing (à chaque compression, pour le hors ligne).
- Une correction de phase (Delta-based rotary correction) est appliquée pour réutiliser les états KV mis en cache sans recalcul.

Avantage Clé : HERMES ne nécessite aucun calcul auxiliaire ni recherche externe lors de l'arrivée d'une requête utilisateur. Le cache compact est réutilisé directement, garantissant une réponse immédiate.

3. Contributions Clés

Conceptualisation du KV Cache : Première approche à modéliser le KV Cache comme un système de mémoire hiérarchique (Sensorielle, Travail, Long terme) inspiré de la cognition humaine, basé sur une analyse mécaniste des MLLM.
Méthode Sans Entraînement : HERMES est un plugin qui s'intègre aux MLLM existants (comme LLaVA-OV, Qwen2.5-VL) sans nécessiter de réentraînement coûteux.
Efficacité et Performance : Réduction du nombre de tokens vidéo jusqu'à 68 % tout en maintenant, voire en améliorant, la précision.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des benchmarks de streaming (StreamingBench, OVO-Bench, RVS) et hors ligne (VideoMME, Egoschema, MVBench).

Performance :
- Sur StreamingBench, HERMES (basé sur Qwen2.5-VL-7B) atteint 79,44 % de précision, surpassant le modèle de base et toutes les méthodes SOTA (y compris TimeChat-Online et StreamForest).
- Sur les tâches de streaming ouvertes (RVS), HERMES améliore la précision de 11,4 % par rapport au modèle de base avec un échantillonnage uniforme.
- Sur les benchmarks hors ligne, HERMES maintient des performances compétitives ou supérieures avec une fraction réduite de tokens.
Efficacité (Latence et Mémoire) :
- TTFT (Time to First Token) : HERMES est 10 fois plus rapide que les méthodes SOTA précédentes (comme StreamingTOM) en termes de temps de réponse initial.
- Latence Stable : Le TTFT reste inférieur à 30 ms même lorsque le nombre d'images d'entrée augmente, contrairement aux autres méthodes dont la latence dégrade.
- Mémoire GPU : La consommation mémoire reste constante et faible (environ 16-17 Go sur un A800), éliminant le risque d'erreurs OOM (Out Of Memory) lors de vidéos très longues.

5. Signification et Impact

HERMES représente une avancée majeure pour le déploiement de MLLM dans des applications réelles de vidéo en continu (surveillance, assistants personnels, analyse de flux en direct).

Débarrasse de la latence de recherche : En évitant les mécanismes de recherche externe (RAG) pour les vidéos, il permet une interaction véritablement temps réel.
Optimisation des ressources : Il rend possible l'exécution de modèles multimodaux complexes sur du matériel standard avec des contraintes mémoire strictes.
Interprétabilité : L'approche offre une nouvelle compréhension de la manière dont les LLM traitent l'information temporelle, ouvrant la voie à des architectures de mémoire plus robustes pour les agents autonomes.

En résumé, HERMES résout le goulot d'étranglement du streaming vidéo en transformant le cache interne du modèle en une mémoire intelligente et hiérarchisée, offrant un équilibre optimal entre précision, rapidité et efficacité énergétique.