🤖 AI

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem est un cadre de streaming économe en mémoire pour les LLM audio-visuels qui surmonte les limitations d'inférence sur les vidéos longues en employant une stratégie d'allocation sensible à la modalité et une sélection de mémoire sensible aux perturbations pour améliorer significativement la précision sous des budgets de mémoire stricts.

Auteurs originaux : Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de regarder un film de 3 heures sur un minuscule smartphone doté d'un stockage très limité. Pendant que le film défile, votre téléphone essaie de se souvenir de chaque image et de chaque mot de dialogue. Finalement, le téléphone manque de mémoire, commence à se figer ou doit supprimer des choses de manière aléatoire pour faire de la place aux nouvelles scènes. C'est exactement le problème auquel sont confrontés les modèles de langage audio-visuels modernes (des IA qui regardent des vidéos et écoutent de l'audio) lorsqu'ils essaient de comprendre de longues vidéos.

Le papier présente un nouveau système appelé OmniMem pour résoudre cela. Considérez OmniMem comme un bibliothécaire super intelligent et hautement organisé pour la mémoire de l'IA.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'erreur du « Taille Unique »

Les systèmes d'IA actuels traitent la vidéo (ce que vous voyez) et l'audio (ce que vous entendez) exactement de la même manière lorsqu'ils les enregistrent en mémoire.

Le Déséquilibre : Dans une vidéo typique, il y a des milliers de « tokens » visuels (petits morceaux de données d'image) mais seulement une poignée de tokens audio (mots ou sons).
La Faille : Si vous utilisez une limite de mémoire standard, l'IA finit par accumuler des milliers de détails visuels redondants (comme un arrière-plan statique) tout en jetant accidentellement des indices audio cruciaux (comme un personnage disant : « Regarde derrière toi ! »). C'est comme remplir votre sac à dos avec 100 cailloux identiques alors qu'il ne vous reste de la place que pour une seule carte importante.

2. La Solution : La stratégie à deux volets d'OmniMem

OmniMem corrige cela en utilisant deux astuces principales : des Poches Séparées et une Sélection Intelligente.

Astuce A : Des Poches Séparées (Allocation de budget Audio-Visuel)

Au lieu d'un seul grand seau de mémoire, OmniMem donne à l'IA deux poches séparées : une pour le visuel et une pour l'audio.

L'Analogie : Imaginez un chef cuisinant préparant un plat complexe. Il ne jette pas simplement tous les ingrédients dans une seule grande marmite. Il garde les épices dans un petit bocal précieux et les légumes dans un grand bac.
Comment ça marche : OmniMem reconnaît que l'audio est rare mais précieux, tandis que le visuel est abondant mais souvent répétitif. Il alloue une quantité spécifique et équitable de mémoire à la « poche » audio afin que les mots parlés importants ne soient pas supprimés simplement parce qu'il y a trop d'images.

Astuce B : Sélection Intelligente (Mémoire sensible à la perturbation)

Une fois que l'IA possède ses poches de mémoire, elle doit décider de ce qu'elle garde et de ce qu'elle jette au fur et à mesure que la vidéo défile. Les anciennes méthodes regardaient simplement à quel point deux choses étaient similaires (par exemple : « ces deux images se ressemblent, supprimons-en une »).

La Faille des anciennes méthodes : Ce n'est pas parce que deux images sont similaires qu'elles ne sont pas importantes. Peut-être que cette image « ennuyeuse » contient un indice subtil dont l'IA aura besoin plus tard.
L'Approche d'OmniMem : OmniMem pose une question de type « Et si ? ». Il simule la suppression d'un morceau de mémoire et demande : « Si je supprime ceci, est-ce que la réponse de l'IA changera ? »
- Si la suppression d'un token provoque une confusion ou un changement d'avis de l'IA, OmniMem le garde.
- Si la suppression d'un token ne change rien, OmniMem le jette.
L'Analogie : Pensez à cela comme le montage d'un film. Un mauvais monteur coupe des scènes en fonction de leur durée. OmniMem est un monteur intelligent qui coupe les scènes en fonction de savoir si l'histoire fait toujours sens sans elles. Il garde les scènes de « rebondissement » et supprime les scènes de « longue marche dans un couloir », même si le couloir est joli.

3. Le Bonus de l'« Entraînement »

Le papier mentionne également que si vous apprenez spécifiquement à l'IA comment utiliser ces nouvelles règles de mémoire (un processus appelé « fine-tuning »), elle devient encore meilleure.

L'Analogie : Donner à l'IA un nouvel ensemble de règles, c'est comme donner à un étudiant un nouveau guide d'étude. Si vous lui donnez ensuite un test pratique utilisant ces règles, elle apprend à organiser ses notes de manière encore plus efficace, extrayant encore plus de valeur de l'espace limité dont elle dispose.

Les Résultats

Les chercheurs ont testé OmniMem sur plusieurs benchmarks de vidéos longues (comme VideoMME et LVBench).

Le Résultat : Sans aucun entraînement supplémentaire, OmniMem était 2 à 4 % plus précis que les méthodes de pointe précédentes.
Avec Entraînement : Après que l'IA a appris à utiliser les nouvelles règles de mémoire, elle a gagné encore 1 à 2 % de précision.
Efficacité : Il a accompli tout cela sans ralentir l'IA et sans utiliser beaucoup plus de puissance informatique.

Résumé

OmniMem est une nouvelle façon pour l'IA de regarder de longues vidéos sans manquer de capacités cérébrales. Elle cesse de traiter l'audio et la vidéo comme la même chose, leur donne leur propre espace de mémoire, et ne supprime que les informations dont elle est sûre qu'elle ne manquera pas. Le résultat est une IA capable de comprendre des heures de contenu vidéo avec beaucoup plus de précision qu'auparavant.

Résumé Technique : OmniMem

Énoncé du Problème

Les modèles de langage de grande taille audio-visuels (av-LLMs) montrent un potentiel significatif pour la compréhension de vidéos de longue durée, mais font face à un goulot d'étranglement fondamental lors de l'inférence en streaming : la croissance linéaire des jetons (tokens) vidéo et des caches Clé-Valeur (KV). À mesure que la longueur de la vidéo augmente (par exemple, des vidéos d'une heure), les exigences de mémoire dépassent rapidement les limites des GPU. Bien que le traitement par morceaux (chunked streaming) soit apparu comme une solution pratique, les méthodes de compression existantes souffrent de deux limitations principales :

Traitement Uniforme des Jetons : Les méthodes actuelles appliquent souvent une métrique de sélection de jetons unifiée (par exemple, la similitude cosinus ou une requête proxy générique par attention) aux jetons audio et visuels. Cela ne tient pas compte du déséquilibre sévère de jetons entre les modalités (les jetons visuels surpassent souvent les jetons audio de 30 à 40 fois), ce qui entraîne une sous-pondération systématique ou une élimination d'informations audio critiques.
Critères de Sélection Sous-optimaux : Les méthodes de streaming existantes reposent généralement sur des « requêtes proxies génériques » (externes au graphe de calcul du modèle) pour estimer l'importance des jetons. Ces scores peuvent ne pas refléter avec précision la perturbation réelle causée par l'éviction d'un jeton, ce qui peut conduire à la suppression d'états informatifs qui ne scorent pas haut sur une requête proxy générique mais qui sont cruciaux pour la sortie spécifique du modèle.

Méthodologie

Les auteurs proposent OmniMem, un cadre de streaming efficace en termes de mémoire, sensible aux perturbations et conscient des modalités, conçu pour répondre à ces limitations. Le flux de travail traite la vidéo morceau par morceau, maintenant des caches KV distincts pour les jetons audio et visuels.

1. Sélection du Cache KV Sensible aux Perturbations

Au lieu d'utiliser des requêtes proxies externes, OmniMem sélectionne les paires KV à conserver selon un critère qui minimise la distorsion de la sortie de l'attention après l'éviction. Le score de sélection ( $\psi_k$ ) pour un jeton $k$ combine deux facteurs :

Importance (Score d'Attention) : La masse d'attention accumulée ( $a_k$ ) dirigée vers le jeton par les requêtes suivantes. Des valeurs élevées indiquent que le jeton est fréquemment utilisé par la couche suivante.
Redondance (Similitude Cosinus) : La similitude cosinus ( $s_k$ ) entre l'état caché du jeton et ses positions adjacentes. Une similitude élevée indique une redondance.

Le score de sélection est calculé comme suit :
$\psi_k = a_k^\lambda (1 - s_k)$
où $\lambda$ est un facteur de normalisation. Cette combinaison multiplicative garantit que le système conserve les jetons qui sont à la fois fréquemment utilisés (haute importance) et non redondants (faible similitude avec les voisins). Pour calculer la similitude sans surcharge excessive, la méthode utilise les états cachés (ou les vecteurs de valeur) plutôt que le cache KV complet.

2. Allocation de Budget Audio-Visuel (AVBA)

Pour traiter le déséquilibre des modalités, OmniMem introduit l'AVBA, un mécanisme qui alloue des budgets de mémoire distincts pour les caches KV audio et visuels plutôt que d'appliquer un budget global uniforme.

Métriques de Compressibilité : Le système calcule un score de compressibilité ( $C$ ) pour chaque modalité en utilisant l'entropie d'attention normalisée et la similitude cosinus moyenne.
Ratio Dynamique : Un ratio de jetons visuels par rapport aux audios ( $r$ ) est établi au préalable (fixé à 5 dans l'article). Les poids de budget réels ( $w_v, w_a$ ) sont ensuite ajustés en fonction des scores de compressibilité relatifs des flux audio et visuels. Cela garantit que les modalités moins compressibles (souvent l'audio, comme la parole humaine) reçoivent une allocation de mémoire adéquate, même si elles constituent une faible fraction du nombre total de jetons.
Allocation par Couche : Le budget total est distribué de manière non uniforme à travers les couches du Transformer en fonction de la compressibilité spécifique à chaque couche, les couches antérieures recevant généralement des budgets plus importants.

3. Fine-Tuning Sensible au Budget

Bien qu'OmniMem fonctionne comme une méthode sans entraînement (training-free), les auteurs explorent le fine-tuning supervisé (SFT) avec le schéma d'allocation de budget. Pendant ce processus, le modèle est entraîné pour consolider les informations utiles dans les jetons de mémoire conservés. Pour gérer les coûts de calcul pour les séquences longues, la rétropropagation est tronquée aux $L-l$ dernières couches tout en assurant le flux de gradient à travers toutes les couches du dernier morceau.

Principales Contributions

L'article résume ses contributions comme suit :

Cadre OmniMem : Un mécanisme de sélection de cache KV sensible aux perturbations et conscient des modalités qui combine l'importance basée sur l'attention et la redondance basée sur la similitude cosinus pour minimiser la distorsion de sortie après éviction.
Mécanisme AVBA : Le premier mécanisme d'allocation de budget audio-visuel pour les av-LLMs, qui traite les écarts de représentation des modalités et empêche la marginalisation des jetons audio due au déséquilibre du nombre de jetons.
Gains de Performance : Démontre des améliorations constantes de la précision par rapport aux bases de référence de requête proxy générique et de similitude cosinus, avec des gains supplémentaires obtenus grâce au fine-tuning sensible au budget.

Résultats Expérimentaux

Les expériences ont été menées sur VideoMME Long, LVBench et LVOmniBench en utilisant video-SALMONN 2+ (4B et 8B paramètres) et Qwen2.5-Omni (7B paramètres).

Performance Sans Entraînement : Sous des budgets de mémoire identiques (par exemple, 8K paires KV par couche), OmniMem surpasse systématiquement les bases de référence fortes (InfiniPot-V, StreamMem, HERMES) de 2 à 4 % en précision absolue.
- Sur video-SALMONN 2+ (8B), OmniMem obtient des améliorations de 4,5 % sur VideoMME Long, 3,0 % sur LVBench et 2,2 % sur LV-OmniBench par rapport à la meilleure base de référence (HERMES).
- Les améliorations étaient particulièrement notables sur la partition « Omni-source » de StreamingBench, où l'équilibre audio-visuel est critique.
Gains de Fine-Tuning : L'application du fine-tuning sensible au budget a apporté une amélioration supplémentaire de 1 à 2 % de précision absolue. Les gains les plus significatifs ont été observés sur LVBench (jusqu'à 4,1 % pour le modèle 4B), suggérant que le modèle apprend à utiliser plus efficacement le budget de mémoire fixe pour les vidéos plus longues.
Efficacité : La surcharge de temps d'exécution de la mémoire était minimale (<1 Go sur les GPU H800), principalement en raison de la rétention des états cachés pour le calcul de la similitude. La latence du premier jeton est restée comparable aux bases de référence (~0,2s).

Signification et Revendications

L'article positionne OmniMem comme une évolution nécessaire pour les av-LLM en streaming, passant d'un scoring de jetons heuristique à une approche fondée sur des principes qui optimise explicitement l'impact de l'éviction des jetons sur les sorties du modèle.

Conscience des Modalités : Les auteurs affirment que traiter les jetons audio et visuels de manière uniforme est une faille fondamentale des méthodes de streaming actuelles. En introduisant l'AVBA, ils démontrent que préserver l'intégrité de la modalité audio, moins fréquente mais dense en informations, est crucial pour la compréhension de longue durée.
Conscience des Perturbations : Le passage des requêtes proxies génériques à une sélection sensible aux perturbations (minimisant la distorsion de sortie) est présenté comme un critère plus robuste pour déterminer l'importance des jetons.
Déploiement Pratique : La méthode est conçue pour des contraintes de déploiement réalistes, fonctionnant sans nécessiter de requêtes utilisateur pour déterminer les budgets et fonctionnant efficacement dans des limites de mémoire strictes pour des vidéos d'une heure.

Les auteurs concluent que bien qu'OmniMem introduise une légère surcharge de mémoire pour le calcul de la similitude, le compromis produit des gains de précision constants et significatifs, établissant un nouveau standard pour l'inférence audio-visuelle de longue durée sous contrainte de mémoire.