💻 computer science

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect est un cadre d'élagage de tokens sans entraînement et adaptatif aux modalités qui sélectionne et applique dynamiquement des stratégies de compression basées sur la pertinence intermodale pour réduire efficacement les séquences de tokens multimodales dans les OmniLLMs tout en préservant les performances.

Auteurs originaux : Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le Bouchon de Circulation de « Trop d'Informations »

Imaginez que vous avez un assistant robot ultra-intelligent (un Omni-LLM) capable de regarder des vidéos et d'écouter de l'audio en même temps. Pour comprendre une vidéo, ce robot ne voit pas simplement « une voiture » ; il décompose la vidéo en milliers de minuscules pièces de puzzle numériques appelées tokens. Il fait de même pour le son.

Si vous donnez au robot une longue vidéo avec du son, il est submergé. C'est comme essayer de lire un livre de 1 000 pages tout en écoutant un podcast de 10 heures simultanément. Le robot reste coincé dans un « embouteillage » de données, utilisant toute sa mémoire et mettant une éternité à répondre à une question simple comme : « De quelle couleur était le camion ? »

Pour résoudre ce problème, les chercheurs essaient généralement de jeter certaines des pièces du puzzle (tokens) pour accélérer le travail. Mais voici le hic : La plupart des méthodes existantes sont comme un concierge maladroit. Ils jettent des pièces au hasard ou utilisent une règle « unique pour tous ». Ils pourraient jeter l'image la plus importante d'un accident de voiture simplement parce qu'elle s'est produite en même temps qu'un son ennuyeux, ou ils pourraient garder une pièce silencieuse et vide simplement parce que la musique de fond était forte.

La Solution : OmniSelect (L'Éditeur Intelligent)

Les auteurs proposent une nouvelle méthode appelée OmniSelect. Considérez OmniSelect non pas comme un concierge, mais comme un éditeur de film intelligent et adaptatif qui sait exactement ce que le spectateur demande avant même de commencer à couper.

OmniSelect est « sans entraînement », ce qui signifie qu'il n'a pas besoin de retourner à l'école pour apprendre à faire cela ; il utilise un ensemble astucieux de règles pour déterminer quoi garder et quoi couper sur le vif.

Comment Cela Fonctionne : Le Processus en Trois Étapes

1. La « Vérification de Pertinence » (Qui est la Star ?)

Avant de couper quoi que ce soit, OmniSelect pose une question simple : « Pour cette question spécifique, la réponse est-elle cachée dans la vidéo ou dans l'audio ? »

Il utilise un outil léger (appelé AudioCLIP) pour analyser la question ainsi que la vidéo et l'audio.

Scénario A : Vous demandez : « Quel temps fait-il ? » L'outil voit que la vidéo est la star. OmniSelect décide d'être Centré sur la Vidéo. Il garde les images et coupe l'audio.
Scénario B : Vous demandez : « Quelle chanson joue-t-il ? » L'outil voit que l'audio est la star. OmniSelect devient Centré sur l'Audio. Il garde le son et coupe la vidéo.
Scénario C : Vous demandez : « Décrivez toute la scène. » Les deux sont importants. OmniSelect choisit un Élagage Uniforme, coupant les deux de manière égale.

Analogie : Imaginez que vous faites vos valises pour un voyage. Si vous allez à la plage, vous mettez des maillots de bain et des lunettes de soleil (Centré sur la Vidéo). Si vous allez à un concert, vous mettez des billets et des bouchons d'oreilles (Centré sur l'Audio). OmniSelect détermine la destination avant que vous ne commenciez à faire vos valises, afin que vous ne gaspilliez pas d'espace avec les mauvais articles.

2. Le « Budget Dynamique » (Allouer l'Espace)

Une fois qu'il sait quelle « star » (vidéo ou audio) est la plus importante, il ne coupe pas au hasard. Il crée un budget dynamique.

Si la vidéo est la star, il dit : « D'accord, nous avons un budget serré. Nous garderons 90 % des images de la vidéo mais seulement 30 % de l'audio. » Si l'audio est la star, il inverse la logique. Il s'assure que les parties les plus informatives de la vidéo ou de l'audio obtiennent le plus d'« espace » dans la mémoire du robot.

3. La « Coupe Fine » (La Stratégie Bottom-K)

À l'intérieur de chaque tranche de temps (comme un clip de 5 secondes), OmniSelect doit décider quelles pièces de puzzle spécifiques jeter.

L'Ancienne Façon (Top-K) : Certaines méthodes gardent les pièces les « plus bruyantes » ou les « plus actives ». C'est comme garder les pixels les plus colorés d'une photo, même s'ils ne sont que du bruit.
La Façon OmniSelect (Bottom-K) : C'est l'astuce ingénieuse du papier. Au lieu de garder les pièces les « plus bruyantes », il garde les pièces qui sont les moins similaires entre elles.
- Analogie : Imaginez une pièce remplie de gens qui parlent. Si tout le monde dit exactement la même chose, vous n'avez besoin d'écouter qu'une seule personne. OmniSelect identifie les « échos » (tokens redondants) et les fait taire, ne gardant que les voix uniques qui apportent de nouvelles informations. Cela garantit que le robot voit l'image entière, et pas seulement la partie la plus bruyante.

Les Résultats : Rapide, Économe et Intelligent

Le papier a testé cela sur deux tailles différentes de robots (3B et 7B paramètres) en utilisant des benchmarks réels de vidéo et d'audio.

Vitesse : OmniSelect a rendu le robot 1,19 à 1,33 fois plus rapide. C'est comme passer d'un vélo à un scooter.
Mémoire : Il a économisé environ 2,6 Go à 2,8 Go de mémoire. C'est comme vider tout un placard de bric-à-brac pour que le robot puisse ranger des choses plus importantes.
Précision : Malgré le fait de jeter 70 % des données, le robot a toujours donné 94 % à 99 % des bonnes réponses par rapport à la lecture de la vidéo entière. Dans certains cas, en supprimant le « bruit » (données redondantes), le robot s'est en fait révélé meilleur pour répondre aux questions que lorsqu'il avait toutes les données.

Résumé

OmniSelect est un système intelligent qui cesse de traiter toutes les données vidéo et audio comme égales. Au lieu de cela, il agit comme un détective :

Il détermine si la réponse réside dans les yeux (vidéo) ou les oreilles (audio).
Il alloue son budget de mémoire en conséquence.
Il coupe impitoyablement les parties ennuyeuses et répétitives tout en conservant les détails uniques et importants.

Le résultat est une IA ultra-efficace capable de comprendre de longues vidéos et des sons complexes sans s'enliser, le tout sans avoir besoin d'être re-entraînée.

Résumé Technique : OmniSelect

Énoncé du Problème

Les Modèles de Langage de Grande Taille Omnimodaux (OmniLLM) sont apparus pour unifier la compréhension de l'audio, de la vidéo et du texte au sein d'une architecture autorégressive unique. Cependant, le traitement de flux vidéo et audio haute fidélité génère un nombre excessif de tokens, entraînant une complexité quadratique dans les mécanismes d'attention et créant des goulots d'étranglement significatifs en termes de calcul et de mémoire lors de l'inférence.

Bien que la compression de tokens ait été explorée pour des tâches unimodales (images, vidéo, audio), les solutions existantes pour les OmniLLM reposent sur un guidage fixe et spécifique à la modalité. Par exemple, des méthodes comme OmniZip utilisent des ancres audio pour guider l'élagage vidéo, tandis que d'autres s'appuient exclusivement sur des indices visuels. Les auteurs soutiennent que ces stratégies « taille unique » sont inadéquates car l'importance relative des informations visuelles et auditives varie considérablement selon les requêtes. Comme illustré dans l'article, certaines questions reposent fortement sur la vision, d'autres sur l'audio, et certaines nécessitent une intégration équilibrée. L'utilisation d'une modalité inappropriée pour guider la compression peut entraîner la suppression d'informations critiques et des réponses erronées du modèle.

Méthodologie : OmniSelect

Pour pallier ces limitations, les auteurs proposent OmniSelect, un cadre d'élagage de tokens adaptatif aux modalités et sans entraînement. La méthode sélectionne dynamiquement la stratégie de compression appropriée pour les entrées multimodales en fonction de la requête spécifique, évitant ainsi les mécanismes de guidage fixes. Le cadre fonctionne via une stratégie en deux étapes :

1. Allocation Dynamique des Ratios Sensible aux Modalités

La première étape détermine la stratégie d'élagage globale et alloue les ratios d'élagage pour chaque groupe temporel.

Estimation de la Pertinence : Le système emploie un modèle AudioCLIP léger pour estimer la pertinence cross-modale. Il calcule des scores de similarité entre la requête textuelle et les embeddings visuels et audio. Pour réduire le coût computationnel, les trames vidéo sont sous-échantillonnées temporellement, et le texte est filtré pour ne conserver que les noms et les adjectifs.
Classification de la Stratégie : Sur la base des scores de similarité moyens ( $\bar{s}^{(v)}$ $\overset{s}{ˉ}^{(v)}$ pour la vidéo, $\bar{s}^{(a)}$ $\overset{s}{ˉ}^{(a)}$ pour l'audio) et d'un seuil $\theta$ $θ$ , le système catégorise l'entrée dans l'un des trois régimes d'élagage suivants :
- Élagage Uniforme : Si $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$ , les deux modalités sont traitées comme également importantes.
- Élagage Centrée sur la Vidéo : Si $\bar{s}^{(v)} > \bar{s}^{(a)}$ , la stratégie privilégie les tokens vidéo.
- Élagage Centrée sur l'Audio : Si $\bar{s}^{(a)} > \bar{s}^{(v)}$ , la stratégie privilégie les tokens audio.
Allocation Adaptative : Au sein du régime choisi, le système alloue dynamiquement les ratios d'élagage ( $\rho$ ) à chaque groupe temporel. Il utilise une fonction de mapping sigmoïde basée sur l'écart des scores de similarité par rapport à la moyenne, garantissant que les groupes ayant une pertinence plus élevée pour la requête conservent plus de tokens tout en respectant un budget global d'élagage.

2. Pipeline d'Élagage Temporel par Groupes (TGP2)

Une fois la stratégie et les ratios déterminés, le système effectue un élagage fin des tokens au sein de chaque groupe temporel :

Élagage Audio : Les tokens audio saillants sont sélectionnés par sélection Top-K basée sur la matrice d'attention dérivée de la dernière couche de l'encodeur audio.
Élagage Vidéo : Les tokens vidéo saillants sont sélectionnés par sélection Bottom-K basée sur la matrice de similarité cosinus des embeddings de vision. Les auteurs choisissent Bottom-K (sélectionner les tokens ayant la plus faible similarité avec les autres) plutôt que des méthodes basées sur l'attention pour éviter le biais du puits d'attention (attention sink) et réduire la surcharge computationnelle, arguant que cela supprime efficacement le contenu redondant et fortement corrélé tout en préservant les indices visuels distinctifs.

Contributions Clés

L'article expose trois contributions principales :

Analyse des Limites du Guidage Fixe : Les auteurs démontrent que les méthodes existantes reposant sur un guidage statique spécifique à la modalité ne tiennent pas compte de l'importance variable des modalités selon les requêtes, conduisant à une compression sous-optimale.
Cadre OmniSelect : Ils proposent un cadre adaptatif aux modalités et sans entraînement qui sélectionne dynamiquement entre les stratégies d'élagage Uniforme, Centrée sur la Vidéo et Centrée sur l'Audio. Il effectue en outre un élagage fin des tokens au sein des groupes temporels, allouant des ratios de manière adaptative pour préserver les tokens informatifs.
Validation Empirique : Des expériences extensives sur des benchmarks audio-visuels montrent que OmniSelect accélère l'inférence et réduit la surcharge mémoire GPU tout en maintenant de hautes performances, obtenant des résultats compétitifs parmi les méthodes de compression de tokens sans entraînement.

Résultats Expérimentaux

Les auteurs ont évalué OmniSelect sur les modèles Qwen2.5-Omni (3B et 7B paramètres) à travers quatre benchmarks : WorldSense, DailyOmni, VideoMME et OmniVideoBench.

Préservation des Performances : OmniSelect conserve 94 % à 99 % de la précision originale avec tous les tokens. Dans plusieurs cas (par exemple, des configurations spécifiques sur OmniVideoBench et VideoMME), la méthode a même surpassé les performances de l'inférence avec tous les tokens, suggérant que la suppression des tokens redondants peut améliorer la qualité des prédictions.
Gains d'Efficacité :
- Accélération de l'Inférence : Un gain de vitesse de 1,19× à 1,33× a été atteint.
- Réduction de la Mémoire : La consommation de mémoire GPU a été réduite de 2,58 Go à 2,77 Go.
- Temps de Préremplissage : Le temps de préremplissage a été réduit de 3,53× à 3,62× sous une compression de tokens de 70 %.
Comparaison : OmniSelect a constamment surpassé les bases de référence comme OmniZip (guidé par l'audio) et DyCoke (fusion temporelle) sur divers budgets de trames et ratios de compression. L'avantage était particulièrement prononcé dans les scénarios de vidéos longues et sur le modèle 3B, qui a montré un compromis efficacité-performance plus favorable.
Études d'Ablation : Les expériences ont confirmé que la sélection dynamique des stratégies d'élagage (passage entre Centrée sur la Vidéo, Centrée sur l'Audio et Uniforme) est supérieure à la dépendance à une seule stratégie fixe.

Importance et Revendications

L'article positionne OmniSelect comme une évolution nécessaire dans l'optimisation des OmniLLM. Les auteurs affirment que l'importance principale de leur travail réside dans le passage d'un guidage statique et spécifique à la modalité à une sélection de stratégie dynamique et consciente de la requête. En modélisant explicitement la préférence de modalité et en permettant au modèle d'adapter sa stratégie de compression aux besoins sémantiques spécifiques d'une requête, OmniSelect évite efficacement les pièges de la compression uniforme.

Les auteurs soulignent que leur méthode est sans entraînement, la rendant immédiatement applicable aux OmniLLM existants sans nécessité de réentraînement ou de fine-tuning. Ils concluent que, bien que leur mécanisme de sélection basé sur des seuils soit efficace, la stratégie optimale existe souvent au sein de leur taxonomie proposée, et que la limite principale réside dans la précision de la sélection de la stratégie plutôt que dans la capacité de représentation de l'élagage lui-même. Des travaux futurs sont suggérés pour explorer des modèles plus robustes pour l'estimation de l'importance des modalités.