💻 computer science

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

OmniPack est un cadre de travail sans entraînement qui améliore l'efficacité des grands modèles de langage omnimodaux en combinant la suppression de la redondance structurelle pré-LLM avec le raffinement sémantique post-interaction, atteignant des compromis performance-efficacité supérieurs à travers de multiples bancs d'essai tout en réduisant considérablement les coûts computationnels.

Auteurs originaux : Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Publié 2026-08-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent comment comprendre le monde. Vous ne lui donnez pas seulement un livre à lire ; vous lui montrez un film et jouez une bande sonore en même temps. C'est le monde passionnant de l'IA « Omni-modale », où les ordinateurs apprennent à voir, entendre et lire tout cela à la fois. Mais voici le hic : les films et les bandes sonores sont énormes. Une seule seconde de vidéo ou d'audio peut être décomposée en des milliers de petites « briques » numériques appelées jetons (tokens). Si vous essayez de donner un film entier au robot, il est submergé, comme un étudiant qui essaierait de lire toute une bibliothèque en une minute. Cela prend un temps infini, coûte une fortune en électricité et le robot finit souvent par être confus par le volume colossal d'informations. Les scientifiques ont essayé de résoudre ce problème en jetant les briques « ennuyeuses » avant même que le robot ne commence sa lecture, espérant ne garder que les plus importantes. Cependant, les anciennes méthodes pour jeter les choses étaient un peu maladroites — elles éliminaient parfois des indices cruciaux simplement parce qu'ils paraissaient différents de leurs voisins, ou elles essayaient de deviner ce qui était important avant que le robot n'ait eu la chance de réellement comprendre l'histoire.

Entrez en scène OmniPack, une nouvelle stratégie ingénieuse conçue pour aider ces robots capables de tout voir et de tout entendre à travailler plus vite sans perdre la tête. Voyez OmniPack comme un processus d'édition en deux étapes pour un scénario de film chaotique. D'abord, avant même que le robot ne lise le scénario, OmniPack agit comme un éditeur rigoureux qui scanne les images brutes. Il ne se contente pas de supprimer les moments calmes ; il cherche les moments « forts » (comme un crash soudain ou un flash lumineux) et s'assure également de ne pas sauter les décors de fond importants et calmes qui se produisent loin dans le temps. Il regroupe les briques similaires pour qu'elles ne prennent pas d'espace supplémentaire, créant ainsi un « best-of » qui préserve la structure de l'histoire.

Mais la magie opère vraiment lors de la seconde étape. Une fois que le robot a commencé à lire le scénario et à se parler à lui-même, OmniPack intervient à nouveau. Cette fois, il écoute les questions du robot. Si le robot demande : « De quelle couleur était la voiture ? », OmniPack sait qu'il doit conserver les jetons liés à la voiture et à la couleur, même s'ils étaient discrets ou petits. Il utilise la propre curiosité du robot pour affiner l'information, fusionnant les détails les plus utiles. Le résultat est une réduction massive du travail que le robot doit accomplir. Sur un modèle spécifique appelé Qwen2.5-Omni-7B, OmniPack a réussi à réduire le travail requis à seulement 16,7 % de la quantité originale tout en conservant 98,0 % de l'intelligence d'origine du robot. Même lorsqu'ils ont poussé les limites en réduisant le travail à un infime 6,8 %, le robot se souvenait toujours de 92,9 % de ce qu'il était censé savoir. C'est comme si l'on réduisait une encyclopédie massive à un simple dépliant, mais que ce dépliant contenait pourtant toutes les réponses dont vous avez besoin.

Les chercheurs ont découvert que les anciennes méthodes échouaient souvent car elles tentaient de compresser les choses trop tôt ou de manière trop simple. Ils ont soutenu que le fait de jeter des jetons en se basant uniquement sur leur aspect « bruyant » ou « similaire » faisait manquer des indices importants et dispersés. Ils ont également montré que l'utilisation de l'audio pour compresser la vidéo (ou vice versa) avant que le robot n'ait eu la chance de mélanger ces deux sens ne fonctionnait pas bien. Au lieu de cela, OmniPack suggère une approche « spécialisée par étape » : d'abord, nettoyer la structure en fonction du type de média spécifique (vidéo ou audio), puis, après que le robot a eu la chance de les mélanger, utiliser la tâche ou la question spécifique pour effectuer la compression finale et intelligente.

Dans leurs tests sur cinq ensembles de défis différents, OmniPack a systématiquement battu toutes les autres méthodes auxquelles ils ont été comparés. Qu'il s'agisse de tester sur des clips courts ou des vidéos longues, la nouvelle méthode offrait toujours le meilleur équilibre entre vitesse et intelligence. Les auteurs suggèrent qu'en coordonnant ces deux étapes — un nettoyage structurel d'abord, puis un raffinement intelligent basé sur la question — ils peuvent rendre ces modèles d'IA puissants beaucoup plus efficaces sans avoir besoin de les réentraîner de zéro. C'est un moyen de rendre les robots super intelligents plus rapides et moins coûteux à exploiter, tout en les gardant affûtés même lorsque les vannes d'information sont grandes ouvertes.

Résumé Technique : OmniPack

Énoncé du Problème
Les grands modèles de langage omnimodaux (Omni-LLMs) ont connu un succès significatif dans la compréhension unifiée audio-visuelle en modélisant conjointement le texte, les images, les vidéos et l'audio. Cependant, la tokenisation dense requise pour les entrées visuelles et audio entraîne des séquences substantiellement plus longues que le texte, créant une surcharge de calcul et de mémoire prohibitive lors de l'inférence. Bien que la compression de tokens soit nécessaire pour un déploiement efficace, les méthodes existantes font face à des limitations critiques sous des budgets de tokens agressifs :

Modélisation Structurelle Inadéquate : Les méthodes de compression pré-LLM reposent souvent sur l'importance locale ou la similitude, échouant à capturer les structures spatio-temporelles à longue portée. Cela conduit à la perte de preuves distribuées globalement, telles que des événements épars dans de longues vidéos ou des indices acoustiques transitoires.
Collaboration Cross-Modale Insuffisante : Les approches existantes compressent soit avant le LLM (où les représentations audio et visuelles ont une interaction sémantique limitée), soit à l'intérieur du LLM (s'appuyant principalement sur l'orientation textuelle sans modéliser explicitement la collaboration audio-visuelle). Par conséquent, elles ne parviennent pas à exploiter pleinement les preuves cross-modales pertinentes pour la tâche.

Méthodologie : OmniPack
Les auteurs proposent OmniPack, un cadre progressif en deux étapes, sans entraînement (training-free), conçu pour coordonner la compression structurelle avant le LLM avec l'affinement sémantique à l'intérieur du LLM.

1. Compression Spécifique à la Modalité Pré-LLM
Opérant avant le LLM, cette étape élimine la redondance structurelle tout en préservant les preuves saillantes et la couverture globale. Elle emploie trois mécanismes distincts :

Sélection par Importance : Identifie les tokens dominants en utilisant les statistiques d'attention de l'encodeur et des indices structurels spécifiques à la modalité. Pour la vidéo, cela inclut la variation entre cadres adjacents et la distinction spatiale ; pour l'audio, cela inclut la variation entre tokens adjacents pour détecter les frontières acoustiques.
Sélection par Couverture : Pour éviter une concentration excessive sur les régions saillantes, cette étape sélectionne des tokens représentatifs supplémentaires en utilisant une métrique de distance conjointe combinant la similitude des caractéristiques et la distance temporelle/spatio-temporelle normalisée. Elle utilise DPC-KNN pour assurer une large couverture spatio-temporelle.
Fusion de Tokens Sensible à la Similitude : Au lieu de simplement rejeter les tokens non sélectionnés, leurs informations sont agrégées dans les représentants conservés. Les tokens non sélectionnés sont assignés au représentant conservé le plus similaire sur la base de la similitude des caractéristiques, de la proximité positionnelle et de l'importance du token cible, transférant ainsi efficacement l'information redondante vers l'ensemble conservé.

2. Compression Intra-LLM Conditionnée par Requête
Après qu'une interaction multimodale suffisante a eu lieu au sein des $\ell$ premiers blocs Transformer, une seconde étape de compression affine les représentations conservées. Cette étape tire parti de :

Guidage Textuel : Une représentation de requête globale dérivée des états cachés du texte guide la sélection des tokens pertinents pour la tâche.
Collaboration Audio-Visuelle : Le score de pertinence d'un token est calculé en considérant sa similitude avec la requête textuelle, sa similitude avec le prototype de l'autre modalité (par exemple, les tokens visuels considérant le contexte audio), et sa représentativité intra-modalité.
Sélection Sensible à la Diversité : Les tokens sont sélectionnés de manière itérative pour équilibrer la pertinence et la diversité sémantique, garantissant que l'ensemble conservé couvre le spectre d'informations nécessaire.
Fusion Modulée par la Pertinence : Les états cachés non sélectionnés sont incorporés aux représentants conservés via une moyenne pondérée par la similitude, modulée par les scores de pertinence.

Principales Contributions

Identification des Limitations : Le papier souligne que la compression actuelle des Omni-LLM échoue sous des budgets agressifs en raison d'une modélisation structurelle à longue portée inadéquate et d'une exploitation insuffisante des preuves cross-modales conditionnées par la requête.
Cadre Unifié : OmniPack introduit une stratégie progressive sans entraînement qui combine la compression pré-LLM spécifique à la modalité (structurelle) avec la compression intra-LLM conditionnée par la requête (sémantique), fusionnant l'information supprimée dans les représentants conservés pour minimiser la perte d'information.
Compromis Performance-Efficacité : Le cadre est conçu pour permettre une compression de tokens agressive tout en maintenant une haute performance de compréhension multimodale.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur cinq benchmarks (AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench) en utilisant trois backbones d'Omni-LLM (Qwen2.5-Omni-3B/7B et MiniCPM-o-2.6).

Performance : Sur Qwen2.5-Omni-7B, OmniPack préserve 98,0 % de la performance originale tout en réduisant les FLOPs à 16,7 %. Sous une compression extrême (ne conservant que 6,8 % des FLOPs originaux), il conserve 92,9 % de la performance originale.
Comparaison : OmniPack surpasse systématiquement les bases de référence state-of-the-art sans entraînement (incluant FastV-om, VisionZip-om, OmniZip, OmniSIFT et les variantes de SEATS) à travers divers ratios de rétention.
Efficacité : À un ratio de rétention de 15 %/7,5 % (pré-LLM/final), OmniPack atteint une réduction de 10,0× des FLopS et une accélération du préfixe (prefill) de 4,5× tout en préservant 95,6 % de la performance originale.
Ablation : Les études confirment que la combinaison de la sélection par importance, de la sélection par couverture et de la fusion de tokens produit les meilleurs résultats pré-LLM. De plus, la compression intra-LLM bénéficie de manière significative de la collaboration audio-visuelle et du guidage conscient du texte par rapport aux stratégies indépendantes ou génériques.

Signification
Le papier affirme qu'OmniPack résout le goulot d'étranglement critique de la surcharge de calcul dans les Omni-LLM sans nécessifier de réentraînement du modèle. En déplaçant la compression des simples indices structurels vers une sémantique conditionnée par la tâche grâce à un processus coordonné en deux étapes, le cadre permet le déploiement pratique des Omni-LLM sur des appareils aux ressources limitées. Les résultats démontrent qu'une compression de tokens agressive peut être réalisée sans sacrifier la capacité du modèle à comprendre des scénarios du monde réel complexes, dynamiques et évoluant temporellement, établissant un nouveau compromis performance-efficacité de pointe dans le domaine.

Articles similaires