OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Résumé Technique : OmniFocus

Énoncé du Problème
Les modèles de langage de grande taille omnimodaux (Omni-LLMs) ont démontré la capacité de traiter conjointement l'audio et la vidéo, permettant des tâches telles que la compréhension audio-visuelle, le raisonnement empathique et le légendage. Cependant, les entrées audio-visuelles génèrent des séquences de tokens étendues, ce qui entraîne des coûts d'inférence substantiels qui limitent l'applicabilité dans des contextes de longue durée ou des environnements à ressources limitées. Bien que la compression de tokens soit une solution standard pour réduire les coûts d'inférence dans les modèles unimodaux ou de vision-langage, l'appliquer aux Omni-LLMs présente des défis uniques : la méthode doit simultanément préserver les preuves audio, les preuves visuelles et l'alignement intermodal.

Les méthodes existantes de compression de tokens audio-visuels, telles qu'OmniZip, reposent généralement sur une guidance unimodale (par exemple, utiliser l'attention audio pour guider la compression des deux modalités). Les auteurs identifient deux limitations critiques dans cette approche :

1. Négligence de la Localité Temporelle : Les méthodes guidées par une modalité unique échouent souvent à prendre en compte la localité temporelle des preuves pertinentes pour la requête, supposant que la densité d'information est distribuée uniformément ou alignée entre les modalités.
2. Biais de Modalité : En utilisant une seule modalité comme guide, ces méthodes supposent implicitement que la distribution de densité d'information de la modalité de guidage s'applique à l'autre. Cela conduit à un surapprentissage de la modalité de guidage tout en négligeant des preuves potentiellement critiques dans l'autre, dégradant les performances sur les tâches nécessitant un raisonnement audio-visuel conjoint ou impliquant la modalité non-guidée.

Méthodologie : OmniFocus
Les auteurs proposent OmniFocus, une méthode de compression de tokens guidée par la requête et sans entraînement, conçue pour atteindre une compression symétrique des modalités. Contra�à les approches précédentes qui utilisent une modalité pour guider l'autre, OmniFocus effectue une estimation d'importance indépendante pour la vidéo et l'audio basée sur la requête textuelle. La méthode opère en trois étapes avant que les tokens ne soient consommés par le backbone du LLM :

1. Évaluation de la Modalité Sensible à la Requête (Query-Aware Modality Scoring) :

   • La méthode extrait les tokens de la requête à partir de la couche d'embedding du LLM pour s'assurer qu'ils partagent le même espace d'entrée que les tokens audio et vidéo.
   • Pour chaque segment temporel (chunk), elle calcule un score de pertinence pour la vidéo et l'audio de manière indépendante en mesurant la similitude cosinus maximale entre la représentation de la requête et les tokens au sein de ce segment.
   • Cette approche par « similitude maximale » capture efficacement les preuves éparses correspondant à la requête, reconnaissant que l'information pertinente peut être concentrée dans des tokens spécifiques plutôt que distribuée uniformément.

2. Allocation de Budget par Segment (Chunk-wise Budget Allocation) :

   • Les scores de pertinence sont convertis en scores de compression (où une pertinence élevée entraîne une compression plus faible).
   • Ces scores sont mappés vers des taux de suppression locaux pour chaque segment sous des contraintes de budget global spécifiques à chaque modalité.
   • Une étape de calibration garantit que le nombre total de tokens conservés correspond au ratio de rétention global cible (par exemple, 25 % ou 35 %) tout en permettant à différents segments temporels et modalités de recevoir des budgets locaux adaptatifs.

3. Sélection de Tokens par Double Score (Dual-Score Token Selection) :

   • Au sein de chaque segment et de chaque modalité, les tokens sont sélectionnés selon deux critères complémentaires afin de préserver à la fois l'alignement intermodal et la saillance spécifique à la modalité :
     • Association Intermodale : Les tokens sont scorés par leur similitude avec la représentation moyenne de l'autre modalité dans le même segment. Cela préserve la correspondance audio-visuelle.
     • Pic Intra-modal : Les tokens sont scorés par leur distinction relative à la moyenne de leur propre modalité. Cela préserve les preuves qui sont uniques à une modalité spécifique et qui pourraient être manquées par l'alignement intermodal seul.
   • La sélection finale répartit équitablement les tokens conservés entre ceux ayant les scores d'association les plus élevés et ceux ayant les scores de pic les plus élevés.

Contributions Clés

1. Identification du Biais de Modalité : L'article valide empiriquement que la compression guidée par une modalité unique dans les Omni-LLMs conduit à un biais de modalité, dégradant les performances sur les tâches nécessitant la modalité non-guidée ou un raisonnement conjoint.
2. Framework OmniFocus : L'introduction d'une méthode de compression symétrique guidée par la requête et sans entraînement. Elle estime la pertinence de la requête séparément pour l'audio et la vidéo, atténuant le biais tout en préservant les associations intermodales et les pics intra-modaux.
3. Validation Empirique : Des expériences approfondies sur quatre benchmarks audio-visuels (DailyOmni, WorldSense, OmniVideoBench, VideoMME) démontrent qu'OmniFocus atteint un compromis précision-efficacité favorable.

Résultats
Les expériences ont été menées sur les familles de modèles Qwen2.5-Omni-3B et Qwen2.5-Omni-7B.

• Performance : À un ratio de rétention de tokens de 25 %, OmniFocus a surpassé les bases de référence existantes (OmniZip, DyCoke et Random) sur plusieurs scores de benchmarks majeurs.
  • Sur DailyOmni (Qwen2.5-Omni-7B), OmniFocus a atteint 59,40 % de précision, contre 57,73 % pour OmniZip et 54,37 % pour DyCoke.
  • Sur WorldSense, OmniFocus a obtenu les meilleurs résultats compressés dans tous les réglages de budget de modèle, surpassant OmniZip de jusqu'à 1,04 point sur le modèle 3B.
  • Sur VideoMME, il a obtenu les meilleurs scores moyens compressés dans les quatre configurations.
• Efficacité : OmniFocus a délivré des accélérations significatives. Sur DailyOmni avec le modèle 7B à 25 % de rétention, il a fourni une accélération du prefill de 1,38× et une accélération de bout en bout de 1,32× par rapport à la base de référence de tokens complets, tout en maintenant une meilleure précision que les autres méthodes de compression.
• Études d'Ablation : Les auteurs ont confirmé que :
  • Le scoring par similitude maximale surpasse la similitude moyenne.
  • L'allocation adaptative basée sur le score est supérieure à l'allocation aléatoire ou uniforme.
  • La stratégie hybride de sélection de tokens (intermodale et intra-modale) est critique ; s'appuyer sur une seule des deux mène à une baisse de performance.
  • Le scoring équilibré entre les modalités (considérant à la fois l'audio et la vidéo) est plus robuste que le scoring à modalité unique.

Signification et Revendications
L'article affirme qu'une compression de tokens symétrique des modalités guidée par la requête est un choix de conception plus fiable pour la compréhension audio-visuelle de longue durée qu'une budgétisation de tokens guidée par une seule modalité. La signification d'OmniFocus réside dans sa capacité à atténuer le biais de modalité inhérent aux stratégies de compression asymétriques précédentes sans nécessifier de réentraînement du modèle. En préservant à la fois la correspondance intermodale et les preuves saillantes spécifiques à la modalité, OmniFocus permet aux Omni-LLMs de fonctionner efficacement dans des environnements à ressources limitées tout en maintenant une haute fidélité dans les tâches de raisonnement audio-visuel. Les auteurs notent que bien que la méthode soit efficace, sa dépendance aux embeddings d'entrée gelés signifie qu'elle peut être moins précise pour les événements fins où les embeddings de tokens initiaux ne capturent pas pleinement l'intention de la requête, et que sa généralisabilité à des architectures au-delà de la famille Qwen2.5-Omni nécessite une évaluation supplémentaire.