Résumé Technique : OmniDrop

Énoncé du Problème

Les modèles de langage de grande taille omni-modaux (Omni-LLM) ont démontré un potentiel significatif dans la compréhension holistique multimodale, intégrant texte, audio et vidéo. Cependant, un goulot d'étranglement critique pour les applications en temps réel et le raisonnement sur de longues séquences est l'« explosion des tokens » causée par les données temporelles haute résolution. Les signaux audio et vidéo génèrent considérablement plus de tokens que le texte (par exemple, une séquence vidéo d'une minute peut se projeter sur plus de 10 000 tokens), entraînant une croissance quadratique des surcoûts computationnels et mémoire.

Les méthodes existantes de compression de tokens pour les Omni-LLM effectuent généralement l'élagage au niveau des embeddings d'entrée. Ces approches reposent sur l'hypothèse que les tokens audio-vidéo sont alignés sémantiquement via des espaces de représentation partagés ou une co-occurrence temporelle. Les auteurs soutiennent que ces hypothèses sont peu fiables pour deux raisons principales :

1. Alignement Pré-LLM Faible : Les embeddings audio et vidéo occupent des sous-espaces distincts au sein de l'espace d'embedding du LLM avant le traitement, ce qui se traduit par une faible similarité cosinus intermodale incapable d'identifier des relations sémantiques significatives.
2. Co-occurrence Temporelle Peu Fiable : Les événements audio et visuels simultanés n'impliquent pas nécessairement une correspondance sémantique (par exemple, la musique d'ambiance ou la narration hors champ peuvent ne pas s'aligner avec le contenu visible).

Par conséquent, l'élagage au niveau de l'entrée basé sur la distance d'embedding ou la co-occurrence rejette souvent des preuves spécifiques à la modalité importantes, conduisant à une sélection de tokens sous-optimale.

Méthodologie : OmniDrop

Pour remédier à ces limitations, les auteurs proposent OmniDrop, un cadre d'élagage de tokens sans entraînement, par couches. Contrairement aux méthodes antérieures, OmniDrop élague progressivement les tokens au sein des couches de décodeur du LLM plutôt qu'au stade d'entrée, en utilisant trois mécanismes principaux :

1. Élagage Progressif de Tokens par Couche (PLP)

Motivé par l'observation que la fusion d'informations omni-modales se produit progressivement à travers les couches de décodeur, OmniDrop adopte un calendrier d'élagage dynamique.

• Couches Précoces : L'élagage est conservateur (faible ratio) pour permettre une fusion et une intégration suffisantes d'informations omni-modales entre les flux audio et vidéo.
• Couches Profondes : L'élagage devient agressif (ratio élevé) une fois que le modèle a formé des préférences claires pour les tokens pertinents par rapport à la requête.
• Implémentation : Le ratio d'élagage $p_l$ pour la couche $l$ suit une fonction sigmoïde :
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  Cela garantit que les tokens sont préservés dans les couches peu profondes pour l'intégration et supprimés dans les couches plus profondes où les tokens informatifs sont plus discernables.

2. Importance des Tokens Guidée par la Requête

Au lieu de comparer directement les tokens audio et vidéo, OmniDrop utilise la requête textuelle comme médiateur sémantique.

• Mécanisme : Le score d'importance $S$ pour les tokens audio et vidéo est calculé sur la base des scores d'attention moyens des tokens textuels vers les tokens audiovisuels :
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• Adaptabilité : Cela permet au modèle d'allouer dynamiquement des budgets de tokens en fonction des exigences de la tâche. Pour les tâches centrées sur l'audio, davantage de tokens audio sont conservés ; pour les tâches centrées sur la vidéo, davantage de tokens vidéo sont maintenus. Cela assure une perte d'information minimale pour la requête spécifique.

3. Score de Diversité Temporelle (TDS)

Pour éviter l'élagage excessif de tokens temporellement éloignés du pic d'attention principal (ce qui pourrait entraîner la perte du contexte global), OmniDrop introduit une métrique de diversité.

• Processus :
  1. Identifier le « bloc clé » ($c_{max}$) contenant le token ayant le score d'importance le plus élevé.
  2. Sélectionner un tampon de candidats des tokens ayant les scores les plus bas.
  3. Calculer une distance temporelle normalisée $D$ par rapport à $c_{max}$.
  4. Augmenter le score final : $S_{TDS} = S + \lambda_{div} \cdot D$.
• Effet : Les tokens temporellement éloignés du pic d'attention principal reçoivent une augmentation de score, encourageant une survie équilibrée des tokens à travers la séquence et préservant le contexte temporel global.

4. Élagage Intra-Modalité

Avant de nourrir les tokens dans le LLM, OmniDrop effectue un élagage intra-modalité indépendant pour éliminer la redondance :

• Audio : Conserve les tokens ayant les scores d'attention les plus élevés de la dernière couche de l'encodeur audio.
• Vidéo : Utilise la Fusion de Tokens Temporels (TTM) pour filtrer les tokens visuels redondants consécutifs basés sur la similarité cosinus.
• Résultat : Ce prétraitement réduit le nombre initial de tokens à environ 45 % avant que l'élagage par couche ne commence.

Contributions Clés

1. Analyse des Limitations au Niveau de l'Entrée : L'article démontre que la similarité audio-vidéo au niveau de l'entrée fournit un signal faible pour l'élagage de tokens en raison d'un alignement insuffisant dans les embeddings pré-LLM et de la fiabilité limitée de la co-occurrence temporelle comme proxy de la pertinence sémantique.
2. Cadre OmniDrop : Un cadre d'élagage par couches novateur, sans entraînement, qui exploite les requêtes textuelles pour une sélection de tokens agnostique à la modalité et adaptative à la tâche. Il emploie un calendrier d'élagage progressif et un score de diversité temporelle pour équilibrer efficacité et préservation du contexte.
3. Validation Empirique : Des expériences extensives sur divers benchmarks (VideoMME, WorldSense, AVUT) montrent qu'OmniDrop surpasse les méthodes existantes sans entraînement (OmniZip, DASH) tout en réduisant significativement la latence et l'utilisation de la mémoire.

Résultats Expérimentaux

Évalué sur Qwen2.5-Omni (modèles 7B et 3B), OmniDrop a obtenu les résultats suivants :

• Gains de Performance : A surpassé toutes les lignes de base d'au maximum 3,58 points (spécifiquement sur le benchmark AVUT avec le modèle 7B). Notamment, à 30 % de rétention de tokens, OmniDrop a dépassé la ligne de base complète de 100 % sur VideoMME.
• Robustesse : Sous une compression extrême (20 % de rétention), OmniDrop a montré une dégradation de performance minimale (baisse moyenne de 0,18 à 0,47 point) par rapport aux lignes de base qui ont chuté de plus de 1,0 point.
• Efficacité : Réduction de la latence de préremplissage d'au maximum 40 % et de l'utilisation de la mémoire GPU d'au maximum 14,7 % par rapport à l'inférence avec tokens complets, tout en maintenant des performances compétitives.
• Adaptabilité aux Tâches : L'analyse a confirmé que le mécanisme guidé par la requête adapte avec succès les ratios de rétention de tokens aux besoins spécifiques de la tâche (par exemple, conserver plus d'audio pour les tâches de reconnaissance audio et plus de vidéo pour la reconnaissance de scènes).

Importance et Revendications

L'article revendique qu'OmniDrop offre une solution pratique pour des Omni-LLM évolutifs et réactifs en déplaçant fondamentalement l'élagage de tokens du niveau d'entrée vers les couches de décodeur. En exploitant les requêtes textuelles comme signal de guidage et en reconnaissant la nature progressive de la fusion omni-modale, la méthode atteint des compromis efficacité-performance supérieurs sans nécessiter de réentraînement du modèle ni de modifications architecturales.

Les auteurs reconnaissent des limites, notant que la méthode dépend actuellement des invites textuelles pour la sélection de tokens, limitant son utilisation dans les scénarios avec uniquement des entrées audio/vidéo. De plus, en tant que cadre sans entraînement, les hyperparamètres (tels que les calendriers d'élagage) sont déterminés empiriquement plutôt qu'appris. Les travaux futurs visent à explorer des méthodes pour capturer les relations sémantiques sans guidage textuel et à optimiser les décisions d'élagage via des données de calibration.