HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

HiDrop est un cadre innovant pour les modèles de langage multimodaux qui réduit de 90 % les tokens visuels grâce à une injection tardive, un élagage pyramidal concave et une sortie précoce, permettant d'accélérer l'entraînement de 1,72 fois tout en préservant les performances.

L'essentiel

🎨 Le Problème : Un Buffet trop Gorge

Imaginez que vous avez un chef cuisinier très intelligent (le modèle d'intelligence artificielle) qui doit préparer un plat en regardant une photo de nourriture.
Le problème, c'est que la photo est composée de 576 petits morceaux (des "jetons" visuels). Le chef doit examiner chaque morceau un par un pour comprendre l'image. Plus il y a de morceaux, plus le travail est long et coûteux en énergie (comme essayer de lire un livre entier page par page alors qu'un résumé suffirait).

Les méthodes actuelles essaient de jeter des morceaux inutiles, mais elles le font de manière un peu bête : elles commencent à jeter trop tôt ou de façon trop rigide, comme si on enlevait des ingrédients avant même d'avoir commencé à cuisiner.

💡 La Solution : HiDrop (Le Chef Intelligemment Organisé)

L'équipe derrière HiDrop a observé comment le chef travaille vraiment et a créé une nouvelle méthode en trois étapes, basée sur une analogie de voyage en train :

1. Le Départ : "L'Injection Tardive" (Late Injection)

• L'ancienne méthode : On donne la photo au chef dès le premier wagon du train. Le chef perd du temps à regarder les détails inutiles pendant que le train roule dans le vide.
• La méthode HiDrop : On laisse le train rouler un moment sans la photo. Le chef se concentre uniquement sur la question (le texte).
• L'analogie : Imaginez que vous écoutez une histoire. Vous ne regardez pas le décor tout de suite. Vous attendez que l'histoire commence vraiment pour ouvrir les yeux. HiDrop attend que le "vrai travail" commence (au milieu du modèle) pour introduire l'image. Cela évite de gaspiller de l'énergie au début.

2. Le Milieu du Voyage : "La Pyramide Concave" (Concave Pyramid Pruning)

• L'ancienne méthode : On jette les morceaux de l'image de façon régulière, comme si on enlevait 10% à chaque arrêt, peu importe l'importance du morceau.
• La méthode HiDrop : Au milieu du voyage, c'est là que le chef a besoin de l'image. Mais il ne regarde pas tout ! Il repère les détails cruciaux (le plat principal) et jette rapidement les détails inutiles (la poussière sur la table).
• L'analogie : C'est comme trier du linge sale. Au début, on jette vite les chaussettes trouées (les détails inutiles). Plus on avance, plus on est prudent pour ne pas jeter le manteau de fourrure (les détails importants). HiDrop jette très vite au début de la fusion, puis ralentit pour garder l'essentiel. C'est une "pyramide" inversée : on enlève beaucoup, très vite, puis on garde le précieux.

3. L'Arrivée : "La Sortie Anticipée" (Early Exit)

• L'ancienne méthode : Le chef continue de regarder la photo jusqu'à la toute dernière seconde, même quand il a déjà fini de cuisiner et qu'il ne fait plus que mettre le plat dans l'assiette.
• La méthode HiDrop : Une fois que le chef a compris l'image et l'a intégrée à sa recette, il jette la photo complètement. Il continue de cuisiner uniquement avec ses souvenirs et la question.
• L'analogie : Imaginez que vous apprenez une leçon. Une fois que vous avez compris le concept, vous n'avez plus besoin de regarder le livre. Vous fermez le livre et vous continuez à réfléchir. HiDrop ferme l'image bien avant la fin du processus.

🚀 Les Résultats Magiques

Grâce à cette organisation intelligente :

1. Vitesse : Le modèle est 1,72 fois plus rapide à l'entraînement.
2. Économie : Il utilise 90% de moins de "morceaux d'image" (jetons visuels).
3. Qualité : Malgré tout ce qu'il jette, le chef fait aussi bon plat qu'avant. Il ne perd pas en précision.

🧠 En Résumé

HiDrop, c'est comme passer d'un trajet où l'on regarde par la fenêtre à chaque seconde (même quand on dort) à un trajet où l'on regarde :

1. Seulement quand on arrive au paysage intéressant (Injection tardive).
2. En éliminant vite les détails inutiles pour ne garder que les vues panoramiques (Pyramide concave).
3. Et en fermant les rideaux une fois le paysage mémorisé, pour se concentrer sur la destination (Sortie anticipée).

C'est une façon de rendre l'intelligence artificielle beaucoup plus efficace, moins gourmande en énergie, tout en restant aussi brillante !

Résumé technique

1. Problématique

Les Modèles de Langage Multimodaux (MLLM) modernes souffrent d'un coût computationnel quadratique lié au traitement des tokens visuels, qui sont beaucoup plus nombreux que les tokens textuels. Bien que l'élagage progressif des tokens visuels (progressive token pruning) soit une solution prometteuse, les méthodes actuelles présentent deux limites majeures :

• Interprétation erronée des couches peu profondes : Les travaux précédents supposent que les premières couches du LLM sont essentielles pour l'intégration multimodale et doivent donc être préservées. L'analyse des auteurs montre au contraire que ces couches agissent comme de simples propagateurs passifs, sans transformation significative des tokens visuels.
• Rigidité des calendriers d'élagage : Les méthodes existantes utilisent des schémas de réduction fixes (linéaires ou pyramidaux uniformes) qui ne tiennent pas compte de la dynamique non uniforme du flux d'information visuel, manquant ainsi le potentiel d'efficacité maximal.

2. Méthodologie : HiDrop

HiDrop est un cadre d'élagage hiérarchique conçu pour s'aligner sur la véritable dynamique de traitement des MLLM. Il divise les couches du modèle en trois stades et applique des stratégies spécifiques à chacun :

A. Injection Tardive (Late Injection) pour les Couches Superficielles

Au lieu de traiter les tokens visuels dès la première couche, HiDrop les contourne complètement dans les couches initiales (couches "propagatrices").

• Mécanisme : Les tokens visuels sont injectés uniquement au début de la phase de fusion active (déterminée par un minimum local de similarité entre les couches).
• Avantage : Cela évite le calcul inutile dans les couches où l'information visuelle n'est pas encore intégrée au langage.

B. Élagage Pyramidal Concave (Concave Pyramid Pruning) pour les Couches Moyennes

Dans la fenêtre de traitement visuel (couches moyennes), où la fusion multimodale est active mais où la redondance est élevée, HiDrop applique une réduction agressive et adaptative.

• Stratégie : Une courbe de réduction "concave" accélère l'élagage au début de la fusion puis le ralentit, préservant les informations critiques.
• Sélection des couches (ILVAS) : Un indicateur de similarité d'attention inter-couches (Inter-Layer Visual Attention Similarity - ILVAS) identifie les couches où l'importance des tokens est stable, servant de points de filtrage optimaux.
• Sélection des tokens (DTop-K) : Utilisation d'un opérateur Top-K différentiable (Differentiable Top-K) pour sélectionner les tokens les plus informatifs. Contrairement au Top-K "dur" (non différentiable), cela permet une optimisation de bout en bout et une sélection plus fidèle des tokens.

C. Sortie Précoce (Early Exit) pour les Couches Profondes

Une fois la fusion multimodale achevée dans les couches moyennes, les couches profondes opèrent dans un régime dominé par le langage.

• Mécanisme : Tous les tokens visuels restants sont supprimés avant d'atteindre les couches profondes (couches de raisonnement abstrait).
• Avantage : Les couches profondes n'ont plus besoin d'accès direct aux données visuelles, ce qui réduit drastiquement la charge computationnelle finale.

D. Optimisations d'Implémentation

Pour garantir l'efficacité réelle sans surcharge cachée, HiDrop intègre :

• Encodage de position persistant : Les identifiants de position sont fixés à l'entrée et préservés malgré l'injection tardive ou la suppression, évitant les désalignements géométriques (problème de RoPE).
• Compatibilité FlashAttention : La sélection des tokens est découplée du calcul d'attention principal via un passage auxiliaire léger, permettant de conserver l'utilisation de noyaux d'attention efficaces.
• Découplage parallèle : Le calcul lié à la vision (encodeur + projecteur) est exécuté en parallèle du pré-remplissage (prefill) textuel avant l'injection.

3. Contributions Clés

1. Diagnostic des dynamiques de traitement : Démontre que les couches superficielles sont passives et que les couches profondes peuvent fonctionner sans tokens visuels directs, invalidant les hypothèses des méthodes d'élagage actuelles.
2. Architecture HiDrop : Introduction d'une stratégie combinant injection tardive, élagage pyramidal concave adaptatif et sortie précoce.
3. Mécanismes d'optimisation : Développement d'un opérateur Top-K différentiable et de métriques de sélection de couches (ILVAS) pour un élagage précis.
4. Efficacité pratique : Résolution des problèmes d'overhead liés à la gestion dynamique des tokens (position, compatibilité matériel).

4. Résultats Expérimentaux

Les expériences ont été menées sur l'architecture LLaVA-1.5 avec différents backbones (MobileLLaMA-2.7B, Vicuna-7B, Vicuna-13B) sur 11 benchmarks standards (MME, MMBench, GQA, etc.).

• Performance : HiDrop comprime environ 90 % des tokens visuels (réduisant de 576 à ~64 tokens en moyenne) tout en maintenant 98,3 % des performances du modèle de base.
• Comparaison : Il surpasse nettement les méthodes de l'état de l'art (FastV, PDrop, TwigVLM). Par exemple, contre PDrop, HiDrop offre une réduction 4,8 fois plus agressive avec une perte de performance négligeable (1,6 %).
• Efficacité :
  • Entraînement : Accélération de 1,72× (réduction du temps d'entraînement de 159,3h à 94,4h pour LLaVA-7B).
  • Inférence : Réduction de 88,9 % des FLOPs et diminution de la latence de pré-remplissage (de 63,6 ms à 32,6 ms).

5. Signification et Impact

Ce travail remet en question les paradigmes établis sur la façon dont les MLLM traitent l'information visuelle. En démontrant que la fusion multimodale est un processus hiérarchique avec des phases de redondance spécifiques, HiDrop offre une approche plus "principielle" pour l'optimisation.

• Il établit un nouvel état de l'art pour l'efficacité des MLLM, rendant leur entraînement et leur inférence beaucoup plus abordables.
• Il fournit des insights précieux pour la conception future d'architectures multimodales, suggérant que l'efficacité ne réside pas seulement dans la compression, mais dans l'alignement de la compression avec la dynamique interne du modèle.
• Le code est rendu public, favorisant la reproductibilité et l'adoption de ces techniques.