Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Résumé Technique : Un projecteur cross-modal basé sur des requêtes pour renforcer le Mamba Multimodal LLM

Énoncé du Problème
Les modèles de langage de grande taille multimodaux (MLLM) reposent actuellement fortement sur les architectures Transformer, qui souffrent d'une complexité computationnelle et de mémoire quadratique par rapport à la longueur de la séquence d'entrée. Ce goulot d'étranglement limite la scalabilité des MLLM et impose des charges de calcul insoutenables. Bien que le Modèle d'Espace d'État à Balayage Sélectif (Mamba) offre une alternative prometteuse avec une complexité linéaire et une inférence efficace, son application à la modélisation multimodale reste peu explorée. Plus précisément, les tentatives existantes pour intégrer Mamba dans les MLLM font face à deux défis majeurs : (1) la nécessité de concevoir manuellement des ordres de balayage 2D heuristiques (par exemple, bidirectionnels ou transversaux) pour convertir les caractéristiques d'image en séquences 1D, et (2) l'absence de flexibilité dans le sous-échantillonnage de la longueur des tokens visuels, ce qui entraîne souvent des longueurs de séquence excessives qui annulent les avantages d'efficacité de Mamba.

Méthodologie
Les auteurs proposent Querying Mamba, une architecture novatrice qui introduit un projecteur cross-modal basé sur des requêtes pour lier les encodeurs de vision pré-entraînés et les LLM basés sur Mamba. La méthodologie s'articule autour de trois composantes principales :

1. Architecture du Projecteur Q-Mamba :

   • Le projecteur utilise une pile de blocs Q-Mamba, comprenant chacun une couche Mamba, un mécanisme de cross-attention et un réseau feedforward.
   • Requêtes Apprenables (Learnable Queries) : Au lieu de traiter directement les tokens d'image bruts, le modèle utilise un ensemble d'embeddings de requêtes apprenables. Ces requêtes interagissent avec les caractéristiques visuelles d'un encodeur de vision pré-entraîné et gelé (SigLIP) via une cross-attention.
   • A Priori Causal : Une couche Mamba unidirectionnelle est appliquée aux requêtes pour introduire des dépendances causales, garantissant que la séquence projetée est compatible avec le traitement séquentiel du LLM.
   • Masque d'Attention Locale : Le mécanisme de cross-attention utilise un masque d'attention locale, où chaque requête porte exclusivement attention à un sous-ensemble spécifique de clés, facilitant une extraction ciblée à partir de composants visuels distincts.

2. Compression et Alignement des Tokens Visuels :

   • Le projecteur compresse dynamiquement l'information visuelle 2D en une séquence de tokens causaux 1D.
   • En ajustant le nombre de requêtes apprenables, le modèle peut efficacement sous-échantillonner la longueur de la séquence de caractéristiques visuelles, réduisant ainsi la charge de calcul sur le backbone du LLM sans nécessiter de définitions manuelles d'ordres de balayage.

3. Entraînement du Mamba LLM Multimodal :

   • Le système intègre un Mamba LLM pré-entraîné (2,8 milliards de paramètres) avec l'encodeur de vision via le projecteur Q-Mamba.
   • L'entraînement suit un paradigme en deux étapes :
     • Étape 1 (Alignement) : Le projecteur est aligné avec le LLM gelé en utilisant un jeu de données filtré d'instruction-following visuel (CC3M).
     • Étape 2 (Fine-tuning de bout en bout) : Le projecteur et le LLM sont tous deux affinés sur un jeu de données combiné (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) pour améliorer l'intégration vision-langage et atténuer les hallucinations.

Principales Contributions

• Querying Mamba : L'introduction d'un connecteur multimodal basé sur Mamba qui utilise la cross-attention et des requêtes apprenables pour sous-échantillonner de manière adaptative la longueur des tokens visuels, éliminant ainsi le besoin d'ordres de balayage 2D heuristiques.
• Exploration Architecturale : Une investigation systématique des composants du connecteur multimodal, incluant l'utilisation de Mamba bidirectionnel pour le pré-traitement, des réseaux feedforward pour le mélange de canaux, et la détermination de la longueur optimale de la séquence de requêtes.
• Évaluation Complète : Un benchmarking étendu du MLLM proposé sur six tâches diverses de compréhension vision-langage, démontrant des améliorations tant en termes de performance que de débit par rapport aux modèles Mamba existants.

Résultats Expérimentaux
Le modèle proposé a été évalué sur six benchmarks : VQAv2, GQA, VizWiz, VQAT, POPE et MMBench.

• Performance : Le modèle avec 729 requêtes apprenables a obtenu la meilleure performance globale, surpassant les modèles basés sur Mamba de pointe (Cobra et VL-Mamba) sur la plupart des métriques. Par exemple, il a obtenu un score de 75,62 sur VQAv2 et 58,33 sur GQA.
• Analyse de la Longueur des Requêtes : Augmenter le nombre de requêtes de 128 à 256 a produit des gains substantiels. Cependant, une augmentation supplémentaire à 512 et 729 a montré des rendements décroissants. Notamment, les métriques pour VizWiz (questions sans réponse) et POPE (hallucination) ont montré une relation inverse avec la taille des requêtes, suggérant qu'un nombre excessif de requêtes peut introduire des données superflues qui compliquent la prise de décision.
• Débit (Throughput) : La capacité de sous-échantillonnage dynamique a considérablement réduit la charge de calcul. Le modèle proposé a atteint des temps d'entraînement (5,52 sec/itér) et d'inférence (0,095 sec/itér) plus rapides que Cobra (7,62/0,129) et VL-Mamba (7,26/0,152).
• Études d'Ablation :
  • Mécanisme d'Attention : L'attention locale a nettement surperformé l'attention globale.
  • Pré-entraînement : L'utilisation de poids provenant d'un VL-Mamba entraîné pour le connecteur bidirectionnel a amélioré les performances par rapport à un entraînement à partir de zéro.
  • Ordre de Balayage : Curieusement, bien que le modèle ait été entraîné avec un balayage bidirectionnel, l'inférence utilisant uniquement un balayage vers l'avant n'a pas dégradé les performances et, dans certains cas, les a améliorées.

Signification et Revendications
L'article affirme que le projecteur cross-modal basé sur les requêtes proposé renforce efficacement l'efficacité de Mamba pour la modélisation vision-langage. En compressant les tokens visuels en fonction du contexte d'entrée via la cross-attention, l'architecture supprime la dépendance aux ordres de balayage 2D conçus manuellement, une limitation présente dans les encodeurs de vision basés sur Mamba précédents. Les auteurs affirment que cette approche améliore à la fois la performance et le débit des MLLM basés sur Mamba, offrant une solution scalable pour les tâches multimodales.

Limites
Les auteurs reconnaissent plusieurs limites :

• Contraintes de Jeu de Données : Les jeux de données d'entraînement et de fine-tuning (LLaVA-LLVIS, LLaVA-1.5) sont plus petits que ceux typiquement utilisés pour les grands modèles de langage, ce qui pourrait restreindre la généralisation.
• Durée d'Entraînement : Le modèle a été entraîné pour seulement un époque par étape, alors que des modèles comparables en utilisent souvent deux, ce qui peut impacter la robustesse.
• "Oubli" de Mamba : La nature séquentielle des états cachés de Mamba peut entraîner des problèmes d'oubli avec de longues entrées, similaires à ceux des RNN.
• Travaux Futurs : Les auteurs suggèrent qu'un pré-entraînement plus étendu de Q-Mamba (incluant l'apprentissage contrastif) et une initialisation avec des poids de Mamba LLM compacts pourraient encore améliorer les performances. Ils notent également le potentiel de biais et d'hallucination inhérent aux grands modèles de langage.