Firebolt-VL: Efficient Vision-Language Understanding with Cross-Modality Modulation

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) récents ont réalisé des progrès significatifs dans la compréhension vision-langage (captioning, VQA, OCR). Cependant, leur déploiement dans des environnements à ressources limitées (assistants personnels, caméras intelligentes, appareils mobiles) est entravé par deux défis majeurs :

1. Coût computationnel élevé : La plupart des architectures reposent sur des mécanismes d'attention croisée (cross-attention) basés sur les Transformers, qui présentent une complexité quadratique par rapport à la longueur de la séquence d'entrée. Cela rend l'inférence lente et gourmande en mémoire, surtout pour les contextes longs.
2. Manque de précision fine : Les petits modèles vision-langage peinent souvent à capturer des régions visuelles spécifiques et pertinentes pour une tâche donnée. Cela entraîne une dégradation des performances sur des tâches de raisonnement fin (fine-grained reasoning) et une incapacité à répondre précisément à des questions détaillées.

L'objectif de Firebolt-VL est de surmonter ces limitations en proposant un modèle à la fois efficace (inférence linéaire) et précis (ancrage visuel fin).

2. Méthodologie

Firebolt-VL introduit une architecture novatrice qui remplace le décodeur Transformer traditionnel par un modèle fondé sur les Liquid Foundation Models (LFM) et intègre un nouveau module de modulation appelé Cross-Modal Modulator (CMM).

A. Architecture Globale

Le modèle se compose de trois modules principaux :

1. Encodeur Visuel : Utilisation de SigLIP, un encodeur vision-langage multilingue qui divise l'image en patches pour générer des représentations de grille ($X_v$).
2. Modèle de Langage (LLM) : Remplacement du backbone Transformer par un modèle Liquid Foundation Model (LFM2). Contrairement aux Transformers, les modèles basés sur les états d'espace (State-Space Models - SSM) offrent une complexité temporelle linéaire ($O(T)$), permettant une inférence rapide et une gestion efficace des séquences longues.
3. Modulateur Intermodal (CMM) : C'est le cœur de l'innovation, conçu pour fusionner les représentations visuelles et textuelles de manière efficace et précise.

B. Le Cross-Modal Modulator (CMM)

Le CMM vise à améliorer l'ancrage visuel (visual grounding) sans recourir à l'attention croisée coûteuse. Il fonctionne en plusieurs étapes :

1. Corrélation Token-Grille : Le module calcule une matrice de corrélation légère entre les tokens de texte et les grilles d'images. Il sélectionne les $k$ grilles les plus pertinentes pour chaque token de texte (filtrage top-k).
2. Modulation FiLM (Feature-wise Linear Modulation) : Les caractéristiques visuelles sélectionnées sont utilisées pour générer des paramètres de mise à l'échelle ($\gamma$) et de décalage ($\beta$) via une fonction apprenable. Ces paramètres modulent linéairement les embeddings de texte, permettant au modèle d'ajuster dynamiquement ses représentations textuelles en fonction des preuves visuelles pertinentes.
3. Intégration SSM : La représentation textuelle modulée est ensuite traitée par un modèle à espace d'état (SSM, variante S4) pour capturer les dépendances séquentielles et les interactions visuo-textuelles dans un cadre linéaire et économe en mémoire.
4. Fusion Finale : Une seconde modulation FiLM et des connexions résiduelles affinent la représentation fusionnée avant qu'elle ne soit passée au décodeur LFM.

Analyse de Complexité : Le CMM remplace l'attention croisée quadratique ($O(T \times G)$) par une corrélation token-grille suivie d'un SSM, atteignant une complexité quasi-linéaire par rapport à la longueur de la séquence et à la taille de la grille.

3. Contributions Clés

1. Firebolt-VL : Un nouveau MLLM efficace qui intègre un décodeur LFM (Liquid Foundation Model) pour réduire drastiquement les coûts computationnels tout en maintenant de fortes capacités de raisonnement multimodal.
2. Mécanisme CMM : Une proposition de module de modulation intermodale qui fusionne les représentations de grille visuelle avec les tokens de texte via des corrélations légères et la modulation FiLM. Cela permet une attention précise aux régions visuelles pertinentes pour la tâche, améliorant la compréhension fine.
3. Performance et Efficacité : Des expériences extensives montrent que Firebolt-VL atteint des performances compétitives, voire supérieures, aux modèles existants (y compris des modèles plus grands) sur plusieurs benchmarks, tout en offrant une latence réduite et un débit (throughput) élevé.
4. Ressources Open Source : Le code et les modèles pré-entraînés sont rendus publics pour favoriser la transparence et la recherche future.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plusieurs benchmarks standards (VQAv2, POPE, AI2D, MMMU, MME, SQA-Image, MMB).

• Performance Quantitative :

  • Avec seulement 0,8 milliard de paramètres, Firebolt-VL surpasse des modèles compacts (0,3B à 3B) et rivalise avec des modèles massifs (>7B) sur des tâches de raisonnement visuel.
  • Il obtient les scores les plus élevés sur VQAv2 et MME (score de perception) parmi les modèles légers comparés.
  • Sur le benchmark POPE, bien que légèrement inférieur à certains modèles basés sur des Transformers (en raison de la propagation d'état implicite du SSM qui gère moins bien l'hallucination que l'attention explicite), il reste très compétitif.

• Efficacité (Latence et Débit) :

  • Firebolt-VL atteint le débit le plus élevé (46,67 tokens/seconde) parmi les modèles légers testés sur un GPU NVIDIA H100.
  • Il offre un excellent compromis précision-latence, surpassant MobileVLM V2, MoE-LLaVA et SmolVLM2.

• Résultats Qualitatifs :

  • Les exemples montrent que Firebolt-VL excelle dans les tâches dépendantes des détails (ex: lire du texte dans une image, identifier des éléments spécifiques dans un diagramme), là où les modèles de base (MobileVLM, SmolVLM2) échouent souvent à localiser les régions pertinentes.

• Études d'Ablation :

  • Le choix du SSM S4 s'est avéré supérieur à Mamba et S4D pour capturer les interactions texte-image.
  • Le module CMM surpasse nettement les stratégies de fusion classiques comme "Prepend" (ajout simple) ou "Cross-attention" (Q-Former) sur les benchmarks de perception et de raisonnement.
  • La sélection de $k=4$ grilles visuelles (sur 5 disponibles) s'est révélée optimale, permettant de capturer plus de détails sans introduire trop de bruit.

5. Signification et Conclusion

Firebolt-VL démontre qu'il est possible de concevoir des modèles vision-langage légers et rapides sans sacrifier la précision du raisonnement fin. En remplaçant l'attention quadratique par des mécanismes d'état d'espace (SSM) et en introduisant une modulation intermodale ciblée (CMM), les auteurs réussissent à :

• Réduire la complexité computationnelle pour un déploiement sur appareil (edge computing).
• Améliorer la capacité du modèle à se concentrer sur les détails visuels pertinents, résolvant un problème majeur des petits modèles VLM.

Limitations et Perspectives :
Le modèle actuel ne gère que des images uniques. L'extension du CMM pour gérer des séquences vidéo ou multiples images reste un défi ouvert, mais la nature linéaire du SSM suggère un potentiel prometteur pour le traitement de flux vidéo longs.

En résumé, Firebolt-VL représente une avancée significative vers des assistants multimodaux intelligents, réactifs et économes en énergie, capables de fonctionner dans des environnements réels contraints.