Résumé Technique : SAB-LVLM

Énoncé du Problème

Les grands modèles vision-langage (LVLM) ont réalisé des progrès remarquables dans la compréhension multimodale, mais souffrent d'échelles de paramètres énormes et de coûts de calcul intermodaux élevés, ce qui entraîne des surcharges de mémoire et de latence qui entravent le déploiement sur des appareils aux ressources limitées. Bien que la binarisation offre une solution en réduisant les poids à environ 1 bit, les méthodes actuelles de quantification post-entraînement (PTQ) conçues pour les grands modèles de langage (LLM) ne parviennent pas à répondre aux défis uniques des LVLM. Plus précisément, les méthodes actuelles minimisent souvent l'erreur de quantification globale des poids sans tenir compte de l'importance hétérogène des poids à travers les différentes couches et modalités. Cette omission entraîne la rétention de paramètres d'encodage non pertinents pour la tâche tout en échouant à optimiser de manière adéquate les poids critiques pour la modalité, ce qui provoque une dégradation sévère des performances lorsqu'elles sont appliquées aux LVLM.

Méthodologie

Les auteurs proposent SAB-LVLM (Significance-Aware Binarization for Large Vision-Language Models), un cadre conçu pour préserver les informations pertinentes à la tâche lors de la binarisation en distinguant les poids activés par une seule modalité de ceux activés à travers les modalités. La méthodologie se compose de trois composantes clés :

1. Construction de la Carte de Binarisation Sensible à la Signification :

   • Sensibilité basée sur le Hessien : La méthode construit d'abord des matrices de Hessien pour les entrées textuelles et visuelles séparément en utilisant des données de calibration. Ces matrices sont utilisées pour calculer une matrice de sensibilité $S$ pour chaque poids, quantifiant la sensibilité du poids aux perturbations dans chaque modalité.
   • Carte de Signification Spatiale ($\Gamma$) : Pour distinguer les activations unimodales et multimodales, les auteurs calculent une carte de signification spatiale $\Gamma$. Cette carte mesure la parcimonie du vecteur de sensibilité pour chaque poids. Les poids activés principalement par une seule modalité (unimodaux) reçoivent des valeurs de signification élevées ($\Gamma \to 1$), tandis que les poids activés par des entrées provenant de différentes modalités (multimodaux) reçoivent des valeurs faibles ($\Gamma \to 0$).
   • Intégration de la Signification Guidée par la Modalité (MGSI) : Reconnaissant que la binarisation ne doit pas uniquement favoriser les poids unimodaux, les auteurs introduisent un score d'intégration de modalité $r$. Ce score équilibre dynamiquement l'importance des poids unimodaux par rapport aux poids multimodaux. La carte de binarisation finale sensible à la signification $\Lambda$ est calculée comme une combinaison pondérée de la carte de signification spatiale et de son complément, contrôlée par $r$.

2. Objectif de Repondération de l'Erreur :
   Contrairement aux objectifs de binarisation standards qui minimisent la norme de Frobenius de la différence entre les poids en pleine précision et les poids binaires, SAB-LVLM incorpore la carte de signification $\Lambda$ comme un terme de repondération de l'erreur. La fonction objectif devient $\|\sqrt{\Lambda} \odot (W - \hat{W})\|_F^2$. Théoriquement, cela garantit que les poids ayant une plus grande signification (un $\Lambda$ plus grand) subissent des erreurs de quantification plus faibles, préservant ainsi la capacité de représentation du modèle pour les tâches critiques.

3. Mise à Jour Alternée Pondérée par la Signification :
   Pour optimiser les poids binaires sous ce nouvel objectif, les auteurs emploient un schéma de raffinement alterné. Cela implique de mettre à jour de manière itérative les vecteurs d'échelle par ligne et par colonne ($\alpha_r, \alpha_c$) et les bases binaires ($B$) tout en incorporant la carte de signification $\Lambda$ dans les mises à jour du gradient. Ce processus permet un ajustement précis des poids binaires aux poids en pleine précision, en donnant la priorité à la préservation des paramètres significatifs.

Principales Contributions

• Exploration Précoce de la Binarisation des LVLM : L'article présente l'une des premières tentatives pour parvenir à la binarisation des poids spécifiquement pour les grands modèles vision-langage, comblant ainsi la lacune des recherches PTQ existantes qui se concentrent principalement sur les LLM.
• Carte de Signification Spatiale : Un mécanisme novateur pour distinguer les poids activés sous une seule modalité de ceux activés à travers les modalités, permettant au modèle de gérer la nature hétérogène des paramètres des LVLM.
• Intégration Guidée par la Modalité : Une stratégie pour intégrer dynamiquement les scores de signification unimodaux et multimodaux, garantissant que le processus de binarisation respecte les interactions complémentaires entre les modalités visuelles et textuelles.
• Mise à Jour Alternée Pondérée par la Signification : Un schéma d'optimisation qui incorpore directement la carte de signification dans le processus d'ajustement de la binarisation, garantissant théoriquement que les poids de plus haute signification sont préservés avec une erreur de quantification moindre.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur des benchmarks représentatifs de LVLM, notamment MMStar, DocVQA, TextVQA, Video-MME et VSI-Bench, en utilisant des modèles des familles Qwen2.5-VL (7B, 32B, 72B) et InternVL3.5 (8B, 14B, 38B).

• Supériorité de Performance : Sous une contrainte de compression d'environ 1 bit, SAB-LVLM a systématiquement surpassé les bases de comparaison de PTQ binaire (incluant PB-LLM, BiLLM et ARB-LLM) sur tous les modèles et benchmarks testés. Par exemple, sur le modèle Qwen2.5-VL-7B-Instruct, SAB-LVLM a obtenu un score MMStar de 45,79, dépassant nettement ARB-LLM (38,10) et BiLLM (29,97).
• Préservation des Tâches : La méthode a démontré une capacité supérieure à préserver la perception grossière, la perception fine, le raisonnement par instance et le raisonnement logique par rapport aux bases de comparaison. Dans l'analyse qualitative, SAB-LLM a réussi à répondre à des questions concernant le comptage d'objets et le raisonnement là où les autres méthodes ont échoué.
• Études d'Ablation :
  • Il a été constaté que la carte de signification spatiale est sensible au seuil $\tau$, avec $\tau=0,0003$ qui produit les résultats optimaux.
  • L'intégration de la signification guidée par la modalité (MGSI) a surpassé les scores d'intégration fixes et les approches de sensibilité à modalité unique, confirmant la nécessité de modéliser conjointement les deux modalités.
  • La carte de signification spatiale complète (w/ SAB) a obtenu des scores plus élevés que les variantes de repondération par ligne ou par colonne, validant l'importance de la signification élément par élément.

Signification et Revendications

L'article affirme que SAB-LVLM représente une étape importante vers la compression des LVLM pour un déploiement en conditions réelles. En traitant explicitement l'importance variable des poids à travers les couches et les modalités, la méthode atténue la dégradation sévère des performances typiquement associée à la binarisation des modèles multimodaux. Les auteurs soutiennent que leur approche offre un compromis favorable entre une efficacité de compression extrême (environ 1 bit) et la performance des tâches, rendant les LVLM plus viables pour les environnements aux ressources limitées sans nécessiter de réentraînement coûteux. Le travail est positionné comme une exploration précoce, avec des travaux futurs prévus pour évaluer le cadre sur des architectures plus larges et des tâches multimodales plus diverses.