Résumé technique : Amélioration de l'efficacité de l'entraînement des MLLM via une éparsité consciente des étapes

Énoncé du problème

Les modèles de langage larges multimodaux (MLLM) ont démontré des capacités significatives mais souffrent de processus d'entraînement inefficaces. Cette inefficacité découle de deux sources principales de redondance :

1. Redondance des données : Les entrées multimodales introduisent des centaines de tokens visuels par échantillon, dont beaucoup contribuent marginalement aux prédictions finales.
2. Redondance des paramètres : Les architectures profondes de transformateurs contiennent des dizaines de couches, pourtant toutes les couches ne sont pas également critiques tout au long du processus d'entraînement.

Les méthodes d'efficacité existantes traitent généralement ces problèmes de manière indépendante (par exemple, compression de tokens ou saut de couches) et considèrent la redondance comme une propriété statique. Cependant, l'article soutient que les schémas de redondance sont dépendants de l'étape. Pendant l'alignement des modalités, le modèle de langage (LLM) est souvent figé, et le goulot d'étranglement réside dans le traitement de séquences massives de tokens visuels. À l'inverse, pendant le réglage par instructions, les paramètres du LLM sont activement mis à jour, et le goulot d'étranglement se déplace vers la surcharge computationnelle des couches profondes de transformateurs. Traiter la redondance comme statique conduit à des compromis sous-optimaux entre efficacité et performance.

Méthodologie : Schéma d'entraînement épars (STS)

Les auteurs proposent le Schéma d'entraînement épars (STS), un cadre unifié qui adapte les stratégies d'éparsité aux goulots d'étranglement computationnels spécifiques des différentes étapes d'entraînement. Le STS se compose de deux composantes complémentaires :

1. Compresseur de tokens visuels (VTC) – Étape I : Alignement des modalités

Appliqué pendant l'étape d'alignement des modalités où le LLM est figé et seul le projecteur est mis à jour.

• Fonction : Réduit la longueur des tokens visuels ($T_v$) avant qu'ils n'entrent dans le LLM pour atténuer la redondance des données.
• Mécanisme : Une fonction de sélection $C$ mappe $T_v \in \mathbb{R}^{b \times n \times d}$ vers une séquence compressée $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$).
• Stratégies de sélection :
  • Échantillonnage uniforme : Sélection à pas fixe pour préserver les structures sémantiques globales.
  • Échantillonnage aléatoire : Introduit de la stochasticité pour améliorer la robustesse.
  • Guidé par les instructions : Utilise la similarité cosinus entre les tokens visuels et textuels pour rejeter les informations visuelles non pertinentes.
• Implémentation : L'article adopte l'échantillonnage uniforme comme stratégie par défaut, constatant qu'il offre les performances les plus équilibrées à travers les tâches par rapport à l'instabilité de l'échantillonnage aléatoire ou au biais de la sélection guidée par les instructions.

2. Sauteur dynamique de couches (LDS) – Étape II : Réglage par instructions

Appliqué pendant le réglage par instructions où les paramètres du LLM sont mis à jour.

• Fonction : Saut dynamiquement les couches de décodeur inutiles pour réduire les mises à jour de paramètres et la surcharge computationnelle.
• Mécanisme : Pour la couche $l$ à l'étape d'entraînement $e$, l'état caché est mis à jour comme $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$, où $z_l$ est une variable de Bernoulli contrôlée par une probabilité de saut $p_l(e)$.
• Formulation de la probabilité : La probabilité de saut combine deux facteurs :
  • Décroissance basée sur l'étape : Basée sur la tendance de convergence « du grossier au fin ». Au début de l'entraînement, les gradients sont grossiers, permettant des taux de saut plus élevés. La probabilité décroît de manière quadratique à mesure que l'entraînement progresse : $\alpha (\frac{E-e}{E})^2$.
  • Ajustement basé sur la profondeur : Reconnaissant que les couches peu profondes extraient les caractéristiques plus efficacement que les couches profondes, la probabilité est ajustée par la profondeur de la couche $l$ : $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• Configuration par défaut : Les auteurs constatent que $\alpha=0.5$ et $\epsilon=0.5$ offrent le meilleur équilibre entre efficacité et performance de tâche.

Contributions clés

1. Analyse de la redondance dépendante de l'étape : Le travail révèle que la redondance dans l'entraînement des MLLM n'est pas statique ; la redondance des données domine l'alignement des modalités, tandis que la redondance des paramètres domine le réglage par instructions.
2. Cadre unifié (STS) : Propose un cadre d'entraînement épars conscient des étapes qui modélise explicitement l'évolution des schémas de redondance, appliquant l'éparsité au niveau des tokens pendant l'alignement et l'éparsité au niveau des couches pendant le réglage.
3. Validation empirique : Démontre, grâce à des expériences extensives, que le STS réduit considérablement les coûts computationnels tout en maintenant une haute précision à travers diverses architectures de MLLM.

Résultats expérimentaux

Les auteurs ont évalué le STS sur cinq MLLM (LLaVA, Mipha, Phi-2, variantes MoE-LLaVA) à travers des benchmarks incluant GQA, VQAv2, SQA, POPE et MME.

• Efficacité : Le STS a réalisé une réduction moyenne de plus de 15 % en FLOPs. Plus précisément, le ratio de FLOPs théoriques par rapport à la référence a été réduit à environ 82,2 %.
• Performance : La méthode a maintenu 96,9 % à 99,7 % de la précision de référence en moyenne.
  • Les métriques de robustesse (POPE) et les évaluations complètes (MME) ont montré une dégradation minimale.
  • Les tâches orientées perception (GQA, VQAv2) ont montré des baisses légèrement plus notables (environ 2 à 3 points), bien que dans certains cas (par exemple, SQA sur LLaVA), le STS ait surpassé la référence, suggérant des effets potentiels de régularisation implicite.
• Études d'ablation :
  • VTC : L'échantillonnage uniforme s'est révélé plus robuste que l'échantillonnage aléatoire ou guidé par les instructions.
  • LDS : Des valeurs extrêmes pour les hyperparamètres $\alpha$ (taux de saut) et $\epsilon$ (variance de profondeur) ont biaisé le modèle vers des capacités spécifiques. La configuration équilibrée ($\alpha=0.5, \epsilon=0.5$) a produit le meilleur compromis.
  • Cadre conjoint : L'utilisation conjointe du VTC et du LDS a fourni un compromis efficacité-performance supérieur par rapport à l'utilisation de l'une ou l'autre composante de manière isolée.

Importance et revendications

L'article revendique que le STS offre une solution pratique et évolutive pour l'optimisation efficace des MLLM. En déplaçant l'accent de la réduction de redondance statique vers une approche consciente des étapes, le cadre adresse les goulots d'étranglement spécifiques des différentes phases d'entraînement sans nécessiter de changements architecturaux complexes. Les auteurs soulignent que le STS est largement applicable à diverses architectures de MLLM et permet un entraînement plus rapide avec une perte de performance minimale, en faisant une stratégie viable pour réduire les barrières computationnelles dans l'entraînement de modèles multimodaux à grande échelle.