Résumé Technique : Décodage Parallèle Contrôlé par la Redondance Visuelle pour les Modèles de Langage Multimodaux de Grande Taille Basés sur la Diffusion

1. Énoncé du Problème

Les Modèles de Langage Multimodaux de Grande Taille basés sur la diffusion (dMLLMs) génèrent du texte en décodant itérativement et en parallèle plusieurs positions masquées, conditionnés par une entrée visuelle. Contrairement aux modèles autoregressifs qui étendent un préfixe token par token, les dMLLMs doivent décider, à chaque étape de décodage, quel sous-ensemble de positions masquées « valider » (démasquer) pour servir de contexte aux étapes suivantes.

Les stratégies de décodage existantes, principalement le décodage basé sur la confiance, sélectionnent les $K$ positions ayant les probabilités de token prédites les plus élevées. Bien que efficace, cette approche traite chaque position indépendamment. Les auteurs identifient une limitation critique dans les contextes multimodaux : la redondance visuelle. Les tokens à haute confiance sélectionnés lors d'une même étape peuvent reposer sur un ancrage visuel chevauchant (c'est-à-dire en portant attention aux mêmes régions ou objets de l'image). Lorsque de tels tokens sont validés ensemble, ils fournissent un contexte visuel redondant plutôt que des indices complémentaires, ce qui risque de dégrader la capacité du modèle à résoudre les positions masquées restantes nécessitant des informations visuelles diversifiées. Cette redondance se distingue de la répétition sémantique dans le texte généré ou de la redondance au sein des tokens visuels d'entrée ; elle fait spécifiquement référence au chevauchement de l'ancrage visuel entre les tokens textuels démasqués simultanément.

2. Méthodologie

2.1 Indice de Redondance Visuelle (VRI)

Pour quantifier l'étendue du chevauchement de l'ancrage visuel entre les tokens validés, les auteurs introduisent l'Indice de Redondance Visuelle (VRI).

• Définition : Étant donné un ensemble de positions validées $S_t$ à l'étape $t$, le VRI mesure le chevauchement dans l'attention token-vers-image.
• Mécanisme : Pour chaque token d'image $u$, le poids d'attention total attribué par les tokens validés est calculé. La contribution unique maximale est soustraite pour isoler le poids « redondant » attribué par les tokens supplémentaires.
• Formule :
  $$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$$
  où $v_i(u)$ est l'attention normalisée du token de texte $i$ vers le token d'image $u$, et $m = |S_t|$. Un VRI plus faible indique moins de redondance visuelle.

2.2 Décodage Contrôlé par la Redondance Visuelle (VRCD)

Les auteurs proposent le VRCD, une méthode de décodage sans entraînement, exécutée au moment de l'inférence, conçue pour atténuer la redondance visuelle sans modifier les poids du modèle sous-jacent. Le VRCD fonctionne comme un mécanisme de réordonnancement léger :

1. Construction de la Fenêtre de Candidats : Au lieu d'évaluer toutes les positions masquées, le VRCD construit une fenêtre de candidats $U_t$ contenant les $M_t$ positions de premier rang basées sur les scores de confiance initiaux, où $M_t$ est une fonction de la taille de validation $K_t$ et d'un facteur d'échelle $\lambda$.
2. Extraction de la Saillance Visuelle : Pour chaque candidat, la méthode extrait l'attention normalisée token-vers-image de la dernière couche du décodeur. Pour réduire le bruit, une composante uniforme ($1/N$) est soustraite, et seuls les poids d'attention résiduels positifs sont conservés et renormalisés.
3. Calcul du Chevauchement par Paires : Le chevauchement visuel entre chaque paire de candidats $(i, j)$ est calculé en utilisant l'intersection de leurs distributions de saillance (par exemple, $\sum \sqrt{q_i(u)q_j(u)}$).
4. Calcul du Score de Redondance : Les chevauchements sont convertis en rangs percentiles au sein de la fenêtre actuelle. Un score de redondance au niveau du token $r_i$ est calculé comme une somme pondérée par la confiance de ses chevauchements avec d'autres candidats probables. Cela garantit que les tokens chevauchant des voisins à haute confiance sont pénalisés plus lourdement.
5. Repondération : Le score de confiance original $c_i$ est repondéré pour former un score contrôlé par la redondance $s_i$ :
   $$s_i = c_i (r_i + 1)^{-\alpha}$$
   où $\alpha$ contrôle l'intensité de la pénalité de redondance.
6. Sélection : Les $K_t$ positions ayant les scores $s_i$ les plus élevés sont validées. Ce processus privilégie les tokens à haute confiance offrant un ancrage visuel complémentaire.

3. Contributions Clés

• Identification de la Redondance Visuelle : L'article identifie et formalise le phénomène selon lequel des tokens individuellement confiants lors des étapes de décodage parallèle reposent sur un ancrage visuel chevauchant, un facteur précédemment négligé dans les stratégies de décodage des dMLLMs.
• Métrique VRI : Introduction de l'Indice de Redondance Visuelle (VRI) pour quantifier et analyser systématiquement le chevauchement de l'ancrage visuel à travers les étapes de décodage.
• Algorithme VRCD : Proposition d'une méthode de réordonnancement légère et sans entraînement qui utilise l'attention token-vers-image pour privilégier les positions visuellement complémentaires, réduisant ainsi la redondance tout en maintenant l'efficacité du décodage basé sur la confiance.

4. Résultats Expérimentaux

La méthode a été évaluée sur cinq benchmarks multimodaux : M3CoT (raisonnement multi-étapes), MMBench (vision-langage général), SQA-IMG (questions-réponses scientifiques), DocVQA, et InfoVQA. Le modèle de base utilisé était LaViDa (basé sur LLaDA-8B).

• Gains de Performance : Le VRCD a systématiquement surpassé le décodage basé sur la confiance et d'autres lignes de base (Marge, Entropie, InfoGain) sur diverses longueurs de décodage ($L=192, 384$) et ratios d'avance (FR).
  • Sur M3CoT, le VRCD a réalisé des gains relatifs de précision allant jusqu'à 18,8 % par rapport au décodage basé sur la confiance.
  • Sur MMBench, les gains ont atteint 6,9 %.
  • Les améliorations ont été les plus significatives dans les tâches nécessitant un raisonnement multimodal à long horizon (M3CoT, MMBench, SQA-IMG) par rapport aux tâches à réponses courtes (DocVQA, InfoVQA).
• Réduction de la Redondance : Le VRCD a considérablement abaissé le VRI moyen sur toutes les étapes de décodage par rapport aux lignes de base, confirmant sa capacité à sélectionner des tokens avec moins de chevauchement d'ancrage visuel.
• Certitude Prédictive : La méthode a réduit l'entropie des positions masquées restantes, indiquant une certitude prédictive plus élevée pour les étapes futures.
• Efficacité : Le VRCD a introduit une surcharge d'exécution minimale (augmentation d'environ 1,5 % du temps d'exécution), conservant un débit proche de la ligne de base (tokens/seconde), tandis que d'autres méthodes avancées comme InfoGain ont entraîné des coûts computationnels nettement plus élevés.
• Études d'Ablation :
  • L'hyperparamètre $\alpha$ (intensité de la pénalité de redondance) a montré des performances optimales à $\alpha=1,5$ pour M3CoT et $\alpha=2,0$ pour MMBench ; un réglage modéré fixe a été utilisé sur l'ensemble des benchmarks.
  • L'agrégation pondérée par la confiance des scores de redondance a surpassé la moyenne uniforme.
  • L'Extraction de Saillance Visuelle (VSE) s'est révélée cruciale pour une estimation efficace du chevauchement.

5. Signification et Revendications

L'article revendique que la redondance visuelle est un signal critique, mais précédemment non adressé, pour le décodage parallèle dans les dMLLMs ancrés visuellement. En déplaçant la décision de décodage de « quel token individuel est le plus confiant » vers « quel ensemble de tokens fournit un ancrage visuel complémentaire », le VRCD améliore la qualité du contexte généré pour les étapes suivantes.

Les auteurs soulignent que le VRCD est une méthode modulable et sans entraînement qui améliore la qualité du décodage sans nécessiter de réentraînement du modèle ni une surcharge computationnelle significative. Ce travail suggère que la gestion de la diversité de l'ancrage visuel lors de la validation parallèle est essentielle pour maximiser l'efficacité et la précision de la génération multimodale basée sur la diffusion. Des travaux futurs sont suggérés pour explorer des calendriers de décodage adaptatifs qui ajustent dynamiquement les tailles de validation en fonction des signaux de redondance visuelle.