Résumé technique : Décodage contrastif multi-contexte sensible à la pertinence pour le Questionnement Visuel Assisté par Récupération (RAG)

1. Énoncé du problème

Les grands modèles de langage visuels (LVLM) font preuve de capacités remarquables dans les tâches de langage-vision, mais manquent souvent de connaissances détaillées sur des entités spécifiques. La génération augmentée par récupération (RAG) répond à cela en fournissant des contextes externes à partir d'une base de connaissances (KB). Cependant, les méthodes de décodage actuelles pour le RAG sont sous-optimales pour deux raisons principales :

1. Échec de l'exploitation de multiples contextes : Les méthodes qui reposent sur un seul contexte (par exemple, le premier classé par récupération) se dégradent considérablement lorsque la qualité de la récupération est médiocre, car elles ne peuvent pas agréger les informations provenant d'autres contextes potentiellement pertinents.
2. Sensibilité aux contextes non pertinents : Les méthodes qui ingèrent plusieurs contextes souffrent souvent d'une dégradation des performances lorsque des contextes non pertinents ou bruyants sont inclus, car ces signaux négatifs perturbent le processus de génération.

Le défi central consiste à développer une stratégie de décodage capable d'agréger efficacement les informations utiles de plusieurs contextes pertinents tout en neutralisant simultanément l'influence négative des contextes non pertinents, sans nécessiter d'entraînement supplémentaire du modèle.

2. Méthodologie : Décodage contrastif multi-contexte sensible à la pertinence (RMCD)

Les auteurs proposent RMCD, une méthode de décodage sans entraînement qui étend le concept de décodage contrastif (CD). Au lieu de simplement concaténer les contextes ou de moyenner les prédictions, RMCD ajuste dynamiquement l'influence de chaque contexte récupéré en fonction de sa pertinence par rapport à la question.

Mécanisme central

RMCD fonctionne en contrastant les logits générés à partir de multiples contextes. Le processus comprend trois étapes principales :

1. Pondération du contexte (Réflexion et Déflexion) :

   • Pour un ensemble de contextes récupérés $C = \{c_1, ..., c_n\}$, triés par score de récupération, le modèle génère une distribution de logits $q(y_i|c_j)$ pour chaque contexte.
   • Un poids de contexte $\alpha_j$ est déterminé de manière adaptative en fonction du score de récupération $s_{c_j}$.
   • Réflexion (Reflection) : Les contextes ayant des scores de récupération élevés se voient attribuer des poids positifs élevés, amplifiant leur influence.
   • Déflexion (Deflection) : Les contextes ayant des scores de récupération faibles se voient attribuer des poids faibles ou négatifs. Cela soustrait activement l'influence des contextes non pertinents plutôt que de simplement les ignorer.
   • Le logit final est une somme pondérée : $p(y_i) = \text{Softmax}(\sum \alpha_j q(y_i|c_j))$.

2. Contrainte de plausibilité par ensemble :

   • Pour éviter l'échantillonnage de vocabulaires hautement improbables, RMCD introduit une contrainte.
   • Un sous-ensemble de « contextes de contrainte » ($C_c$) est sélectionné sur la base d'un seuil de pertinence.
   • Une probabilité d'ensemble est calculée à partir de ces contextes de contrainte pour définir un ensemble de vocabulaire plausible $S_i$.
   • Les logits pour les vocabulaires en dehors de $S_i$ sont fixés à $-\infty$, restreignant l'espace d'échantillonnage à des jetons plausibles dérivés de contextes de haute qualité.

3. Base de référence à contexte unique (SCD) :

   • Les auteurs introduisent d'abord une méthode de base, le décodage contrastif à contexte unique (SCD), qui contraste la sortie avec le contexte principal par rapport à la sortie inconditionnelle. Bien qu'efficace avec une récupération de haute qualité, le SCD échoue lorsque la qualité de la récupération chute, ce qui motive l'extension multi-contexte (RMCD).

3. Contributions clés

L'article présente trois contributions principales :

1. Identification des limitations : Les auteurs observent que les méthodes de décodage RAG existantes ne parviennent pas à exploiter suffisamment les multiples contextes pertinents et sont facilement perturbées par les contextes non pertinents.
2. Proposition de RMCD : Une nouvelle méthode de décodage sans entraînement qui contraste plusieurs contextes en fonction de leur pertinence. Elle « réfléchit » efficacement les contextes pertinents et « déflexionne » les contextes non pertinents grâce à une pondération adaptative, incluant des poids négatifs.
3. Validation empirique : RMCD surpasse systématiquement les autres méthodes de décodage sur plusieurs benchmarks de questions-réponses visuelles (VQA) gourmands en connaissances. Elle démontre sa robustesse face à diverses qualités de récupération, des récupérateurs faibles aux plus forts, et même dans des configurations « oracle » où le contexte correct est garanti.

4. Résultats expérimentaux

La méthode a été évaluée sur trois benchmarks de VQA gourmands en connaissances : InfoSeek, Encyclopedic-VQA et OK-VQA.

• Performance : RMCD a atteint des résultats de pointe parmi les méthodes de décodage sur sept LVLM différents (incluant des variantes d'InternVL, BLIP-2 et LLaVA).
  • Sur InfoSeek, RMCD a amélioré les performances jusqu'à 13,1 points par rapport à la génération inconditionnelle et a surpassé la base de référence RAG standard.
  • Sur Encyclopedic-VQA, elle a obtenu les meilleurs résultats sur les segments "one-hop" et "full".
  • Sur OK-VQA, l'application de RMCD à des architectures compétitives (RA-VQA et FLMR) a produit la précision la plus élevée (63,1), surpassant les méthodes qui s'appuient sur GPT-3 pour la récupération ou la génération.
• Efficacité : RMCD maintient une complexité temporelle d'environ $O(n)$ par rapport au nombre de contextes. Appliquée à FLMR (qui utilise le beam search), elle a réduit la latence de 33 % tout en améliorant la précision.
• Robustesse :
  • Quantité : Les performances ont augmenté de manière monotone à mesure que le nombre de contextes ($n$) augmentait, contrairement aux bases de référence qui plafonnent ou se dégradent.
  • Qualité : RMCD a systématiquement surpassé toutes les autres méthodes sur des tailles de KB allant de 1,7k à 2M (où la difficulté de récupération augmente). Elle est restée la meilleure performante même en utilisant un récupérateur « oracle » (contexte correct garanti), prouvant sa valeur orthogonale à l'amélioration du récupérateur.

5. Signification et affirmations

L'article affirme que RMCD représente une avancée significative pour le RAG appliqué aux LVLM en abordant le double défi de l'agrégation d'informations et de la suppression du bruit sans le coût computationnel d'un réentraînement de modèle.

• Intégration sans entraînement : RMCD peut être appliquée en remplaant simplement la méthode de décodage des LVLM existants, ne nécessant aucun entraînement supplémentaire ni mise à jour des paramètres.
• Robustesse au bruit de récupération : La méthode est exceptionnellement robuste à la qualité de l'étape de récupération. Elle performe de manière optimale, que les résultats de récupération soient les plus faibles ou les plus forts, ce qui en fait un composant fiable pour les applications réelles où la perfection de la récupération est inatteignable.
• Mécanisme de déflexion : Les études d'ablation confirment que le mécanisme de « déflexion » (attribuer des poids négatifs aux contextes non pertinents) est crucial. Le simple fait d'ignorer les contextes non pertinents est insuffisant ; contrer activement leur influence produit des performances supérieures.

En résumé, les auteurs positionnent RMCD comme une évolution nécessaire du décodage RAG, permettant aux LVLM d'utiliser efficacement les bases de connaissances externes en équilibrant dynamiquement l'influence de multiples contextes récupérés.