Résumé technique : Amélioration ancrée par l'attention pour la recherche de documents visuels (AGREE)

Énoncé du problème

La recherche de documents visuels (VDR) vise à récupérer des pages de documents sémantiquement pertinentes par rapport à une requête textuelle donnée. Contrairement à la recherche d'images traditionnelle, la VDR implique un contenu hétérogène (texte, tableaux, figures, mises en page) à haute densité d'information. Bien que les méthodes récentes les plus avancées (SOTA), telles que ColQwen, utilisent un encodage basé sur des captures d'écran avec une interaction tardive fine-granulaire (MaxSim) pour capturer les alignements au niveau des tokens et des patches, elles font face à une limitation critique : la supervision de l'entraînement est grossière.

Les récupérateurs actuels sont entraînés uniquement à l'aide d'étiquettes de pertinence binaire globales (pertinent vs non pertinent). Ces étiquettes indiquent si une page correspond à une requête, mais ne fournissent aucune information sur quelles régions spécifiques soutiennent cette correspondance. Par conséquent, les récupérateurs ont tendance à se fier à des indices de surface (par exemple, une correspondance exacte de mots-clés) et peinent à capturer des connexions sémantiques implicites ou des requêtes non extractives (par exemple, raisonner sur les structures « autoencodeur » par rapport aux structures « encodeur-décodeur »). Cela entrave les performances sur des tâches de recherche complexes et réalistes où les preuves sont réparties entre des éléments visuels et textuels.

Méthodologie : Cadre AGREE

Pour pallier l'absence de supervision fine-granulaire sans engendrer le coût de l'annotation manuelle, les auteurs proposent AGREE (Amélioration du Récupérateur ancrée par l'Attention). AGREE exploite les mécanismes d'attention intermodale des Modèles de Langage Multimodaux (MLLM) pré-entraînés comme substitut pour une supervision fine-granulaire. Le cadre fonctionne en trois étapes clés :

1. Annotation par attention MLLM

AGREE utilise un MLLM pré-entraîné et figé (spécifiquement Qwen2.5-VL) pour générer des cartes d'attention conditionnées par la requête au niveau des patches.

• Stratégie d'extraction : Les auteurs comparent deux stratégies : l'Attention des Tokens de Réponse (extraction de l'attention depuis le token précédant la génération de la réponse) et l'Attention des Tokens de Requête (moyenne de l'attention de tous les tokens de la requête vers les patches d'image). Les expériences montrent que l'Attention des Tokens de Requête produit un meilleur alignement avec les jugements humains, couvrant de manière plus robuste à la fois les correspondances explicites et implicites.
• Normalisation : Pour mettre l'accent sur la pertinence sémantique plutôt que sur l'agrégation globale, l'attention spécifique à la requête est normalisée par rapport à une attention de description générale d'image.
• Agrégation : Les cartes d'attention sont agrégées sur toutes les couches du MLLM pour former un signal de supervision unifié.

2. Sous-échantillonnage de l'attention préservant l'espace

Un décalage de résolution existe entre les entrées haute résolution requises pour le raisonnement MLLM (jusqu'à 2048 patches) et les entrées de plus basse résolution utilisées par les récupérateurs efficaces (par exemple, 768 ou 1024 patches).

• Solution : AGREE emploie un pooling maximal adaptatif pour sous-échantillonner les cartes d'attention haute résolution. Contrairement au pooling moyen, qui dilue les pics saillants, le pooling maximal préserve les valeurs d'attention les plus élevées dans chaque fenêtre, garantissant que les régions clés mises en évidence par le MLLM restent proéminentes dans la grille de plus basse résolution utilisée par le récupérateur.

3. Entraînement guidé par l'attention

Le récupérateur est entraîné avec une fonction objectif double :

• Perte Globale ($L_{global}$) : Une perte contrastive standard utilisant des négatifs difficiles intra-batch pour maintenir la pertinence au niveau de la page.
• Perte d'Alignement Local ($L_{local}$) : Appliquée uniquement aux paires requête-page positives, cette perte encourage les scores de similarité au niveau des patches du récupérateur à imiter la carte d'attention MLLM sous-échantillonnée.
  • Les auteurs évaluent trois stratégies d'alignement : la divergence de Kullback–Leibler (KL), le contraste Top-K saillant, et la Similarité Cosinus.
  • La Similarité Cosinus s'avère la plus efficace, car elle se concentre sur l'accord directionnel des motifs de scores (en priorisant les régions saillantes) sans être excessivement pénalisée par le bruit dans les zones de fond à faible saillance ou nécessiter un réglage manuel de seuils.

La perte totale est définie comme $L_{total} = L_{global} + \lambda \cdot L_{local}$. Crucialement, cette supervision fine-granulaire est utilisée uniquement pendant l'entraînement ; à l'inférence, le récupérateur fonctionne de manière indépendante sans nécessiter le MLLM ni des signaux d'attention externes.

Contributions clés

1. Cadre d'entraînement novateur : AGREE est le premier cadre à distiller l'attention MLLM conditionnée par la requête dans des récupérateurs de documents visuels à interaction tardive, fournissant une supervision fine-granulaire évolutive pour l'appariement de pertinence implicite sans annotation manuelle.
2. Gains de performance : Des expériences extensives démontrent que AGREE améliore significativement les performances de recherche sur des tâches non extractives et difficiles, s'avérant efficace sur différents modèles de base (PaliGemma et Qwen2.5-VL).
3. Interprétabilité et raisonnement : Le cadre déplace le comportement de recherche de la correspondance de mots-clés de surface vers un alignement ancré sémantiquement et conscient du raisonnement, permettant aux modèles de capturer des correspondances requête-document implicites.

Résultats expérimentaux

Les auteurs ont évalué AGREE sur le benchmark ViDoRe V2, un ensemble de données hors domaine difficile nécessitant un raisonnement sémantique au-delà du chevauchement de mots-clés.

• Performance : Par rapport à la ligne de base utilisant uniquement une supervision globale (ColQwen2.5), AGREE a obtenu :
  • Une amélioration de +12,82 % du nDCG@1 moyen (passant de 0,5481 à 0,6184).
  • Une amélioration de +5,03 % du nDCG@5 moyen (passant de 0,5859 à 0,6154).
• Robustesse : Sur le benchmark ViDoRe V1 plus facile (piloté par un chevauchement textuel explicite), AGREE est resté compétitif, confirmant que la supervision fine-granulaire ne dégrade pas les performances sur les tâches explicites.
• Analyse qualitative :
  • Couverture : Les récupérateurs entraînés avec AGREE ont montré une couverture significativement plus élevée des régions pertinentes annotées par des humains (à la fois explicites et implicites) par rapport aux lignes de base.
  • Études de cas : Les visualisations ont démontré que AGREE met avec succès en évidence des correspondances implicites (par exemple, lier « gay » à « LGBT » ou identifier des régions de réponse ne contenant pas le mot-clé de la requête) là où les lignes de base échouaient ou ne mettaient en évidence que des correspondances de surface.

Importance et revendications

L'article revendique que la limitation principale de la recherche actuelle de documents visuels n'est pas la capacité d'encodage mais la grossièreté du signal d'entraînement. En traitant le MLLM non pas comme un modèle à compresser, mais comme un annotateur qui synthétise les étiquettes fines manquantes, AGREE transfère efficacement les capacités de raisonnement intrinsèques de l'enseignant au récupérateur.

Les auteurs soulignent que cette approche permet aux récupérateurs de généraliser au-delà des motifs extractifs simples trouvés dans les données d'entraînement. Le succès de AGREE repose sur la qualité des étiquettes substitutives (cartes d'attention) et l'équilibre entre les objectifs globaux et locaux. Ce travail suggère que les futures améliorations de la recherche de documents visuels pourraient reposer moins sur de grands corpus d'entraînement et davantage sur des mécanismes de supervision précis et évolutifs qui guident les modèles à comprendre pourquoi un document est pertinent, conduisant à des systèmes de recherche plus interprétables et précis.