Résumé Technique : Au-delà des raccourcis unimodaux : les MLLM comme raisonneurs cross-modaux pour la reconnaissance de noms d'entités ancrée

1. Définition du problème et motivation

La Reconnaissance de Noms d'Entités Multimodale Ancrée (GMNER) est une tâche qui exige qu'un modèle identifie simultanément des entités nommées dans un texte, classifie leurs types sémantiques et les ancre à des boîtes englobantes (bounding boxes) visuelles correspondantes dans une image associée. Bien que les Grands Modèles de Langage Multimodaux (MLLM) se soient révélés prometteurs pour les tâches de vision-langage, leur application directe à la GMNER fait face à une pathologie critique : le biais de modalité.

Les auteurs identifient que les MLLM actuels ont tendance à s'appuyer sur des raccourcis cognitifs unimodaux plutôt qu'à s'engager dans une vérification cross-modale rigoureuse. Cela se manifeste par deux schémas d'erreurs principaux :

• Biais Textuel : Le modèle ignore les preuves visuelles, ancrant incorrectement des entités textuelles uniquement présentes dans le texte à des régions visuelles basées sur des heuristiques textuelles (par exemple, ancrer « Iggy » à une personne dans l'image parce que le texte mentionne un nom, même si l'image montre une personne différente).
• Biais Visuel : Le modèle néglige la sémantique textuelle, hallucinant des entités ou des lieux basés sur des indices visuels qui ne sont pas présents dans le texte (par exemple, se rappeler « Manchester United » comme une entité parce qu'elle apparaît visuellement, bien qu'elle ne soit pas mentionnée dans la phrase).

Les approches existantes traitent souvent les MLLM comme des outils auxiliaires au sein de pipelines en cascade (par exemple, en les utilisant uniquement pour la description d'images), ce qui introduit une propagation d'erreurs cumulatives et une surcharge de calcul. Ce travail vise à reformuler la GMNER comme une tâche de raisonnement génératif de bout en bout pour exploiter pleinement le potentiel de raisonnement cross-modal des MLLM tout en atténuant ces biais.

2. Méthodologie : Raisonnement de Consistance Sensible à la Modalité (MCR)

Pour remédier au biais de modalité, les auteurs proposent le Raisonnement de Consistance Sensible à la Modalité (MCR), un cadre qui impose un raisonnement cross-modal structuré. Le MCR se compose de deux étapes centrales :

2.1 Injection de Schémas de Raisonnement Multi-styles (MRSI)

Le MRSI vise à transformer des contraintes abstraites en chaînes de raisonnement exécutables.

• Contraintes Centrales : Le cadre définit quatre contraintes spécifiques alignées avec la tâche : Reconnaissance d'Entité ($C_s$), Classification de Type ($C_t$), Implication Visuelle ($C_e$), et Ancrage Visuel ($C_u$).
• Génération de Schémas Diversifiés : En utilisant des modèles de langage (LLM) et des MLLM, les auteurs génèrent un ensemble de données diversifié de traces de raisonnement ($D_R$) qui adhèrent à ces contraintes. Ces traces varient en style (par exemple, analyse étape par étape, sortie formatée, orientation vers la conclusion) pour empêcher le modèle de s'effondrer dans une trajectoire de raisonnement unique et potentiellement biaisée.
• Apprentissage Supervisé (SFT) : Un sous-ensemble de ces schémas de raisonnement diversifiés est injecté dans le MLLM via le SFT. Cela force le modèle à conserver un chemin de raisonnement qui vérifie explicitement la consistance cross-modale avant de générer la réponse finale.

2.2 Optimisation Vérifiable Guidée par les Contraintes (CVO)

Le CVO exploite le reste des données de raisonnement diversifiées pour optimiser davantage les capacités de raisonnement du modèle en utilisant l'Optimisation de Politique Relative de Groupe (GRPO).

• Fonctions de Récompense Vérifiables : Contrairement au RLHF traditionnel qui repose sur des modèles de récompense appris, le CVO utilise des fonctions de récompense basées sur des règles et vérifiables, ancrées aux contraintes centrales. Celles-ci incluent :
  • Récompenses de Compte d'Entité, d'Étendue (Span) et de Type : Basées sur les scores F1 et la correspondance des entités prédites avec la vérité de terrain (ground truth).
  • Récompense d'Ancrage Visuel : Basée sur l'Intersection-sur-Union (IoU) entre les boîtes englobantes prédites et la vérité de terrain.
  • Récompense d'Implication (Entailment) : Une vérification binaire pour déterminer si le modèle identifie correctement si une entité est visible ou absente (None).
• Processus d'Optimisation : Le modèle génère un groupe de réponses diverses pour une requête donnée. Les récompenses vérifiables sont calculées pour chaque réponse, et l'avantage du groupe est calculé. La politique est mise à jour pour maximiser la récompense tout en pénalisant les raccourcis unimodaux, encourageant ainsi efficacement le modèle à générer des rationalisations « fidèles aux contraintes ».

3. Contributions Clés

L'article revendique trois contributions principales :

1. Diagnostic du Biais de Modalité : Les auteurs identifient et quantifient la tendance des MLLM à prendre des raccourcis cognitifs unimodaux dans la GMNER de bout en bout, révélant que les modèles hallucinent souvent des corrélations sans vérification cross-modale rigoureuse.
2. Cadre MCR : Ils proposent un nouveau cadre qui impose un raisonnement explicite et fidèle aux contraintes grâce à l'injection de schémas (MRSI) et à l'optimisation vérifiable (CVO) afin d'atténuer le biais de modalité.
3. Supériorité de Performance : La méthode atteint des performances supérieures sur plusieurs benchmarks par rapport aux bases existantes, démontrant que le raisonnement structuré est essentiel pour un ancrage cross-modal précis.

4. Résultats Expérimentaux

Les auteurs ont évalué le MCR sur le jeu de données Twitter-GMNER, ainsi que sur MNER-MI (pour le MNER) et GREC (pour l'ancrage visuel). Ils ont effectué des tests sur Qwen2.5VL (7B et 72B) et MimoVL-7B.

• Résultats Principaux : Sur la tâche GMNER, le MCR (appliqué à Qwen2.5VL-7B) a atteint un score F1 de 70,6 %, surpassant la meilleure méthode unifiée précédente (MQSPN) de 11,87 % et la meilleure méthode de pipeline (SCANNER) de 2,11 %. Il a également dépassé le SFT direct d'environ 8 % sur le modèle 7B.
• Atténuation du Biais :
  • Biais Visuel : L'analyse quantitative a montré que le MCR réduit le taux d'hallucination d'entités absentes du texte (N-Rate) à des niveaux quasi négligeables (0,1 % pour Qwen2.5VL-7B), une amélioration significative par rapport au CoT et au prompting few-shot.
  • Biais Textuel : Les métriques mesurant la capacité à identifier correctement les entités sans localisation visuelle (N-Pre, N-Rec) se sont améliorées de près de 14 % par rapport au SFT, indiquant que le modèle est devenu meilleur pour juger l'implication entre le texte et l'image.
• Études d'Ablation : Le retrait du MRSI a provoqué une chute drastique de 18,95 % du score F1, confirmant la nécessité du chemin de raisonnement. Le retrait du CVO a entraîné un gain marginal par rapport au MRSI seul, soulignant l'importance de l'étape d'optimisation pour affiner les capacités de vérification. Les schémas de raisonnement multi-styles se sont révélés supérieurs aux schémas mono-styles pour stabiliser l'entraînement et améliorer les récompenses finales.

5. Signification et Limites

Signification :
L'article soutient que le principal obstacle à une GMNER efficace de bout en bout avec les MLLM n'est pas un manque de capacité, mais une dépendance aux heuristiques unimodales. En déplaçant le paradigme de l'alignement de caractéristiques vers le raisonnement cross-modal structuré, le MCR permet aux MLLM d'effectuer une vérification de consistance rigoureuse. Cette approche offre une nouvelle voie pour la construction de graphes de connaissances et la facilitation de la réponse aux questions basée sur la connaissance, sans la propagation d'erreurs inhérente aux pipelines en cascade.

Limites :
Les auteurs reconnaissent modestement que le MCR reste contraint par les limites de connaissances paramétriques inhérentes aux MLLM sous-jacents. Puisque le cadre repose sur la base de connaissances interne du modèle pour la reconnaissance d'entités, il peut avoir du mal à se généraliser à des entités non vues absentes du corpus de pré-entraînement. De plus, le cadre ne résout pas intrinsèquement les problèmes liés à la familiarité visuelle du modèle avec des entités spécifiques (par exemple, reconnaître l'apparence d'une célébrité spécifique).