Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

Énoncé du problème
Les systèmes actuels de légendage d'images, malgré les progrès de la compréhension multimodale, restent contraints par leur dépendance à une information purement visuelle. Bien que les modèles de pointe puissent décrire avec précision les objets visibles, ils échouent à capturer des détails contextuels cruciaux tels que les arrière-plans d'événements, la dynamique temporelle, les entités nommées et la signification dans le monde réel qui ne sont pas visuellement discernables. Cette limitation est particulièrement préjudiciable dans des domaines comme le journalisme et les archives numériques, où les images servent de documentation visuelle nécessitant des descriptions riches, sous forme de paragraphes, plutôt que de brefs résumés de type phrase. Les approches existantes enrichies par la connaissance produisent souvent des descriptions courtes axées sur l'alignement visuel-textuel immédiat, échouant à fournir les récits complets nécessaires pour une documentation d'événements significative.

Méthodologie
Les auteurs proposent un pipeline multimodal conçu pour augmenter l'entrée visuelle par une connaissance textuelle externe afin de générer des légendes enrichies par l'événement et sensibles au contexte. Le système fonctionne à travers quatre étapes principales :

1. Recherche et reclassement multimodaux :

   • Recherche sémantique : Le système récupère des images et des articles sémantiquement similaires en utilisant des plongements (embeddings) de BEIT-3 (utilisant Flickr30k-384 et COCO-384) et SigLIP So-384.
   • Scoring d'ensemble : Pour améliorer la robustesse, le système combine les scores de similarité de ces modèles. Un ensemble de candidats unifié est créé à partir des meilleurs résultats de chaque modèle, pondéré par la position (top-1 vs top-2) et la contribution du modèle. Un bonus de consensus est appliqué aux candidats apparaissant dans les meilleurs résultats de plusieurs modèles.
   • Vérification géométrique : Les candidats récupérés subissent une mise en correspondance de caractéristiques via les détecteurs ORB et SIFT. Le système applique le test de ratio de Lowe et RANSAC pour filtrer les correspondances, calculant un ratio d'inliers, une cohérence spatiale (via une grille 4x4) et une cohérence d'échelle. Un score de confiance final, combinant ces facteurs, déclenche un reclassement si la confiance dépasse 0,4 et si le nombre minimum d'inliers est atteint.

2. Génération de la légende de base :

   • Le pipeline utilise InstructBLIP (Vicuna-7B) pour générer des légendes de base initiales.
   • Au lieu de prompts génériques, une instruction spécifique à la tâche est employée pour solliciter explicitement des détails concernant les personnes, les objets, les décors, les activités, l'éclairage et l'atmosphère. Cela vise à créer un récit visuel structuré et factuel pour servir de pont vers les modèles de langage en aval, atténuant ainsi le « goulot d'étranglement visuel ».

3. Extraction et segmentation du contexte :

   • Les articles de presse associés sont segmentés en blocs de texte chevauchants (trois phrases avec un pas d'une phrase).
   • Le modèle all-MiniLM-l12-v2 encode ces blocs et la légende de base pour effectuer une recherche de similarité sémantique. Les cinq blocs les plus pertinents sont sélectionnés, ainsi que les trois premières et les deux dernières phrases de l'article pour préserver la structure du discours.
   • Les entités nommées sont extraites via des expressions régulières pour renforcer l'ancrage factuel.

4. Génération de la légende enrichie par le contexte :

   • Un modèle DeepSeek-R1-0528-Qwen3-8B est affiné (fine-tuned) via QLoRA (Quantized Low-Rank Adaptation) avec un rang de 256 et une précision de 8 bits.
   • Le modèle est entraîné en utilisant un objectif de modélisation de langage causal (CLM). L'entrée consiste en la concaténation des blocs de texte sélectionnés et d'un prompt spécifique instruisant le modèle à prioriser le contexte de l'actualité (70 %) sur les détails visuels (30 %), à mettre l'accent sur les « 5 W » (Qui, Quoi, Pourquoi, Quand, Où), et à produire une légende de 300 à 350 mots.
   • Les auteurs notent que cette approche de filtrage sémantique (sélection des blocs pertinents) conduit à une convergence plus rapide et de meilleures performances par rapport à l'injection d'articles entiers comme contexte.

Contributions clés et résultats
Le système a été évalué sur le jeu de données OpenEvents v1 (dérivé de CNN et The Guardian) et le défi EVENTA Grand Challenge CondaBench.

• Performance de la recherche : Sur l'ensemble de test privé, le système a atteint une précision moyenne (AP) de 0,955, avec un Recall@1 de 0,945 et un Recall@10 de 0,973.
• Performance du légendage :
  • Sur l'ensemble de test public, le système a obtenu un score CLIP de 0,748, surpassant la meilleure ligne de base précédente (Gemma + Article) de 12,8 %.
  • Le score CIDEr a atteint 0,195, ce qui est plus de 10 fois supérieur à la plupart des méthodes précédentes (par exemple, Qwen à 0,0282).
  • Le système a surpassé toutes les lignes de base de vision-langage évaluées (y compris SmolVLM, Qwen et Gemma) sur toutes les métriques clés (CLIPScore, CIDEr, BLEU-4, METEOR).

Signification et affirmations
L'article affirme que cette approche transforme avec succès le légendage d'images, passant d'une simple énumération d'objets à une narration contextuelle riche et détaillée qui fait le pont entre la perception visuelle et la compréhension complète de l'événement. En intégrant des connaissances externes via un pipeline de recherche augmentée, le système génère des légendes qui capturent les entités nommées, le contexte temporel et des récits cohérents reliant le contenu visuel à la signification réelle.

Les auteurs reconnaissent des limites, notant une dépendance au modèle DeepSeek-Qwen3 qui comporte un risque d'hallucinations, ainsi qu'un score CIDEr qui, bien qu'amélioré, indique encore une marge de progression pour l'alignement avec la formulation humaine. Les travaux futurs incluent l'expérimentation avec des générateurs de légendes de base alternatifs (tels que Qwen-VL 2.5 pour une meilleure reconnaissance OCR et des entités) et l'exploration de techniques de post-traitement pour affiner la fluidité et la pertinence. Le système est positionné comme ayant un potentiel significatif pour des applications dans les médias, les archives numériques et les plateformes éducatives où l'interprétabilité et la profondeur sémantique sont essentielles.