Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

Probleemstelling
Huidige systemen voor beeldbeschrijving blijven, ondanks vooruitgang in multimodale begrip, beperkt door hun afhankelijkheid van puur visuele informatie. Hoewel state-of-the-art modellen objecten die zichtbaar zijn accuraat kunnen beschrijven, falen zij in het vastleggen van cruciale contextuele details zoals de achtergrond van gebeurtenissen, temporele dynamiek, benoemde entiteiten en de betekenis in de echte wereld die niet visueel waarneembaar zijn. Deze beperking is bijzonder nadelig in domeinen zoals journalistiek en digitale archieven, waar afbeeldingen dienen als visuele documentatie die rijke, paragraaflange beschrijvingen vereist in plaats van korte, zin-niveau samenvattingen. Bestaande kennisverrijkende benaderingen produceren vaak korte beschrijvingen die gericht zijn op directe visueel-tekstuele uitlijning, waardoor ze niet in staat zijn de uitgebreide narratieven te bieden die nodig zijn voor betekenisvolle evenementdocumentatie.

Methodologie
De auteurs stellen een multimodale pijplijn voor die is ontworpen om visuele input aan te vullen met externe tekstuele kennis om evenement-verrijkte, contextbewuste bijschriften te genereren. Het systeem werkt via vier primaire stadia:

1. Multi-Modale Retrieval en Reranking:

   • Semantische Zoekopdracht: Het systeem haalt semantisch vergelijkbare afbeeldingen en artikelen op met behulp van embeddings van BEIT-3 (gebruikmakend van Flickr30k-384 en COCO-384) en SigLIP So-384.
   • Ensemble Scoring: Om de robuustheid te verbeteren, combineert het systeem de gelijkenisscores van deze modellen. Een verenigde kandidaat-pool wordt gecreëerd uit de topresultaten van elk model, gewogen op basis van positie (top-1 versus top-2) en modelbijdrage. Een consensusbonus wordt toegepast op kandidaten die in de topresultaten van meerdere modellen voorkomen.
   • Geometrische Verificatie: De opgehaalde kandidaten ondergaan feature-matching met behulp van ORB- en SIFT-detectoren. Het systeem past de Ratio Test van Lowe en RANSAC toe om matches te filteren, waarbij de inlier-ratio, ruimtelijke consistentie (via een 4x4 raster) en schaalconsistentie worden berekend. Een definitieve betrouwbaarheidsscore, die deze factoren combineert, triggert een rerank als de betrouwbaarheid hoger is dan 0,4 en aan het minimum aantal inliers wordt voldaan.

2. Generatie van Basisbijschrift:

   • De pijplijn maakt gebruik van InstructBLIP (Vicuna-7B) om initiële basisbijschriften te genereren.
   • In plaats van generieke prompts wordt een taakspecifieke instructie gebruikt om expliciet details op te vragen over mensen, objecten, omgevingen, activiteiten, verlichting en atmosfeer. Dit heeft tot doel een gestructureerd, feitelijk visueel narratief te creëren dat dient als brug voor downstream taalmodellen, om zo de "visuele bottleneck" te verzachten.

3. Contextextractie en Chunking:

   • Geassocieerde nieuwsartikelen worden gesegmenteerd in overlappende tekstchunks (drie zinnen met een stride van één zin).
   • Het all-MiniLM-l12-v2 model codeert deze chunks en het basisbijschrift om een semantische gelijkeniszoekopdracht uit te voeren. De top vijf relevante chunks worden geselecteerd, samen met de eerste drie en laatste twee zinnen van het artikel om de discoursstructuur te bewaren.
   • Benoemde entiteiten worden geëxtraheerd via reguliere expressies om de feitelijke gronding te versterken.

4. Context-Verrijkte Bijschriftgeneratie:

   • Een DeepSeek-R1-0528-Qwen3-8B model wordt gefinetuned met behulp van QLoRA (Quantized Low-Rank Adaptation) met een rank van 256 en 8-bit precisie.
   • Het model wordt getraind met een Causal Language Modeling (CLM) objectief. De input bestaat uit de geconcateneerde geselecteerde tekstchunks en een specifieke prompt die het model instrueert om prioriteit te geven aan de nieuwscontext (70%) boven visuele details (30%), de "5 W's" (Wie, Wat, Waarom, Wanneer, Waar) te benadrukken, en een bijschrift van 300–350 woorden te produceren.
   • De auteurs merken op dat deze semantische filtering aanpak (het selecteren van relevante chunks) leidt tot snellere convergentie en betere prestaties vergeleken met het invoeren van volledige artikelen als context.

Belangrijkste Bijdragen en Resultaten
Het systeem werd geëvalueerd op de OpenEvents v1 dataset (afgeleid van CNN en The Guardian) en de EVENTA Grand Challenge CondaBench.

• Retrieval Prestaties: Op de private testset behaalde het systeem een Average Precision (AP) van 0,955, met een Recall@1 van 0,945 en een Recall@10 van 0,973.
• Bijschrift Prestaties:
  • Op de publieke testset behaalde het systeem een CLIPScore van 0,748, waarmee het de beste eerdere baseline (Gemma + Artikel) met 12,8% overtrof.
  • De CIDEr-score bereikte 0,195, wat meer dan 10 keer hoger is dan de meeste eerdere methoden (bijv. Qwen met 0,0282).
  • Het systeem presteerde beter dan alle geëvalueerde vision-language baselines (inclusief SmolVLM, Qwen en Gemma) over alle belangrijke metrieken (CLIPScore, CIDEr, BLEU-4, METEOR).

Betekenis en Claims
Het artikel claimt dat deze aanpak er succesvol in slaagt om beeldbeschrijving te transformeren van eenvoudige objectenumeratie naar contextueel rijke, gedetailleerde storytelling die visuele perceptie verbindt met uitgebreid evenementbegrip. Door externe kennis te integreren via een retrieval-augmented pijplijn, genereert het systeem bijschriften die benoemde entiteiten, temporele context en coherente narratieven vastleggen die visuele inhoud verbinden met de realiteit van de gebeurtenis.

De auteurs erkennen beperkingen en merken op dat de afhankelijkheid van het DeepSeek-Qwen3 model een risico op hallucinaties met zich meebrengt, en dat de CIDEr-score, hoewel verbeterd, nog steeds ruimte laat voor afstemming met menselijke formulering. Toekomstig werk omvat het experimenteren met alternatieve base caption generators (zoals Qwen-VL 2.5 voor betere OCR en entiteitsherkenning) en het verkennen van post-processing technieken om vloeiendheid en relevantie te verfijnen. Het systeem wordt gepositioneerd als zijnde van aanzienlijk potentieel voor toepassingen in nieuwsmedia, digitale archieven en educatieve platforms waar interpreteerbaarheid en semantische diepgang essentieel zijn.