Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

Problematica
Gli attuali sistemi di captioning di immagini, nonostante i progressi nella comprensione multimodale, rimangono limitati dalla loro dipendenza da informazioni puramente visive. Sebbene i modelli allo stato dell'arte possano descrivere accuratamente gli oggetti visibili, essi non riescono a catturare dettagli contestuali cruciali come gli sfondi degli eventi, la dinamica temporale, le entità nominate e il significato nel mondo reale che non sono visivamente discernibili. Questa limitazione è particolarmente dannosa in domini come il giornalismo e gli archivi digitali, dove le immagini fungono da documentazione visiva che richiede descrizioni ricche, di lunghezza parigrafica, piuttosto che brevi riassunti a livello di singola frase. Gli approcci esistenti basati sull'arricchimento con la conoscenza producono spesso descrizioni brevi focalizzate sull'immediato allineamento visivo-testuale, fallendo nel fornire le narrazioni complete necessarie per una significativa documentazione degli eventi.

Metodologia
Gli autori propongono una pipeline multimodale progettata per integrare l'input visivo con la conoscenza testuale esterna per generare didascalie arricchite dagli eventi e consapevoli del contesto. Il sistema opera attraverso quattro fasi primarie:

1. Recupero Multimodale e Reranking:

   • Ricerca Semantica: Il sistema recupera immagini e articoli semanticamente simili utilizzando gli embedding di BEIT-3 (utilizzando Flickr30k-384 e COCO-384) e SigLIP So-384.
   • Scoring d'Insieme: Per migliorare la robustezza, il sistema combina i punteggi di similarità di questi modelli. Viene creato un pool di candidati unificato dai risultati migliori di ciascun modello, pesati per posizione (top-1 vs. top-2) e contributo del modello. Un bonus di consenso viene applicato ai candidati che compaiono nei risultati top di più modelli.
   • Verifica Geometrica: I candidati recuperati sono sottoposti a un matching di feature tramite i detector ORB e SIFT. Il sistema applica il Test del Rapporto di Lowe e RANSAC per filtrare i match, calcolando il rapporto di inlier, la coerenza spaziale (tramite una griglia 4x4) e la coerenza di scala. Un punteggio di confidenza finale, che combina questi fattori, innesca un rerank se la confidenza supera 0,4 e i minimi inlier sono soddisfatti.

2. Generazione della Base della Didascalia:

   • La pipeline utilizza InstructBLIP (Vicuna-7B) per generare le didascalie base iniziali.
   • Invece di prompt generici, viene impiegata un'istruzione specifica per il compito per elicitare esplicitamente dettagli riguardanti persone, oggetti, ambientazioni, attività, illuminazione e atmosfera. Ciò mira a creare una narrazione visiva strutturata e fattuale per servire come ponte per i modelli linguistici a valle, mitigando il "collo di bottiglia visivo".

3. Estrazione del Contesto e Chunking:

   • Gli articoli di notizie associati vengono segmentati in chunk di testo sovrapposti (tre frasi con un passo di una frase).
   • Il modello all-MiniLM-l12-v2 codifica questi chunk e la didascalia base per eseguire una ricerca di similarità semantica. Vengono selezionati i cinque chunk più rilevanti, insieme alle prime tre frasi e alle ultime due frasi dell'articolo per preservare la struttura del discorso.
   • Le entità nominate vengono estratte tramite espressioni regolari per migliorare la fondatezza fattuale.

4. Generazione della Didascalia Arricchita dal Contesto:

   • Un modello DeepSeek-R1-0528-Qwen3-8B viene sottoposto a fine-tuning tramite QLoRA (Quantized Low-Rank Adaptation) con un rank di 256 e precisione a 8 bit.
   • Il modello è addestrato utilizzando un obiettivo di Causal Language Modeling (CLM). L'input consiste nella concatenazione dei chunk di testo selezionati e di un prompt specifico che istruisce il modello a dare priorità al contesto delle notizie (70%) rispetto ai dettagli visivi (30%), enfatizzare le "5 W" (Chi, Cosa, Perché, Quando, Dove) e produrre una didascalia di 300–350 parole.
   • Gli autori notano che questo approccio di filtraggio semantico (selezionando i chunk rilevanti) porta a una convergenza più veloce e a prestazioni migliori rispetto all'alimentazione di interi articoli come contesto.

Contributi Chiave e Risultati
Il sistema è stato valutato sul dataset OpenEvents v1 (derivato da CNN e The Guardian) e sulla sfida EVENTA Grand Challenge CondaBench.

• Performance di Recupero: Sul set di test privato, il sistema ha raggiunto un Average Precision (AP) di 0,955, con un Recall@1 di 0,945 e un Recall@10 di 0,973.
• Performance di Captioning:
  • Sul set di test pubblico, il sistema ha raggiunto un CLIPScore di 0,748, superando il miglior baseline precedente (Gemma + Articolo) del 12,8%.
  • Il punteggio CIDEr ha raggiunto lo 0,195, che è più di 10 volte superiore alla maggior parte dei metodi precedenti (ad esempio, Qwen a 0,0282).
  • Il sistema ha superato tutti i vision-language baseline valutati (inclusi SmolVLM, Qwen e Gemma) in tutte le metriche chiave (CLIPScore, CIDEr, BLEU-4, METEOR).

Significatività e Rivendicazioni
L'articolo sostiene che questo approccio trasforma il captioning di immagini dalla semplice enumerazione di oggetti in una narrazione contestualmente ricca e dettagliata, che colma il divario tra percezione visiva e comprensione completa dell'evento. Integrando la conoscenza esterna tramite una pipeline di recupero aumentato, il sistema genera didascalie che catturano entità nominate, contesto temporale e narrazioni coerenti che collegano il contenuto visivo alla significatività nel mondo reale.

Gli autori riconoscono i limiti, notando una dipendenza dal modello DeepSeek-Qwen3 che comporta un rischio di allucinazioni, e un punteggio CIDEr che, sebbene migliorato, indica ancora spazio per l'allineamento con la formulazione umana. Il lavoro futuro include la sperimentazione con generatori di didascalie base alternativi (come Qwen-VL 2.5 per una migliore OCR e riconoscimento delle entità) ed esplorare tecniche di post-processing per raffinare fluidità e rilevanza. Il sistema è posizionato per avere un potenziale significativo per applicazioni nei media, negli archivi digitali e nelle piattaforme educative dove l'interpretabilità e la profondità semantica sono essenziali.