Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

Planteamiento del Problema
Los sistemas actuales de subtitulado de imágenes, a pesar de los avances en la comprensión multimodal, siguen limitados por su dependencia de la información puramente visual. Si bien los modelos de vanguardia pueden describir con precisión los objetos visibles, no logran capturar detalles contextuales cruciales como los fondos de los eventos, la dinámica temporal, las entidades con nombre y la significación en el mundo real que no son visualmente discernibles. Esta limitación es particularmente perjudicial en dominios como el periodismo y los archivos digitales, donde las imágenes sirven como documentación visual que requiere descripciones ricas, de longitud de párrafo, en lugar de breves resúmenes de nivel de oración. Los enfoques existentes enriquecidos con conocimiento suelen producir descripciones cortas centradas en la alineación visual-textual inmediata, fallando en proporcionar las narrativas exhaustivas necesarias para una documentación de eventos significativa.

Metodología
Los autores proponen un pipeline multimodal diseñado para aumentar la entrada visual con conocimiento textual externo para generar subtítulos enriquecidos con eventos y conscientes del contexto. El sistema opera a través de cuatro etapas primarias:

1. Recuperación y Reclasificación Multimodal:

   • Búsqueda Semántica: El sistema recupera imágenes y artículos semánticamente similares utilizando embeddings de BEIT-3 (utilizando Flickr30k-384 y COCO-384) y SigLIP So-384.
   • Puntuación de Conjunto (Ensemble Scoring): Para mejorar la robustez, el sistema combina las puntuaciones de similitud de estos modelos. Se crea un conjunto de candidatos unificado a partir de los mejores resultados de cada modelo, ponderados por posición (top-1 vs. top-2) y contribución del modelo. Se aplica un bono de consenso a los candidatos que aparecen en los resultados top de múltiples modelos.
   • Verificación Geométrica: Los candidatos recuperados se someten a una correspondencia de características utilizando detectores ORB y SIFT. El sistema aplica la Prueba de Ratio de Lowe y RANSAC para filtrar las coincidencias, computando la relación de inliers, la consistencia espacial (vía una cuadrícula de 4x4) y la consistencia de escala. Un puntaje de confianza final, que combina estos factores, activa una reclasificación si la confianza supera 0.4 y se cumple el mínimo de inliers.

2. Generación de Subtítulo Base:

   • El pipeline utiliza InstructBLIP (Vicuna-7B) para generar subtítulos base iniciales.
   • En lugar de prompts genéricos, se emplea una instrucción específica para la tarea para solicitar explícitamente detalles sobre personas, objetos, entornos, actividades, iluminación y atmósfera. Esto tiene como objetivo crear una narrativa visual estructurada y fáctica que sirva como puente para los modelos de lenguaje posteriores, mitigando el "cuello de botella visual".

3. Extracción de Contexto y Fragmentación:

   • Los artículos de noticias asociados se segmentan en fragmentos de texto superpuestos (tres oraciones con un desplazamiento de una oración).
   • El modelo all-MiniLM-l12-v2 codifica estos fragmentos y el subtítulo base para realizar una búsqueda de similitud semántica. Se seleccionan los cinco fragmentos más relevantes, junto con las tres primeras y las dos últimas oraciones del artículo para preservar la estructura del discurso.
   • Las entidades con nombre se extraen mediante expresiones regulares para mejorar el fundamento fáctico.

4. Generación de Subtítulo Enriquecido con Contexto:

   • Un modelo DeepSeek-R1-0528-Qwen3-8B es ajustado mediante QLoRA (Quantized Low-Rank Adaptation) con un rango de 256 y precisión de 8 bits.
   • El modelo es entrenado utilizando un objetivo de Modelado de Lenguaje Causal (CLM). La entrada consiste en la concatenación de los fragmentos de texto seleccionados y un prompt específico que instruye al modelo para priorizar el contexto de la noticia (70%) sobre los detalles visuales (30%), enfatizar las "5 W" (Quién, Qué, Por qué, Cuándo, Dónde) y producir un subtítulo de 300 a 350 palabras.
   • Los autores señalan que este enfoque de filtrado semántico (selección de fragmentos relevantes) conduce a una convergencia más rápida y un mejor rendimiento en comparación con alimentar artículos enteros como contexto.

Contribuciones Clave y Resultados
El sistema fue evaluado en el dataset OpenEvents v1 (derivado de CNN y The Guardian) y el EVENTA Grand Challenge CondaBench.

• Rendimiento de Recuperación: En el conjunto de prueba privado, el sistema alcanzó una Precisión Promedio (AP) de 0.955, con un Recall@1 de 0.945 y un Recall@10 de 0.973.
• Rendimiento de Subtitulado:
  • En el conjunto de prueba público, el sistema alcanzó un CLIPScore de 0.748, superando al mejor baseline previo (Gemma + Artículo) en un 12.8%.
  • El puntaje CIDEr alcanzó 0.195, lo cual es más de 10 veces superior a la mayoría de los métodos previos (por ejemplo, Qwen con 0.0282).
  • El sistema superó a todos los baselines de visión-lenguaje evaluados (incluyendo SmolVLM, Qwen y Gemma) en todas las métricas clave (CLIPScore, CIDEr, BLEU-4, METEOR).

Significación y Reivindicaciones
El artículo afirma que este enfoque transforma exitosamente el subtitulado de imágenes de una simple enumeración de objetos en una narración detallada y contextualmente rica que une la percepción visual con la comprensión integral de eventos. Al integrar conocimiento externo mediante un pipeline de recuperación aumentada, el sistema genera subtítulos que capturan entidades con nombre, contexto temporal y narrativas coherentes que conectan el contenido visual con la significación en el mundo real.

Los autores reconocen limitaciones, señalando la dependencia de un modelo DeepSeek-Qwen3 que conlleva un riesgo de alucinaciones, y un puntaje CIDer que, aunque mejorado, aún indica espacio para la alineación con el fraseo humano. El trabajo futuro incluye experimentar con generadores de subtítulos base alternativos (como Qwen-VL 2.5 para un mejor OCR y reconocimiento de entidades) y explorar técnicas de post-procesamiento para refinar la fluidez y la relevancia. El sistema se posiciona con un potencial significativo para aplicaciones en medios de comunicación, archivos digitales y plataformas educativas donde la interpretabilidad y la profundidad semántica son esenciales.