Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

Declaração do Problema
Os sistemas atuais de legendagem de imagens, apesar dos avanços na compreensão multimodal, permanecem limitados por sua dependência de informações puramente visuais. Embora modelos de última geração possam descrever objetos visíveis com precisão, eles falham em capturar detalhes contextuais cruciais, como fundos de eventos, dinâmicas temporais, entidades nomeadas e significância do mundo real que não são visualmente discerníveis. Essa limitação é particularmente prejudicial em domínios como o jornalismo e arquivos digitais, onde as imagens servem como documentação visual que requer descrições ricas, em formato de parágrafo, em vez de resumos breves em nível de frase. Abordagens existentes enriquecidas por conhecimento frequentemente produzem descrições curtas focadas no alinhamento visual-textual imediato, falhando em fornecer as narrativas abrangentes necessárias para uma documentação de eventos significativa.

Metodologia
Os autores propõem um pipeline multimodal projetado para aumentar a entrada visual com conhecimento textual externo para gerar legendas enriquecidas por eventos e conscientes do contexto. O sistema opera através de quatro estágios primários:

1. Recuperação Multimodal e Reclassificação (Reranking):

   • Busca Semântica: O sistema recupera imagens e artigos semanticamente similares utilizando embeddings do BEIT-3 (utilizando Flickr30k-384 e COCO-384) e SigLIP So-384.
   • Pontuação de Ensemble: Para melhorar a robustez, o sistema combina pontuações de similaridade desses modelos. Um pool de candidatos unificado é criado a partir dos melhores resultados de cada modelo, ponderado por posição (top-1 vs. top-2) e contribuição do modelo. Um bônus de consenso é aplicado a candidatos que aparecem nos melhores resultados de múltiplos modelos.
   • Verificação Geométrica: Os candidatos recuperados passam por correspondência de características usando detectores ORB e SIFT. O sistema aplica o Teste de Razão de Lowe e RANSAC para filtrar correspondências, computando a razão de inliers, consistência espacial (via uma grade 4x4) e consistência de escala. Uma pontuação de confiança final, combinando esses fatores, dispara uma reclassificação se a confiança exceder 0,4 e o número mínimo de inliers for atingido.

2. Geração de Legenda Base:

   • O pipeline utiliza o InstructBLIP (Vicina-7B) para gerar legendas base iniciais.
   • Em vez de prompts genéricos, uma instrução específica para a tarefa é empregada para elicitar explicitamente detalhes sobre pessoas, objetos, cenários, atividades, iluminação e atmosfera. Isso visa criar uma narrativa visual estruturada e factual para servir como uma ponte para modelos de linguagem subsequentes, mitigando o "gargalo visual".

3. Extração e Fragmentação de Contexto:

   • Artigos de notícias associados são segmentados em fragmentos de texto sobrepostos (três frases com um deslocamento de uma frase).
   • O modelo all-MiniLM-l12-v2 codifica esses fragmentos e a legenda base para realizar a busca de similaridade semântica. Os cinco fragmentos mais relevantes são selecionados, juntamente com as três primeiras e as duas últimas frases do artigo para preservar a estrutura do discurso.
   • Entidades nomeadas são extraídas via expressões regulares para aumentar o embasamento factual.

4. Geração de Legenda Enriquecida por Contexto:

   • Um modelo DeepSeek-R1-0528-Qwen3-8B é ajustado (fine-tuned) usando QLoRA (Quantized Low-Rank Adaptation) com um rank de 256 e precisão de 8 bits.
   • O modelo é treinado usando um objetivo de Modelagem de Linguagem Causal (CLM). A entrada consiste na concatenação dos fragmentos de texto selecionados e de um prompt específico instruindo o modelo a priorizar o contexto da notícia (70%) sobre os detalhes visuais (30%), enfatizar os "5 Ws" (Quem, O quê, Por que, Quando, Onde) e produzir uma legenda de 300 a 350 palavras.
   • Os autores observam que esta abordagem de filtragem semântica (selecionando fragmentos relevantes) leva a uma convergência mais rápida e melhor desempenho em comparação com o fornecimento de artigos inteiros como contexto.

Principais Contribuições e Resultados
O sistema foi avaliado no conjunto de dados OpenEvents v1 (derivado da CNN e The Guardian) e no EVENTA Grand Challenge CondaBench.

• Desempenho de Recuperação: No conjunto de teste privado, o sistema alcançou uma Precisão Média (AP) de 0,955, com Recall@1 em 0,945 e Recall@10 em 0,973.
• Desempenho de Legendagem:
  • No conjunto de teste público, o sistema alcançou um CLIPScore de 0,748, superando o melhor baseline anterior (Gemma + Artigo) em 12,8%.
  • O score CIDEr atingiu 0,195, o que é mais de 10 vezes superior à maioria dos métodos anteriores (ex: Qwen em 0,0282).
  • O sistema superou todos os baselines de visão-linguagem avaliados (incluindo SmolVLM, Qwen e Gemma) em todas as métricas principais (CLIPScore, CIDEr, BLEU-4, METEOR).

Significância e Alegações
O artigo afirma que esta abordagem transforma a legendagem de imagens de uma simples enumeração de objetos em uma narrativa detalhada e contextualmente rica, que faz a ponte entre a percepção visual e a compreensão abrangente do evento. Ao integrar conhecimento externo via um pipeline de recuperação aumentada, o sistema gera legendas que capturam entidades nomeadas, contexto temporal e narrativas coerentes que conectam o conteúdo visual à significância do mundo real.

Os autores reconhecem limitações, observando a dependência de um modelo DeepSeek-Qwen3 que carrega o risco de alucinações, e um score CIDEr que, embora melhorado, ainda indica espaço para alinhamento com o fraseado humano. O trabalho futuro inclui experimentar geradores de legenda base alternativos (como o Qwen-VL 2.5 para melhor OCR e reconhecimento de entidades) e explorar técnicas de pós-processamento para refinar a fluência e a relevância. O sistema é posicionado como tendo potencial significativo para aplicações em mídia de notícias, arquivos digitais e plataformas educacionais onde a interpretabilidade e a profundidade semântica são essenciais.