CaptionQA: Is Your Caption as Useful as the Image Itself?

Título: CaptionQA: Sua Legenda é Tão Útil quanto a Própria Imagem?

1. O Problema

As legendas de imagens (captions) funcionam como substitutos eficientes para conteúdo visual em sistemas multimodais, como recuperação de informações, recomendação, pipelines de inferência de agentes e memória de longo prazo. No entanto, as práticas atuais de avaliação focam principalmente em métricas de similaridade textual (como BLEU, CIDEr) ou em benchmarks de "Perguntas e Respostas sobre Imagens" (Image-QA), onde o modelo vê a imagem diretamente.

Existe uma lacuna fundamental: as legendas geradas por modelos mantêm a utilidade da imagem original para tarefas downstream? A literatura atual não avalia se uma legenda contém as informações específicas necessárias para que um sistema downstream (que só tem acesso ao texto) possa tomar decisões corretas, criando uma desconexão entre como os modelos são avaliados academicamente e como as legendas são usadas na prática.

2. Metodologia: CaptionQA

Os autores propõem o CaptionQA, um benchmark baseado em utilidade que avalia a qualidade de uma legenda medindo quão bem ela pode substituir a imagem em tarefas de raciocínio downstream.

• Protocolo de Avaliação (QA-on-Caption):

  1. Um Modelo Multimodal de Grande Escala (MLLM) gera uma legenda para uma imagem.
  2. Um LLM puramente textual (sem acesso à imagem) recebe a legenda e tenta responder a perguntas de múltipla escolha sobre a imagem.
  3. Se o LLM textual conseguir responder corretamente apenas com a legenda, isso indica que a legenda preservou a utilidade da imagem. Se falhar, a legenda perdeu informações críticas.

• Estrutura do Benchmark:

  • Domínios: O benchmark cobre 4 domínios do mundo real: Natural (imagens cotidianas), Documentos (formulários, relatórios), E-commerce (páginas de produtos) e IA Embutida (robótica, percepção espacial).
  • Taxonomia: Para cada domínio, foi criada uma taxonomia detalhada (25 categorias de alto nível e 69 subcategorias) definida por especialistas humanos, identificando quais informações são úteis para tarefas específicas (ex: atributos de produtos, estrutura de tabelas, affordances robóticas).
  • Geração de Dados: O pipeline gera automaticamente 33.027 perguntas de múltipla escolha densamente anotadas (média de 50,3 perguntas por imagem). As perguntas são filtradas para garantir que não possam ser respondidas apenas com conhecimento prévio (sem a imagem/legenda).
  • Métricas:
    • Acurácia (Acc): Fração de respostas corretas.
    • Razão "Não é possível responder" (Cannot): Fração onde o LLM textual reconhece que a legenda não tem informação suficiente.
    • Score: Uma métrica combinada que penaliza respostas erradas e recompensa parcialmente a indicação de falta de informação, incentivando precisão sobre alucinação.

3. Contribuições Principais

1. Novo Benchmark de Utilidade: Introdução do CaptionQA, que muda o foco da avaliação de "descrição detalhada" para "utilidade para tarefas downstream".
2. Protocolo Determinístico e de Baixo Custo: Uso de um LLM textual como avaliador para responder perguntas baseadas apenas na legenda, evitando a subjetividade e o custo de avaliadores humanos ou "VLMs como juízes" não determinísticos.
3. Pipeline de Código Aberto: Disponibilização de um pipeline completo para construção de benchmarks, permitindo que a comunidade estenda o CaptionQA para novos domínios definindo apenas uma nova taxonomia e coletando imagens.
4. Análise de Lacunas de Desempenho: Evidência empírica de que legendas geradas por SOTA (State-of-the-Art) perdem significativamente utilidade em comparação com a imagem original.

4. Resultados Chave

A avaliação de 24 MLLMs (incluindo modelos proprietários como GPT-5, Gemini 2.5 Pro e modelos open-source como Qwen3-VL, InternVL) revelou:

• Lacuna Significativa de Utilidade: Existe uma queda drástica de desempenho ao passar de "QA na Imagem" para "QA na Legenda".
  • Modelos proprietários de ponta sofrem uma queda de 9,2% a 16,4% na utilidade.
  • Modelos open-source sofrem quedas ainda maiores, variando de 11% a 32,4%.
  • No domínio de IA Embutida (Robótica), a lacuna pode exceder 40%, indicando que as legendas atuais perdem quase metade do sinal útil necessário para tarefas robóticas.
• Discrepância entre Benchmarks Tradicionais: Modelos que têm desempenho quase idêntico em benchmarks tradicionais de Image-QA (diferença de ~1%) podem apresentar diferenças de até 32% no CaptionQA. Isso mostra que benchmarks tradicionais não capturam a qualidade da geração de legendas para uso prático.
• Impacto do Prompt:
  • Prompts "Longos" e "Simples" geram legendas mais úteis.
  • Prompts "Taxonomy-Hinted" (que pedem para seguir a taxonomia explicitamente) muitas vezes pioram o desempenho, pois os modelos tendem a imitar o formato em vez de compreender o conteúdo, gerando alucinações ou omissões.
  • Legendas "Simples" (cerca de 350 palavras) capturam 99% dos benefícios de legendas "Longas" (500+ palavras), sugerindo retornos decrescentes com o aumento excessivo do texto.
• Desempenho por Domínio:
  • E-commerce: Menor lacuna (mais fácil preservar informações de produtos em texto).
  • IA Embutida: Maior lacuna (dificuldade em descrever relações espaciais, affordances e contexto de tarefas).

5. Significado e Impacto

O trabalho do CaptionQA é fundamental porque redefine o objetivo da geração de legendas: não se trata de descrever tudo o que está na imagem, mas de descrever o que é útil para a aplicação final.

• Para a Indústria: Oferece uma métrica prática para selecionar modelos de legendas que realmente funcionam em pipelines de recuperação, recomendação e agentes autônomos, onde a imagem original pode não estar disponível.
• Para a Pesquisa: Expõe que os modelos atuais são "cegos" para detalhes críticos quando convertidos em texto, especialmente em domínios complexos como robótica e documentos estruturados.
• Futuro: O framework aberto permite que pesquisadores testem rapidamente novas abordagens de legendas em domínios específicos, alinhando o desenvolvimento de modelos com as necessidades reais de implantação.

Em resumo, o CaptionQA demonstra que, atualmente, uma legenda não é tão útil quanto a imagem que a gerou, e que a comunidade precisa focar em melhorar a preservação de informações semanticamente relevantes para tarefas específicas, em vez de apenas aumentar o comprimento ou a riqueza descritiva das legendas.