Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Resumo Técnico: Chain-of-Caption: Melhoria Sem Treinamento de Modelos de Linguagem de Grande Escala Multimodais em Compreensão de Expressão de Referência

Definição do Problema
A Compreensão de Expressão de Referência (REC - Referring Expression Comprehension) é um desafio de longa data no aprendizado de visão e linguagem, exigindo que um modelo localize um objeto específico dentro de uma imagem com base em uma descrição textual. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham alcançado alta precisão (>80% de Interseção sobre União (IoU) de 0,5) em benchmarks como o RefCOCO, eles enfrentam dificuldades em limiares de IoU mais altos (>0,7). Os modelos existentes frequentemente falham quando o objeto alvo está no plano de fundo, parcialmente ocluído ou quando existem múltiplas instâncias da mesma classe. Além disso, as abordagens atuais misturam várias ferramentas de fornecimento de contexto sem isolar a contribuição específica de cada componente, deixando incerto a origem dos ganhos de desempenho.

Metodologia
Os autores propõem o Chain-of-Caption, um framework livre de treinamento projetado para aumentar o desempenho de REC de MLLMs generalistas, aproveitando suas capacidades multitarefa (geração de descrição fundamentada, Visual Question Answering (VQA) e legendagem de imagens) para refinar iterativamente as previsões. A metodologia opera através das seguintes etapas:

1. Aumento de Contexto: O framework introduz contextos textuais e visuais.

   • Contexto Textual (Descrição Fundamentada): O MLLM é instruído a detectar um número específico de objetos na imagem, gerando uma lista numerada contendo descrições de objetos e suas respectivas coordenadas de caixa delimitadora (bounding box). Esta "descrição fundamentada" serve como uma ponte entre a consulta textual e a cena visual.
   • Contexto Visual: O framework utiliza o recorte da imagem (cropping) ao redor de uma região inicialmente prevista para focar a atenção do modelo e visualiza as caixas delimitadoras para fornecer orientação espacial.

2. Refinamento Iterativo (Chain-of-Caption):

   • Inicialização: O modelo gera uma descrição fundamentada inicial ($g$) e uma previsão de caixa delimitadora inicial ($b$) para o texto alvo ($t$).
   • Loop de Verificação: O modelo emprega sua capacidade de VQA para verificar se a região recortada definida por $b$ corresponde à descrição alvo, retornando uma resposta binária "sim" ou "não".
   • Correção: Se a resposta for "não", o modelo gera uma legenda ($c$) para a região recortada que falhou. Esta legenda, juntamente com a caixa delimitadora anterior, é anexada à descrição fundamentada para atualizar o contexto.
   • Repredição: O modelo utiliza este contexto enriquecido para gerar uma nova previsão de caixa delimitadora ($b_{CoC}$). Este processo se repete até que a verificação retorne "sim" ou que um número máximo de tentativas seja atingido.

Principais Contribuições

• Análise de Ferramentas de Contexto: O artigo avalia sistematicamente os efeitos individuais dos contextos textuais (descrições de objetos vs. descrições fundamentadas) e visuais (recorte vs. desenho de caixas delimitadoras) no desempenho de REC.
• Framework Livre de Treinamento: O Chain-of-Caption melhora o desempenho do MLLM sem qualquer ajuste fino (fine-tuning), baseando-se exclusivamente em engenharia de prompt e nas habilidades multitarefa inerentes do modelo.
• Fundamentação Iterativa: O framework combina de forma única descrições fundamentadas com um loop de autocorreção usando VQA e legendagem para lidar com tarefas de localização ambíguas ou difíceis.

Resultados Experimentais
Experimentos foram conduzidos nos datasets RefCOCO, RefCOCO+, RefCOCOg e no mais desafiador Ref-L4, utilizando os modelos NVILA-8B, NVILA-15B e Qwen2.5-7B.

• Impacto do Contexto: O estudo descobriu que, embora descrições simples de objetos tivessem impacto mínimo, as descrições fundamentadas melhoraram significativamente a precisão em limiares de IoU elevados (0,7 e 0,9), embora tenham reduzido ligeiramente o desempenho em 0,5 IoU. O recorte (cropping) melhorou a precisão de alto limiar, mas degradou o desempenho de baixo limiar.
• Ganhos de Desempenho: O Chain-of-Caption demonstrou melhorias substanciais em relação aos modelos de base. No modelo NVILA-8B, alcançou um ganho de desempenho de 5% a 30% em vários limiares de IoU. Especificamente, no Ref-L4, o método melhorou o Acc0.7 de 30,28% para 56,63% (+26,35%) e o Acc0.9 de 2,82% para 25,16% (+22,34%).
• Escalabilidade do Modelo: O framework provou ser eficaz em diferentes tamanhos de modelos. Notavelmente, embora o NVILA-15B tenha tido um desempenho inferior ao NVILA-8B em sua forma base, o Chain-of-Caption permitiu que o NVILA-15B superasse o modelo menor, sugerindo capacidades superiores de aprendizado em contexto (in-context learning) em modelos maiores.
• Limitações: O método depende da capacidade do modelo de seguir consistentemente instruções de formatação (ex: saída JSON para caixas delimitadoras). Os autores observaram que o Qwen2.5-7B teve dificuldades com a consistência da formatação de saída em sua forma base, exigindo estratégias de prompting específicas para garantir a confiabilidade.

Significância
O artigo afirma que o Chain-of-Caption melhora substancialmente a precisão da detecção de caixas delimitadoras, particularmente em limiares de IoU mais altos (>0,7), resultando em caixas delimitadoras melhor alinhadas. Ao isolar os efeitos de diferentes tipos de contexto, os autores demonstram que fundamentar conceitos textuais com coordenadas de caixas delimitadoras é o mecanismo mais eficaz para melhorar o REC. O trabalho destaca que os MLLMs existentes possuem a capacidade latente de refinar suas próprias previsões através de geração de contexto iterativa e verificação, oferecendo um caminho para localização de alta precisão sem o custo computacional do retreinamento.