VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

1. O Problema

O avanço dos Modelos de Linguagem Visuais Grandes (LVLMs) tem focado principalmente na compreensão de imagens em nível global. No entanto, para tarefas complexas como direção autônoma, robótica e análise médica, é necessária uma raciocínio baseado em regiões locais precisas.

Os desafios identificados pelos autores são:

• Falta de Alinhamento Visual: Os conjuntos de dados existentes de Chain-of-Thought (CoT) multimodal geralmente não vinculam explicitamente cada passo do raciocínio a evidências visuais específicas (coordenadas espaciais) na imagem. Isso impede a verificação de se o modelo está "pensando" com base na imagem real ou apenas gerando texto plausível (alucinação).
• Limitações de Escalabilidade: Conjuntos de dados que incluem informações de regiões locais dependem quase exclusivamente de anotação manual intensiva, o que limita a diversidade, a escala e a viabilidade de custo.
• Avaliação Insuficiente: As métricas atuais avaliam apenas a precisão da resposta final, ignorando a qualidade do raciocínio intermediário, a utilização de evidências visuais e a consistência entre o raciocínio e a resposta.

2. Metodologia: VG-CoT e Pipeline Automatizado

Para resolver esses problemas, os autores propõem o VG-CoT (Visual Grounded Chain-of-Thought), um conjunto de dados e um pipeline totalmente automatizado de três estágios para sua construção:

• Estágio 1: Extração de Evidências Visuais Multi-granularidade

  • Utiliza modelos de detecção de objetos de última geração (YOLO) para extrair caixas delimitadoras de objetos.
  • Utiliza OCR (PaddleOCR) para extrair localização e conteúdo de texto dentro da imagem.
  • Para o conjunto de dados GQA, aproveita o grafo de cena fornecido como evidência suplementar.

• Estágio 2: Geração de CoT Fundamentado Visualmente

  • O modelo GPT-4o recebe a imagem original, a pergunta, a resposta correta e as evidências visuais extraídas no Estágio 1.
  • O prompt instrui o modelo a gerar um raciocínio passo a passo que obrigatoriamente cite as coordenadas espaciais (evidências visuais) para cada dedução lógica. O modelo deve também explicar por que certas opções são incorretas, comparando-as com as evidências visuais.

• Estágio 3: Refinamento de Grounding Orientado por Racional

  • Para capturar objetos sutis ou dependentes de contexto mencionados no raciocínio gerado, o pipeline extrai substantivos-chave do texto.
  • Esses substantivos são usados como consultas para um detector de open-set (Grounding DINO), que localiza com precisão os objetos específicos mencionados no raciocínio.
  • As evidências refinadas são então vinculadas explicitamente a cada passo do raciocínio.

Construção do Conjunto de Dados:
O VG-CoT foi construído a partir de três tarefas distintas para cobrir diferentes habilidades de raciocínio:

1. VQA de Texto (Scene-text): Focado em compreensão de texto (baseado em TextVQA).
2. VQA Geral: Focado em reconhecimento de objetos (baseado em Visual7W).
3. VQA de Relação: Focado em relações complexas entre objetos (baseado em GQA).
   O conjunto final contém 13.826 amostras de alta qualidade, com um total de mais de 51.000 caixas de objetos e 4.700 caixas de OCR.

3. Novo Benchmark de Avaliação

Os autores propõem um novo benchmark que vai além da simples precisão da resposta, avaliando três dimensões complementares:

1. Qualidade do Racional (RQ): Avalia a qualidade do processo de raciocínio (Coerência, Completude e Utilização de Evidências Visuais) usando o GPT-4o como avaliador automatizado (escala 1-5).
2. Precisão da Resposta (AA): Verifica se a resposta final corresponde à verdade fundamental (ground truth).
3. Alinhamento Raciocínio-Resposta (RAA): Mede a correlação entre a qualidade do raciocínio e a correção da resposta. Inclui métricas como Consistency Score (se o raciocínio bom leva a respostas boas e ruim a ruins) e Faithful Score (confiabilidade das respostas corretas baseadas em raciocínio excelente).

4. Resultados Experimentais

Os experimentos foram realizados em quatro LVLMs representativos: LLaVA-1.5 (7B e 13B), Qwen2-VL-7B e Qwen2.5-VL-7B. Os modelos foram ajustados (fine-tuned) usando o VG-CoT.

• Melhoria Geral: O ajuste fino com VG-CoT resultou em melhorias consistentes na maioria das métricas. Por exemplo, no LLaVA-1.5-7B, a Qualidade do Racional (RQ) subiu de 72,2 para 83,4, e a Precisão da Resposta (AA) de 48,7 para 62,5.
• Desempenho por Tarefa: O dataset demonstrou eficácia em tarefas gerais, de relação e baseadas em texto. O LLaVA-1.5-7B teve um ganho de mais de 10 pontos na precisão da resposta em tarefas de VQA Geral e de Relação.
• Desafios de Grounding: Embora a geração de texto lógico tenha melhorado significativamente, a precisão espacial (localização exata das caixas delimitadoras) permaneceu um gargalo. A métrica de Visual Evidence foi consistentemente mais baixa que outras, e a precisão de detecção (mAP) caiu drasticamente para textos pequenos e densos, indicando que localizar evidências visuais com precisão extrema ainda é um desafio para os modelos.
• Alinhamento: A maioria dos modelos mostrou melhoria no Consistency Score, indicando que o raciocínio gerado tornou-se mais fiel à resposta final.

5. Contribuições Chave

1. Dataset VG-CoT: Um conjunto de dados escalável e de baixo custo que alinha explicitamente cada passo do raciocínio com evidências visuais reais (coordenadas) através de um pipeline automatizado.
2. Novo Benchmark: Uma metodologia de avaliação abrangente que mede não apenas a resposta correta, mas a qualidade do racional e o alinhamento entre raciocínio e resposta, permitindo uma análise de "confiabilidade".
3. Insights de Pesquisa: Demonstração de que o raciocínio fundamentado visualmente melhora a capacidade dos LVLMs, mas também a identificação de que a precisão espacial fina (especialmente para texto pequeno) continua sendo uma barreira técnica significativa.

6. Significado e Impacto

O trabalho é fundamental para o desenvolvimento de LVLMs confiáveis. Ao forçar os modelos a ancorar seu raciocínio em evidências visuais verificáveis, o VG-CoT ajuda a mitigar alucinações e a construir sistemas de IA que podem explicar por que chegaram a uma conclusão com base no que realmente veem na imagem. Isso é crucial para aplicações de alto risco onde a transparência e a precisão local são obrigatórias. O conjunto de dados e o código serão disponibilizados publicamente para fomentar pesquisas futuras.