CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

1. O Problema

O raciocínio no mundo real frequentemente exige a combinação de informações de múltiplas modalidades (texto e imagem) em um processo de "multi-hop" (múltiplos saltos), onde o contexto textual deve ser conectado a pistas visuais sequenciais. No entanto, a maioria dos benchmarks multimodais atuais falha em avaliar essa capacidade porque:

• Dependência de uma única modalidade: Muitas perguntas podem ser respondidas apenas com texto ou apenas com imagem, sem exigir a integração real entre elas.
• Falta de dados de treinamento adequados: Dados intercalados (imagem-texto) usados no treinamento raramente forçam uma correlação complementar complexa.
• Alucinações: Modelos de Visão e Linguagem (VLMs) atuais tendem a alucinar e produzir trilhas de raciocínio (Chain of Thought) que não estão fundamentadas nas evidências visuais ou textuais fornecidas.
• Viés de geração: Tentativas anteriores de gerar dados complexos usando VLMs tendem a replicar os mesmos erros de fundamentação e viés cíclico.

2. Metodologia

Os autores propõem o CRIT (Cross-modal multi-hop Reasoning over interleaved Image-Text), um novo conjunto de dados e benchmark gerado através de um pipeline automatizado baseado em grafos. A metodologia evita o uso de VLMs na geração direta de perguntas, utilizando apenas LLMs (Large Language Models) para garantir a integridade estrutural.

O pipeline opera em três etapas principais:

1. Construção de Grafos de Conteúdo Multimodal:

   • O sistema começa com imagens anotadas com grafos de cena (scene graphs) de fontes confiáveis (como GQA).
   • Várias imagens são amostradas e seus grafos são mesclados em um único grafo de conteúdo.
   • Um LLM é usado para adicionar nós de texto e relações que conectam entidades visuais de diferentes imagens, criando uma estrutura unificada onde o texto atua como uma "ponte" entre as imagens.

2. Geração de Contexto Textual:

   • Subgrafos são extraídos para gerar descrições textuais complementares (narrativas, diários, scripts) que conectam as entidades visuais.
   • O texto é gerado para ser complementar, não redundante, garantindo que certas informações só estejam disponíveis no texto e outras apenas nas imagens.

3. Geração de Pares Pergunta-Resposta (QA) e Raciocínio:

   • Subgrafos são amostrados para garantir que a resposta exija um caminho de raciocínio de múltiplos saltos (1 a 5 hops) que cruze modalidades.
   • O LLM gera a pergunta e a resposta com base no grafo, garantindo que entidades intermediárias não sejam mencionadas explicitamente na pergunta (forçando a inferência).
   • Uma trilha de raciocínio (Chain of Thought - CoT) é gerada explicitamente indicando a origem de cada evidência (imagem ou texto).
   • Um processo de filtragem rigoroso (usando múltiplos LLMs) descarta perguntas que podem ser respondidas por uma única modalidade ou que contêm alucinações.

Escalabilidade: O pipeline foi estendido para incluir quadros de vídeo (usando legendas densas para inferir grafos) e artigos científicos (tratando tabelas e figuras como nós visuais), cobrindo domínios naturais, vídeos e textos ricos.

3. Principais Contribuições

1. Framework de Geração Automatizada Baseado em Grafos: Uma nova abordagem escalável para criar dados de raciocínio multimodal complexo, evitando os vieses de geração direta de VLMs.
2. O Dataset CRIT: Um conjunto de dados com 84.199 amostras de treinamento e 1.446 amostras de teste (verificadas manualmente por humanos), abrangendo imagens naturais, frames de vídeo e artigos científicos. O conjunto de teste é um benchmark confiável para avaliação.
3. Análise de Estado da Arte e Treinamento: Demonstração de que os modelos atuais (incluindo proprietários como GPT-4o e Gemini) têm desempenho pobre em tarefas de raciocínio multi-hop cruzado.
4. Melhoria Generalizável: Evidência de que o ajuste fino (fine-tuning) em CRIT melhora significativamente o raciocínio multimodal, não apenas no CRIT, mas também em outros benchmarks padrão.

4. Resultados

• Desempenho no Benchmark CRIT: Modelos de última geração (SOTA) obtiveram desempenho baixo (ex: GPT-4o alcançou ~35% de Exact Match em imagens naturais), revelando a dificuldade extrema da tarefa.
• Impacto do Fine-Tuning: Modelos ajustados no CRIT (Qwen2.5-VL e Idefics2) superaram significativamente suas versões base e até modelos proprietários maiores em todas as métricas (EM e F1) nos domínios de imagem, vídeo e ciência.
• Transferência para Outros Benchmarks:
  • Raciocínio Cruzado: Houve ganhos substanciais em benchmarks como SPIQA (mais que dobrando o desempenho em algumas métricas), VEGA, MMQA e FCMR.
  • Benchmarks Gerais: O ajuste fino em CRIT melhorou o desempenho em benchmarks gerais (BLINK, MP-DocVQA, MMStar) sem degradar as capacidades existentes do modelo.
• Análise de Erros: A análise de 75 erros de um modelo forte (GPT-4o) revelou que 55% das falhas foram devido a erros de localização de evidência (o modelo não consegue encontrar a imagem ou o parágrafo correto), seguido por erros de percepção visual (8%). Isso indica que o gargalo atual não é a lógica, mas a capacidade de fundamentar o raciocínio nas fontes corretas.

5. Significância

O trabalho CRIT é significativo porque:

• Preenche uma Lacuna Crítica: Oferece o primeiro benchmark robusto e escalável focado especificamente no raciocínio multi-hop intercalado (imagem-texto), onde ambas as modalidades são indispensáveis.
• Valida a Abordagem Baseada em Grafos: Demonstra que a estruturação de dados via grafos é superior à geração direta por prompts para criar tarefas de raciocínio complexas e fundamentadas.
• Direciona o Futuro dos VLMs: Mostra que treinar modelos em dados sintéticos de alta qualidade e estrutura complexa (como o CRIT) é uma via eficaz para melhorar a capacidade de raciocínio e reduzir alucinações, permitindo que os modelos integrem melhor informações complementares do mundo real.
• Escalabilidade: O pipeline automatizado permite a geração de grandes volumes de dados de treinamento que seriam proibitivamente caros para coletar manualmente, acelerando o desenvolvimento de modelos multimodais mais robustos.