VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning

Resumo Técnico: VisReason

Declaração do Problema

Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram progressos significativos na compreensão visual, mas permanecem limitados em seus paradigmas de raciocínio. Diferente dos Modelos de Linguagem (LLMs) puramente textuais, que se beneficiam do prompting de Cadeia de Pensamento (Chain-of-Thought - CoT) para articular raciocínios intermediários, a maioria dos MLLMs é otimizada para o mapeamento direto de entrada-para-resposta. Essa falta de supervisão intermediária explícita leva a diversas deficiências:

1. Aprendizado de Atalho (Shortcut Learning): Os modelos frequentemente dependem de prioridades linguísticas ou estatísticas globais da cena, em vez de realizar uma inspeção visual deliberada e passo a passo.
2. Falta de Ancoragem Espacial: Os conjuntos de dados de raciocínio visual existentes são frequentemente pequenos, específicos de domínio ou carecem da supervisão estruturada de múltiplos turnos necessária para o raciocínio composicional.
3. Insuficiência de Consciência de Profundidade: A maioria dos conjuntos de dados fornece apenas anotações 2D, falhando em suportar o raciocínio sobre profundidade relativa, oclusão e relações espaciais ordinais (ex: "atrás", "na frente de").

O problema central é a ausência de conjuntos de dados em larga escala que capturem o fluxo de trabalho de raciocínio global-para-local, semelhante ao humano, necessário para consultas visuais complexas, onde um modelo deve iterativamente dar zoom em regiões salientes para verificar evidências.

Metodologia

Construção do Conjunto de Dados: VisReason e VisReason-Pro

Os autores introduzem o VisReason, um conjunto de dados de larga escala contendo 489.000 exemplos anotados em quatro domínios diversos: Compreensão de Texto/Documento, Reconhecimento de Grão Fino, VQA Geral e Raciocínio de Relação com Consciência Espacial.

O conjunto de dados é construído usando um pipeline unificado que impõe um fluxo de trabalho de raciocínio global-para-local:

• CoT Multi-Turno: Cada amostra inclui um traço de raciocínio de múltiplos turnos onde o modelo primeiro avalia a cena global, depois identifica uma Região de Interesse (RoI) via uma caixa delimitadora (bounding box) e fornece uma justificativa antes de potencialmente dar zoom para a próxima rodada.
• Zoom Dinâmico: O pipeline impõe um comportamento de "zoom e verificação". Se o objeto ou texto alvo for pequeno ou sutil, o modelo é guiado para prever uma caixa delimitadora mais justa e gerar um novo passo de raciocínio baseado na imagem recortada. Este processo continua até que a resposta seja derivada ou um limite de rodadas (tipicamente 3–4) seja atingido.
• Aumento de Profundidade: Para abordar a falta de ancoragem 3D, os autores integram pistas de pseudo-profundidade derivadas de estimativa de profundidade monocular (DepthAnythingV2) e segmentação semântica (SegmentAnythingV2). Essas pistas fornecem informações de profundidade ordinal (ex: ordenação relativa de objetos) para guiar o raciocínio espacial.

O VisReason-Pro é um subconjunto de alta fidelidade de 165.000 exemplos (principalmente do conjunto de dados GQA). Ele é curado usando modelos da série GPT-4.1 mais fortes para gerar justificativas mais ricas e anotações de profundidade mais precisas. Este subconjunto visa especificamente relações espaciais complexas e consultas de objetos pequenos.

Paradigma de Treinamento

Os autores propõem um pipeline de treinamento e inferência onde o MLLM aprende a gerar uma sequência de ações $Y = (a_0, a_1, \dots, a_T)$.

• Definição de Ação: Cada ação $a_t$ consiste em um trecho de raciocínio textual $r_t$ e uma caixa delimitadora prevista $b_{t+1}$ para a próxima região de interesse.
• Contexto Iterativo: O contexto visual para o passo $t$ é obtido recortando a imagem original $I$ usando a caixa delimitadora do passo anterior. O modelo gera autoregressivamente o próximo token com base na consulta, no histórico de ações e nas características visuais do recorte atual.
• Supervisão: Os modelos são ajustados via Fine-Tuning Supervisionado (SFT) com um objetivo padrão de log-verossimilhança negativa, maximizando a verossimilhança da sequência de raciocínio de verdade fundamental (incluindo tanto o texto quanto as coordenadas de caixa serializadas).

Principais Contribuições

1. Dataset VisReason: O lançamento de um conjunto de dados de larga escala (489K) apresentando justificativas de múltiplos turnos ancoradas em RoI que supervisionam explicitamente o processo de raciocínio visual, em vez de apenas a resposta final.
2. VisReason-Pro: Um subconjunto de alta qualidade e aumentado por profundidade (165K) que fornece traços de raciocínio detalhados e supervisão de profundidade ordinal, permitindo que os modelos raciocinem sobre relações espaciais e oclusão.
3. Suíte de Avaliação: Um benchmark abrangente projetado para avaliar o raciocínio passo a passo, a precisão de localização de RoI e as capacidades de raciocínio espacial aumentadas por profundidade.
4. Pipeline Unificado: Uma demonstração de que o ajuste fino de backbones de MLLM fortes (ex: Qwen2.5-VL, InternVL) nestes dados produz melhorias substanciais no reconhecimento de grão fino, raciocínio espacial e interpretabilidade.

Resultados Experimentais

Os autores avaliaram seus modelos (VisReason-7B e VisReason-Pro-7B, baseados em Qwen2.5-VL-7B) contra MLLMs de última geração no benchmark Visual-CoT e outras suítes padrão.

• Ganhos de Desempenho: O VisReason-Pro-7B alcançou a pontuação média mais alta (0.802) entre os MLLMs de código aberto, superando baselines como LLaVA-NeXT-8B e InternVL-2.5-8B.
• Melhorias Específicas de Domínio: Os ganhos mais significativos foram observados em Reconhecimento de Grão Fino (ex: Birds-200-2011: 0.681 $\to$ 0.831) e Raciocínio de Relação Espacial (ex: OpenImages: 0.498 $\to$ 0.805), confirmando a eficácia da supervisão ancorada em RoI.
• Localização de RoI: No subconjunto de teste do VisReason-Pro, o modelo alcançou pontuações de Interseção sobre União (IoU) superiores (0.34 em IoU@0.5) comparado aos baselines, demonstrando uma capacidade aprimorada de localizar evidências visuais relevantes.
• Raciocínio de Profundidade: O modelo mostrou uma melhoria significativa em "Grounded Ratio" (0.276 vs. <0.04 para baselines) e redução no erro de profundidade, validando a utilidade das pistas de profundidade ordinal.
• Avaliação Humana: Em um estudo cego com 30 avaliadores, os modelos VisReason pontuaram mais alto em Fidelidade Ancorada (4.46/5) e Clareza Passo a Passo (4.37/5), indicando cadeias de raciocínio mais confiáveis e coerentes.
• Sensibilidade de Formato: Os autores observaram que, embora o CoT multi-turno seja excelente em tarefas espaciais e de grão fino, o desempenho em benchmarks de resposta curta padrão (como o MME) pode cair se o protocolo de avaliação não corresponder ao formato verboso do CoT. No entanto, mudar para um prompt de QA direta recuperou amplamente o desempenho, sugerindo que a capacidade está presente, mas o formato de inferência importa.

Significância e Alegações

O artigo afirma que o VisReason aborda o desalinhamento fundamental entre os atuais paradigmas de treinamento de MLLM e a cognição visual humana. Ao fornecer supervisão de nível de processo em larga escala que imita o fluxo de trabalho humano de "zoom e verificação", o conjunto de dados permite que os MLLMs:

• Vão além do aprendizado de atalho e das prioridades linguísticas.
• Realizem raciocínio visual sistemático e verificável, ancorado em pistas localizadas.
• Lidem com relações espaciais complexas e reconhecimento de objetos pequenos que são difíceis de resolver a partir de uma única visão global.

Os autores posicionam o VisReason como uma pedra angular para cultivar o raciocínio visual semelhante ao humano, pavimentando o caminho para a próxima geração de inteligência multimodal que pode raciocinar através de imagens com o mesmo rigor iterativo do raciocínio baseado em texto. Eles reconhecem limitações, como a dependência de pseudo-profundidade (não 3D métrico) e o risco de erros de localização em cascata caso uma RoI inicial seja desalinhada, observando que trabalhos futuros poderiam explorar mecanismos de rollback de autocorreção.