Resumo Técnico: DRScaffold

Declaração do Problema

Modelos Visão-Linguagem (VLMs) leves alcançaram desempenho competitivo em benchmarks padrão, mas exibem falhas sistemáticas no raciocínio em cenas densas. Nessas situações, múltiplos objetos, atributos e relações estão fortemente acoplados, exigindo inferência multi-etapa sobre dependências visuais. Modelos leves atuais frequentemente sofrem com má interpretação de relações, ligação incorreta de atributos e dependências alucinadas nesses ambientes abarrotados.

A questão central reside na incompatibilidade entre o processo de raciocínio multi-etapa exigido para cenas densas e os sinais de treinamento existentes. Os métodos atuais dependem de supervisão baseada em resultado (treinamento apenas nas respostas finais) ou de supervisão plana de Cadeia de Pensamento (CoT) (destilando o raciocínio como uma sequência de tokens não estruturada). Nenhuma dessas abordagens impõe alinhamento entre os passos de raciocínio e a evidência visual subjacente. Consequentemente, modelos leves minimizam a perda de treinamento ao imitar padrões linguísticos fluentes sem verificar a qual entidade visual cada passo se refere, levando a um raciocínio que soa plausível, mas é factualmente desprovido de fundamentação.

Metodologia

O artigo propõe o DRScaffold, um framework de ajuste fino supervisionado projetado para aprimorar o raciocínio em cenas densas sem modificar a arquitetura do modelo. A metodologia consiste em dois componentes principais: um novo benchmark para supervisão estruturada e um framework de treinamento em etapas.

1. DRBench: Um Benchmark de Raciocínio em Cenas Densas

Para abordar a falta de dados de supervisão estruturada, os autores introduzem o DRBench, compreendendo 14.573 perguntas em 2.943 imagens.

• Fontes de Dados: As imagens são extraídas do Hypersim (cenas internas sintéticas fotorrealistas) e do Cityscapes (cenas urbanas de condução dinâmica ao ar livre) para garantir diversidade em layouts espaciais e desafios de raciocínio.
• Taxonomia: As perguntas são organizadas em cinco categorias que abrangem três camadas progressivas de raciocínio:
  1. Fundamentação Estrutural: Percepção (expressões de referência multi-salto) e Raciocínio Espacial.
  2. Aplicação Contextual: Raciocínio de Afordância (uso de objetos) e Detecção de Anomalias.
  3. Rigor Lógico: Rejeição de Premissas Falsas, onde os modelos devem identificar e rejeitar consultas que contêm referentes visualmente ausentes embutidos em consultas de atributo ou relação.
• Anotações Estruturadas: Diferentemente dos benchmarks padrão, o DRBench fornece anotações intermediárias para cada amostra, incluindo entidades-chave, um grafo de cena (triplos objeto-relação) e uma cadeia de raciocínio em etapas (Percepção, Relação, Lógica, Conclusão).
• Controle de Qualidade: Um pipeline multi-etapa envolvendo verificação cega de texto (para filtrar respostas baseadas apenas em linguagem), filtragem de correspondência de cena e verificações de consistência usando grandes modelos (Qwen-VL-Max, DeepSeek) e verificação humana garante que as anotações sejam factualmente fundamentadas.

2. Framework de Treinamento DRScaffold

O DRScaffold decompõe o alvo de supervisão em um pipeline restrito por esquema com quatro etapas causalmente ordenadas:

1. Fundamentação de Entidades: Detecção e localização de objetos relevantes.
2. Modelagem de Relações: Resolução de dependências espaciais ou lógicas (Grafo de Cena).
3. Raciocínio Passo a Passo: Realização de inferência multi-etapa baseada nas relações estruturadas.
4. Geração de Resposta: Produção da resposta final.

Objetivo de Treinamento:
O framework emprega mascaramento de gradiente em etapas para impor uma abordagem de aprendizado curricular. O treinamento prossegue em quatro fases:

• Fase 1: A supervisão é aplicada apenas ao campo de Fundamentação de Entidades ($F_1$); campos subsequentes são mascarados.
• Fase 2: A supervisão expande-se para incluir Modelagem de Relações ($F_1, F_2$).
• Fase 3: A supervisão inclui Raciocínio Passo a Passo ($F_1, F_2, F_3$).
• Fase 4: Supervisão completa ($F_1$ a $F_4$) é aplicada.
• Anti-esquecimento: Na Fase 4, amostras do DRBench são misturadas na proporção 1:1 com 15.000 amostras do LLaVA-Instruct-150K para prevenir o esquecimento catastrófico de capacidades gerais.

A distribuição conjunta de saída fatora-se de modo que a distribuição de tokens de resposta seja explicitamente condicionada às entidades fundamentadas anteriormente e às relações verificadas:
$$p_\theta(y | x) = \prod_{k=1}^{4} p_\theta(F_k | F_1, \dots, F_{k-1}, x)$$

Resultados Principais

Os experimentos foram conduzidos em três VLMs leves (escala de 2B–6B): InternVL2.5-2B, Qwen2.5-VL-3B e Phi4-multimodal.

• Desempenho no DRBench: O DRScaffold produz ganhos substanciais em todos os modelos.
  • O Qwen2.5-VL-3B treinado com DRScaffold alcança 62,6% de precisão no DRBench, superando o Qwen2.5-VL-32B congelado (44,7%).
  • O InternVL2.5-2B melhora de 32,5% para 66,6%.
  • O Phi4-multimodal melhora de 45,8% para 50,7%, alcançando a pontuação média mais alta entre todos os modelos testados.
• Preservação de Benchmarks Gerais: Diferentemente dos métodos de base (Apenas Resposta, CoT, LLaVA-CoT), que degradam o desempenho em benchmarks de propósito geral (MMMU, MMStar, RealWorldQA), o DRScaffold preserva ou melhora ligeiramente o desempenho nessas tarefas, enquanto impulsiona significativamente o raciocínio em cenas densas.
• Robustez a Alucinações: Modelos treinados com DRScaffold mostram desempenho aprimorado no HallusionBench e na categoria de Rejeição de Premissas Falsas do DRBench, demonstrando que a fundamentação causal reduz efetivamente dependências alucinadas.
• Estudos de Ablação: Remover qualquer etapa de treinamento ou reordená-las (por exemplo, treinar raciocínio antes da fundamentação) degrada consistentemente o desempenho, confirmando que a ordem causal (Fundamentação $\to$ Relações $\to$ Raciocínio $\to$ Resposta) é um viés indutivo necessário.

Significado e Alegações

O artigo alega que a supervisão estruturada pode substituir uma parte significativa da escala do modelo no raciocínio em cenas densas. Ao modelar explicitamente as dependências causais entre evidência visual e passos de raciocínio, o DRScaffold permite que modelos leves superem contrapartes muito maiores e congeladas em ambientes complexos.

Os autores enfatizam que sua abordagem aborda uma lacuna fundamental no treinamento atual de VLMs: a falta de fundamentação explícita entre passos de raciocínio e entidades visuais. Ao impor um processo de aprendizado estruturado e em etapas, o DRScaffold impede que os modelos gerem cadeias de raciocínio fluentes, mas desancoradas, oferecendo uma solução prática para implantar VLMs confiáveis em aplicações do mundo real com recursos limitados, como robótica doméstica e condução autônoma.

O trabalho conclui que, embora modelos de grande escala possuam fortes capacidades de raciocínio, modelos leves podem alcançar desempenho comparável ou superior em domínios específicos de cenas densas através de supervisão estruturada, em vez de escalonamento puro de parâmetros.