DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

Título: DiG: Grounding Diferencial para Aprimorar a Percepção de Alta Granularidade em Modelos de Linguagem Multimodal Grandes (MLLMs)

1. O Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) atuais alcançaram desempenho impressionante em tarefas de visão e linguagem, como legendagem de imagens e resposta a perguntas visuais (VQA). No entanto, eles ainda apresentam limitações significativas em duas áreas críticas:

• Percepção Visual de Alta Granularidade: Os modelos frequentemente falham ao detectar mudanças sutis, como variações de cor, pequenos objetos ausentes ou alterações de atributos.
• Raciocínio Espacial Preciso: Eles têm dificuldade em associar semântica global a detalhes espaciais finos.

As abordagens existentes, como o fine-tuning em tarefas de grounding tradicionais (ex: RefCOCO), exigem anotação manual custosa e limitam a escalabilidade. Outras tarefas proxy (como quebra-cabeças visuais) não são explicitamente projetadas para fortalecer a percepção de detalhes sutis. Além disso, o treinamento por Reforço (RL) direto para essas tarefas enfrenta o problema da esparsidade de recompensas: no início do treinamento, o modelo raramente localiza diferenças corretamente, fazendo com que a recompensa caia para zero e impedindo a otimização estável.

2. Metodologia

Os autores propõem o DiG (Differential Grounding), um novo framework de tarefa proxy que treina MLLMs a identificar e localizar todas as diferenças visuais entre pares de imagens semelhantes, sem conhecimento prévio do número de diferenças.

A metodologia é composta por quatro pilares principais:

A. Tarefa de Grounding Diferencial

Dado um par de imagens ($I_a$ e $I_b$), onde $I_b$ contém modificações sutis em relação a $I_a$ (adições, remoções ou mudanças de atributos), o modelo deve gerar uma lista de caixas delimitadoras (bounding boxes) que localizem todas as discrepâncias na imagem de referência ($I_a$). O modelo não recebe o número exato de diferenças, exigindo um raciocínio perceptivo aberto.

B. Pipeline de Geração de Dados Automatizado (3D)

Para superar a falta de dados anotados em larga escala, os autores desenvolveram um pipeline baseado em renderização 3D (Blender):

• Gera cenas 3D procedurais com objetos e atributos controlados (forma, cor, tamanho, material).
• Aplica modificações estocásticas para criar a imagem "após" ($I_b$).
• Vantagem Crítica: Como as modificações são definidas programaticamente no espaço 3D, as anotações de ground-truth (caixas delimitadoras) são extraídas automaticamente e com precisão perfeita, eliminando a necessidade de anotação manual.

C. Otimização por Reforço (RL) com GRPO

O modelo é otimizado usando o algoritmo Group Relative Policy Optimization (GRPO). A função de recompensa é composta por três componentes:

1. Recompensa de Formato ($r_{format}$): Garante que a saída seja uma lista válida de coordenadas JSON.
2. Recompensa de Precisão ($r_{acc}$): Combina duas métricas:
   • F1-score (Detecção): Mede a completude na identificação de todas as diferenças.
   • IoU (Localização): Mede a precisão espacial das caixas delimitadoras.
3. Objetivo Final: Uma combinação ponderada que prioriza a detecção correta e a localização precisa.

D. Aprendizado de Currículo (Curriculum Learning)

Para resolver o problema da esparsidade de recompensas no início do treinamento, os autores implementam uma estratégia de currículo progressivo:

1. Fase 1: Treinamento apenas com pares de imagens contendo uma única diferença. Isso fornece sinais de recompensa densos e fáceis de interpretar.
2. Fase 2: Introdução de pares com duas diferenças.
3. Fase 3: Treinamento em um conjunto misto com até quatro diferenças, sem informar ao modelo o número de discrepâncias.
   Essa abordagem permite que o modelo construa habilidades de raciocínio espacial de forma estável, evitando o colapso do gradiente.

3. Principais Contribuições

1. Framework DiG: Introdução de uma nova tarefa proxy que força os MLLMs a desenvolverem sensibilidade perceptiva de alta granularidade através da comparação diferencial.
2. Pipeline de Dados Escalável: Criação de um gerador de dados baseado em 3D que produz pares de imagens com anotações perfeitas e controláveis, permitindo treinamento em larga escala.
3. Estratégia de Currículo: Desenvolvimento de uma estratégia de treinamento que mitiga a esparsidade de recompensas, permitindo a convergência estável em tarefas de localização de diferenças complexas.
4. Transferência Efetiva: Demonstração de que as habilidades aprendidas no DiG transferem-se robustamente para tarefas downstream padrão.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos base Qwen3-VL (4B e 8B) e avaliados em diversos benchmarks:

• Benchmarks de Percepção Visual: O DiG trouxe melhorias consistentes em benchmarks como HalBench (redução de alucinações), HRBench-8K, POPE e VSR. O modelo de 8B, por exemplo, teve um aumento de +3.4 pontos no HalBench.
• Benchmarks de Grounding (RefCOCO, RefCOCO+, RefCOCOg): Houve ganhos significativos na precisão de localização, com melhorias de 2 a 3 pontos em média, demonstrando uma melhor alinhamento entre expressões de referência e regiões visuais.
• Benchmarks Gerais Multimodais: O desempenho melhorou em tarefas de raciocínio geral (MMBench, MMStar, ScienceQA), indicando que a percepção aprimorada beneficia o raciocínio de alto nível.
• Análise de Caso: Visualizações mostram que o modelo evolui de previsões grosseiras para localizações precisas e consistentes ao longo do treinamento, conseguindo detectar mudanças sutis de cor, forma e objetos ausentes que modelos base ignoram.

5. Significado e Impacto

O trabalho DiG oferece um paradigma escalável e robusto para superar a lacuna entre o alinhamento semântico de alto nível e a percepção visual de baixo nível nos MLLMs.

• Escalabilidade: A geração automática de dados via 3D remove o gargalo da anotação manual, permitindo o treinamento de modelos em grandes volumes de dados sintéticos de alta qualidade.
• Eficiência do RL: A combinação de RL com aprendizado de currículo prova ser uma solução eficaz para treinar modelos em tarefas onde os sinais de recompensa são inicialmente raros.
• Futuro: O estudo sugere que o "Grounding Diferencial" pode ser uma via fundamental para desenvolver inteligência multimodal mais alinhada com a percepção humana, capaz de analisar nuances e detalhes críticos em cenas complexas.

Em resumo, o DiG não apenas melhora a capacidade dos modelos de "ver" detalhes, mas também estabelece uma metodologia robusta para treinar essa habilidade de forma escalável, resultando em modelos mais precisos, menos alucinados e com melhor raciocínio espacial.