Resumo Técnico: SITUATE - Conjunto de Dados de Contagem de Objetos Sintéticos para Treinamento de VLM

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) alcançaram um sucesso significativo em legendagem de imagens e perguntas visuais, mas continuam a enfrentar dificuldades com o raciocínio quantitativo preciso, especificamente na contagem de objetos e na compreensão de relações espaciais. Os modelos atuais frequentemente falham em traduzir o reconhecimento visual em números precisos, particularmente quando as contagens excedem cinco ou quando os objetos estão ocluídos. Os conjuntos de dados existentes apresentam uma dicotomia: benchmarks 2D simples como o CountBench permitem que os modelos aprendam padrões visuais em vez de uma contagem real (por exemplo, reconhecer um padrão específico para o número nove), enquanto conjuntos de dados do mundo real como TallyQA e Pixmo count sofrem com ambiguidade, oclusão intensa e falta de controle sobre a composição espacial. Além disso, os modelos treinados nesses conjuntos de dados frequentemente exibem vieses, falhando em generalizar quando as contagens de objetos divergem das distribuições de treinamento ou quando atributos específicos (como a cor) são consultados. Não há atualmente uma abordagem unificada que aborde a contagem e a compreensão espacial simultaneamente em um ambiente controlado, porém desafiador.

Metodologia

Construção do Conjunto de Dados (SITUATE)

Os autores introduzem o SITUATE, um novo conjunto de dados sintético projetado para preencher a lacuna entre gráficos 2D artificiais e fotos não controladas do mundo real.

• Pipeline de Geração: O conjunto de dados foi gerado usando o Blender e o BlenderProc, aproveitando uma API Python para geração procedural.
• Composição da Cena: As cenas consistem em uma mesa em uma sala com fundos e texturas de piso variados. Objetos (cubos, esferas, cones, cilindros) são colocados sobre, sob, à frente de, ou à esquerda/direita da mesa.
• Complexidade Controlada: Para garantir a clareza do entendimento visual mantendo o desafio, a extensão horizontal da mesa é dividida em compartimentos (bins) para evitar a sobreposição de objetos e oclusão excessiva.
• Controle de Qualidade: Um processo de validação garante contraste suficiente entre os objetos e os fundos usando a métrica de diferença de cor $\Delta E$ no espaço de cores Lab. Imagens com $\Delta E < 12,5$ são renderizadas novamente.
• Escala de Dados: O conjunto de dados contém 23.252 tripletos imagem-pergunta-resposta (derivados de 6.875 imagens únicas renderizadas a partir de 5 perspectivas de câmera). Foca em contagens de objetos variando de 0 a 15, com ênfase específica na faixa de 5 a 15.
• Tipos de Pergunta: Seis tipos de perguntas são gerados por imagem: cor, forma, localização, objeto, composto e adversarial (perguntando sobre objetos inexistentes).
• Verdade Fundamental (Ground Truth): Três formatos de verdade fundamental são fornecidos: numérico, curto e detalhado (verbose, passo a passo).

Configuração Experimental

Para avaliar a eficácia do conjunto de dados, os autores realizaram o ajuste fino (fine-tuning) do modelo Qwen 2.5 VL 7B usando LoRA (Low-Rank Adaptation) com o framework UnSloth.

• Variantes de Treinamento: Quatro variantes foram criadas:
  1. Detalhada (Verbose): Treinada no SITUATE com verdades fundamentais detalhadas.
  2. Não detalhada (Non-verbose): Treinada no SITUATE com verdades fundamentais curtas.
  3. Pixmo: Treinada em um subconjunto do dataset Pixmo count (pareado para distribuição de verdade fundamental).
  4. Mista (Mixed): Uma combinação de SITUATE (detalhada) e Pixmo.
• Parâmetros de Treinamento: Os modelos foram treinados por uma época em 23.252 itens com um tamanho de lote (batch size) de 4, usando o otimizador AdamW 8-bit, uma taxa de aprendizado de 1e-4 e um warmup de 300 passos.
• Avaliação: Os modelos foram testados nos dados retidos do SITUATE, Pixmo count, CountBench e um subconjunto filtrado do TallyQA (focando em contagens de 5 a 15).

Resultados Principais

Desempenho no SITUATE

• Linha de Base (Baseline): O Qwen 2.5 VL 7B não treinado alcançou 36,3% de acurácia no conjunto de teste do SITUATE.
• Impacto do Ajuste Fino:
  • SITUATE Detalhado (Verbose): Melhorou a acurácia para 50,3%.
  • Misto (SITUATE + Pixmo): Alcançou a maior acurácia de 52,7%.
  • Não detalhado & Apenas Pixmo: Ambas as variantes resultaram em menor acurácia no SITUATE (29,5% e 27,3%, respectivamente) em comparação com a linha de base, sugerindo que o treinamento apenas em dados do mundo real ou em dados sintéticos não detalhados não se transfere bem para as restrições espaciais específicas do SITUATE.

Generalização e Desempenho entre Datasets

• Pixmo Count: A variante Mista alcançou 60,0% de acurácia, uma melhoria significativa sobre a linha de base (51,8%) e as variantes treinadas apenas no SITUATE. Isso indica que o treinamento no SITUATE ajuda a generalizar para dados do mundo real.
• CountBench: A linha de base teve um bom desempenho (81,9%). A variante Mista manteve esse desempenho (81,9%), enquanto a variante Pixmo o melhorou ligeiramente para 85,1%.
• TallyQA: Todos os modelos tiveram dificuldades devido à ambiguidade e oclusão inerentes ao dataset. A variante Mista alcançou 27,5%, uma ligeira melhoria sobre a linha de base (25,5%).
• Comparação com Outros Modelos:
  • Molmo 7B-D: Teve um desempenho excepcional no Pixmo (87,1%) e CountBench (92,7%), mas foi superado pelo Qwen 3 VL 32B no SITUATE (79,2% vs. 47,4% para o Molmo).
  • Qwen 3 VL 32B: Mostrou as melhores capacidades de generalização em todos os benchmarks, particularmente no SITUATE, embora não tenha sido ajustado finamente nos datasets específicos usados neste estudo.

Observações Qualitativas

• Detalhado vs. Não Detalhado: O estilo de treinamento detalhado melhorou o desempenho para contagens de 5 ou mais, mas levou a alucinações para números menores (ex: inventar objetos para somar até atingir o alvo).
• A Anomalia do "Seis": A linha de base mostrou uma queda distinta de acurácia para o número seis (19%) em comparação com cinco (39%) e sete (35%). O conjunto de dados Misto mitigou isso com sucesso, elevando a acurácia para seis para 61%.
• Perguntas Adversariais: O modelo não detalhado sofreu overfitting em perguntas adversariais, frequentemente alegando que zero objetos estavam presentes, enquanto a linha de base lidou corretamente com elas.

Significância e Alegações

O artigo afirma que o SITUATE preenche uma lacuna crítica no treinamento de VLMs ao fornecer um ambiente controlado que impõe o raciocínio espacial e a contagem precisa sem a ambiguidade das fotos do mundo real.

• Generalização: O principal achado é que o ajuste fino no SITUATE (especificamente a variante Mista) melhora a capacidade de um modelo de generalizar para dados fora da distribuição do mundo real (Pixmo count), enquanto o ajuste fino apenas no Pixmo não melhora o desempenho no SITUATE.
• Mecanismo de Aprendizado: O estudo sugere que os VLMs podem aprender a contar de forma mais eficaz quando treinados em dados que separam explicitamente a colocação de objetos e seus atributos, em vez de depender de vieses estatísticos encontrados em dados do mundo real.
• Utilidade Futura: Os autores postulam que o SITUATE serve como um benchmark valioso para avaliar as capacidades de contagem "reais" dos VLMs, distinguindo entre reconhecimento de padrões e raciocínio quantitativo real.

Limitações

Os autores reconhecem várias limitações:

• Natureza Sintética: O conjunto de dados é limitado a quatro classes de objetos geométricos e um único layout de cena (mesa em uma sala), embora os ângulos de câmera e texturas variem.
• Escopo do Modelo: Os experimentos foram limitados ao ajuste fino de um único modelo (Qwen 2.5 VL 7B) por uma única época; resultados em outras arquiteturas ou cronogramas de treinamento mais longos não foram testados explicitamente.
• Linha de Base Humana: Nenhuma linha de base humana foi estabelecida, embora os autores estimem que a acurácia humana seria de 90–95% dado o caráter controlado das imagens.
• Escopo de Objetos: Os objetos atuais são abstratos; trabalhos futuros visam introduzir texturas fotorrealistas e relações de objetos mais complexas (ex: copos, bolas).