VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) evoluíram rapidamente para sistemas de propósito geral, mas ainda apresentam deficiências persistentes em tarefas de percepção visual de baixo nível, como compreensão espacial, reconhecimento de pontos de vista e raciocínio geométrico.

• Causa Raiz: O artigo argumenta que os conjuntos de dados de imagens naturais fornecem supervisão limitada para essas habilidades específicas. As corpora naturais, embora vastas, não cobrem sistematicamente a gama combinatória de variações necessárias para um aprendizado visual robusto.
• Questão Central: É possível gerar supervisão sintética direcionada, baseada apenas em uma palavra-chave de tarefa (ex: "Ordem de Profundidade"), para abordar essas fraquezas sem depender de imagens de referência ou anotação humana cara?

2. Metodologia: VisionFoundry

Os autores introduzem o VisionFoundry, um pipeline de geração de dados sintéticos task-aware (consciente da tarefa) que opera em um ciclo fechado e totalmente automatizado. O sistema não requer imagens de referência nem anotação humana.

O pipeline consiste em três etapas principais (ilustradas na Figura 2 do artigo):

1. Geração de Tripletas (Q&A + Prompt):

   • Um Grande Modelo de Linguagem (LLM) recebe apenas o nome da tarefa como entrada.
   • O LLM constrói um "pool de conceitos adaptativo" (objetos, atributos, cenas, estilos).
   • Com base nisso, o LLM gera:
     • Uma pergunta (Q) e uma resposta (A) determinísticas.
     • Um prompt detalhado de Text-to-Image (T2I) que codifica explicitamente os fatos visuais necessários para responder à pergunta.
   • Princípio: A resposta deve ser 100% verificável visualmente a partir da imagem gerada.

2. Síntese de Imagens:

   • Um modelo moderno T2I (no caso, Gemini-2.5-Flash-Image) gera a imagem condicionada ao prompt criado na etapa anterior.
   • O sistema permite refinamento iterativo se a imagem inicial não atender aos critérios, mas mantém a pergunta e a resposta originais.

3. Verificação e Filtragem de Alinhamento:

   • Um modelo multimodal forte e proprietário (um "julgador", no caso Gemini-3-Pro) verifica se a imagem gerada é consistente com a afirmação declarativa derivada da resposta.
   • O verificador atua como um filtro binário: apenas amostras onde o alinhamento é confirmado são retidas. Isso elimina amostras com objetos faltantes, relações espaciais incorretas ou ambiguidades visuais.

3. Contribuições Chave

• VisionFoundry-10K: A construção de um novo conjunto de dados sintético contendo 10.000 tripletas (imagem-pergunta-resposta) cobrindo 10 tarefas de percepção visual (1.000 amostras por tarefa).
  • As tarefas incluem: Orientação e Direção, Ponto de Vista e Perspectiva, Contexto Posicional, Relação Espacial, Estado e Condição, Características Estrutais, Cor e Aparência, Ordem de Profundidade, Distância Relativa e Compreensão Espacial do Mundo Real.
• Pipeline Automatizado: Demonstração de que é possível criar dados de treinamento de alta qualidade para VLMs usando apenas palavras-chave de tarefa, eliminando a necessidade de imagens reais de referência ou anotação humana.
• Validação de Supervisão Sintética: Evidência empírica de que a supervisão sintética direcionada pode superar a limitação de dados naturais para habilidades visuais específicas.

4. Resultados Experimentais

Os autores avaliaram o desempenho de três VLMs de código aberto de diferentes escalas (Qwen2.5-VL-3B, Llama-3.2-11B-Vision, e MiMo-VL-7B) após o fine-tuning no VisionFoundry-10K.

• Melhorias em Percepção Visual:
  • MMVP: Aumento de +7% (de 35.3 para 42.0 no modelo Qwen).
  • CV-Bench-3D: Aumento de +10% (de 66.0 para 76.5 no modelo Qwen).
  • Ganhos consistentes em benchmarks de raciocínio espacial e de profundidade (CV-Bench-2D, RealWorldQA).
• Preservação de Capacidades Gerais:
  • O fine-tuning não degradou significativamente as capacidades gerais de raciocínio, OCR ou grounding de GUI. Em alguns casos, houve ganhos marginais ou flutuações mínimas, indicando que a especialização visual não "esquece" o conhecimento geral.
• Escalabilidade:
  • Existe uma tendência clara de melhoria conforme o tamanho dos dados sintéticos aumenta (de 0.5k a 10k amostras), sugerindo que a supervisão sintética escala bem.
• Dados Híbridos vs. Naturais:
  • Uma mistura de dados sintéticos e naturais (50/50) superou conjuntos puramente naturais de tamanho equivalente em benchmarks de percepção visual, sugerindo que os dados sintéticos fornecem sinais complementares difíceis de obter apenas com dados reais limitados.

5. Significado e Conclusão

O trabalho conclui que o "gargalo de percepção" nos VLMs é, em parte, um problema de dados. A falta de supervisão direcionada para habilidades visuais específicas nas imagens naturais limita o desempenho desses modelos.

• Implicações: O VisionFoundry demonstra que a curadoria de dados sintéticos direcionada é uma via promissora para o treinamento sistemático de VLMs.
• Futuro: Os autores sugerem que, assim como os dados sintéticos se tornaram um "primitivo" de primeira classe para o pós-treinamento de LLMs, imagens sintéticas filtradas por verificadores podem se tornar o primitivo análogo para VLMs. Isso permite corrigir lacunas de capacidade à medida que novas avaliações emergem, sem depender exclusivamente da escala de dados naturais da web.

Em resumo, o artigo valida que dados sintéticos de alta qualidade, gerados e filtrados automaticamente, podem superar as limitações de percepção visual dos modelos atuais, oferecendo um caminho escalável e controlável para melhorar a compreensão visual das máquinas.