VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images

Probleemstelling

Vision-Language Models (VLMs) hebben zich snel ontwikkeld tot universele systemen die tekst en afbeeldingen kunnen verwerken. Ondanks deze vooruitgang vertonen ze nog steeds aanhoudende zwaktes in visuele perceptie, zoals ruimtelijk begrip, dieptewaarneming en het herkennen van gezichtspunten.

• Oorzaak: De auteurs stellen dat natuurlijke beeld-datasets beperkte supervisie bieden voor deze "low-level" visuele vaardigheden. Natuurlijke corpora dekken niet systematisch de combinatorische variaties die nodig zijn voor robuuste visuele perceptie.
• Vraag: Kan gerichte synthetische supervisie, gegenereerd op basis van slechts een taak-sleutelwoord (bijv. "Dieptevolgorde"), deze zwaktes oplossen zonder afhankelijk te zijn van referentieafbeeldingen of dure menselijke annotatie?

Methodologie: VisionFoundry

Het paper introduceert VisionFoundry, een end-to-end pipeline voor het genereren van synthetische data die specifiek is ontworpen voor visuele perceptie-taken. Het systeem vereist geen menselijke tussenkomst of bestaande afbeeldingen; de enige input is een taaknaam.

De pipeline bestaat uit drie gesloten-lus componenten:

1. Taakbewuste Generatie (LLM):
   • Een Large Language Model (LLM) genereert op basis van een taakconfiguratie een "adaptief conceptenpool" (objecten, attributen, scènes).
   • Het LLM produceert een triplet: een vraag, een deterministisch antwoord en een gedetailleerde Text-to-Image (T2I) prompt.
   • Cruciaal: Het antwoord wordt expliciet in de T2I-prompt verwerkt om te garanderen dat de gegenereerde afbeelding het antwoord bepaalt (visuele determinisme).
2. Afbeeldingssynthese (T2I Model):
   • Een moderne T2I-model (in dit geval Gemini-2.5-Flash-Image) genereert de afbeelding op basis van de prompt.
   • Het systeem staat beperkte iteratieve verfijning toe als een afbeelding niet direct voldoet aan de vereisten.
3. Verificatie en Filtering (Propriëtaire VLM):
   • Een sterke multimodale "rechter" (Gemini-3-Pro) verifieert of de gegenereerde afbeelding consistent is met de vraag en het antwoord.
   • De prompt wordt omgezet in een declaratieve visuele stelling. De VLM beoordeelt of de kernvisuele relatie in de afbeelding aanwezig is.
   • Alleen samples die door de verifier worden goedgekeurd, worden opgeslagen. Dit filtert misalignments (zoals ontbrekende objecten of verkeerde ruimtelijke relaties) eruit.

Belangrijkste Bijdragen

1. VisionFoundry-10K Dataset:
   • Een synthetische Visual Question Answering (VQA) dataset met 10.000 tripletten (afbeelding-vraag-antwoord).
   • De dataset omvat 10 specifieke visuele perceptie-taken, waaronder: ruimtelijk begrip, relatieve diepte, gezichtspuntvariatie, oriëntatie, kleur en fysieke kenmerken.
   • Elke taak bevat 1.000 samples, zorgvuldig gegenereerd en geverifieerd.
2. Volledig Geautomatiseerde Pipeline:
   • Het proces vereist geen menselijke annotatie of referentieafbeeldingen. Het combineert LLM's en T2I-modellen in een systeem dat schaalbaar en controleerbaar is.
3. Validatie van Synthetische Supervisie:
   • Het paper demonstreert dat synthetische data, specifiek gericht op perceptie, effectief kan worden gebruikt om VLM's te trainen zonder hun bredere redeneervermogen te schaden.

Resultaten

De auteurs hebben VisionFoundry-10K gebruikt om drie open-source VLM's te finetunen: Qwen2.5-VL-3B, Llama-3.2-11B-Vision, en MiMo-VL-7B.

• Verbetering in Visuele Perceptie:
  • Er werden aanzienlijke verbeteringen geboekt op gespecialiseerde benchmarks:
    • +7% op MMVP (een benchmark voor visuele perceptie).
    • +10% op CV-Bench-3D (ruimtelijk en 3D-redenering).
    • Ook verbeteringen op RealWorldQA (+1.9%).
• Behoud van Algemene Capaciteiten:
  • De modellen behielden hun prestaties op algemene redeneerbenchmarks (zoals MMMU, MMBench) en toonden geen significante achteruitgang.
  • In sommige gevallen (zoals MiMo op MMBench) werden zelfs extra verbeteringen gezien, mogelijk omdat betere visuele perceptie de logische redenering ondersteunt.
• Schalingsgedrag:
  • Er is een duidelijke positieve correlatie gevonden tussen de hoeveelheid synthetische data en de prestaties: meer data leidt tot betere resultaten op visuele benchmarks.
• Mix vs. Puur Natuurlijke Data:
  • Een mix van synthetische en natuurlijke data presteerde beter op visuele perceptie-taken dan een dataset van dezelfde grootte die uitsluitend uit natuurlijke data bestond. Dit suggereert dat synthetische data unieke, aanvullende signalen biedt.

Betekenis en Conclusie

Het paper concludeert dat het "perceptie-bottleneck" in VLM's gedeeltelijk een data-probleem is. Natuurlijke datasets missen vaak de specifieke, gecontroleerde variaties die nodig zijn voor fundamentele visuele vaardigheden.

• Paradigmaverschuiving: VisionFoundry suggereert dat synthetische supervisie een "first-class primitive" kan worden voor het trainen van VLM's, vergelijkbaar met hoe synthetische data nu wordt gebruikt voor LLM's.
• Toekomstperspectief: Deze aanpak biedt een pad naar systematischere training waarbij specifieke vaardigheidskloven (zoals ruimtelijk inzicht) kunnen worden opgevuld zonder de kosten van menselijke annotatie. Het opent de deur naar volledig geautomatiseerde, synthetische multimodale datasets die de beperkingen van web-schaal natuurlijke afbeeldingen kunnen overwinnen.

Kortom, VisionFoundry bewijst dat gerichte, synthetisch gegenereerde data een krachtig middel is om de visuele perceptie van AI-modellen fundamenteel te verbeteren.