VisionFoundry: 합성 이미지를 통한 VLM 의 시각적 지각 능력 향상 기술 요약

이 논문은 VisionFoundry라는 새로운 프레임워크를 제시하며, 시각-언어 모델 (VLM) 이 직면한 시각적 지각 (Visual Perception) 의 한계를 해결하기 위해 **합성 데이터 (Synthetic Data)**를 활용한 체계적인 학습 접근법을 제안합니다.

1. 문제 정의 (Problem)

최근 VLM 은 텍스트와 이미지를 처리하고 추론하는 능력이 비약적으로 발전했으나, 시각적 지각 (Visual Perception) 과 관련된 저수준 기술 (Spatial Understanding, Viewpoint Recognition 등) 에서는 여전히 취약점을 보입니다.

• 근본 원인: 기존 자연어 이미지 데이터셋은 시각적 기술에 대한 체계적인 감독 (Supervision) 이 부족합니다. 자연어 코퍼라는 방대하지만, 시각적 변형 (변수 조합) 을 체계적으로 커버하지 못해 모델이 공간 관계, 깊이, 시점 등을 정확히 이해하는 데 한계가 있습니다.
• 핵심 질문: 참조 이미지나 고비용의 인간 주석 없이, 단순히 **작업 키워드 (Task Keyword, 예: "Depth Order")**만으로 생성된 타겟형 합성 감독 데이터가 이러한 약점을 해결할 수 있는가?

2. 방법론 (Methodology: VisionFoundry)

VisionFoundry 는 작업 인식형 (Task-aware) 합성 데이터 생성 파이프라인으로, 참조 이미지나 인간 주석 없이 작업 이름 하나만으로 고품질 VQA(Visual Question Answering) 데이터를 생성합니다. 이 파이프라인은 세 가지 핵심 원리 (제어 가능성, 시각적 결정론, 검증) 에 기반하며 다음과 같은 3 단계로 구성됩니다.

1. VQA 삼중체 생성 (Triplet Generation):

   • 대규모 언어 모델 (LLM) 을 사용하여 목표 작업 (Task) 에 기반한 질문, 정답, 그리고 텍스트 - 이미지 (T2I) 프롬프트를 생성합니다.
   • Adaptive Concept Pool: 객체, 속성, 장면, 스타일 등을 포함하는 엔티티 풀을 구성하여 체계적으로 샘플링합니다.
   • Visual Determinism: 정답을 결정하는 시각적 사실을 T2I 프롬프트에 명시적으로 인코딩하여, 질문의 답이 오직 이미지 내용만으로 결정되도록 합니다.

2. 이미지 합성 (Image Synthesis):

   • 생성된 T2I 프롬프트를 기반으로 현대적인 T2I 모델 (Gemini-2.5-Flash-Image 등) 을 사용하여 이미지를 생성합니다.
   • 필요 시 이미지 수정 (Iterative Refinement) 을 통해 의도된 시각적 상태를 충족하도록 합니다.

3. 정렬 검증 및 필터링 (Alignment Verification & Filtering):

   • 강력한 다중 모달 판정 모델 (Proprietary VLM, 예: Gemini-3-Pro) 을 사용하여 생성된 이미지와 질문/정답 간의 일관성을 검증합니다.
   • Statement-based Verification: 질문과 정답을 선언적 진술 (Declarative Statement) 로 변환한 후, 이미지가 이 진술을 실제로 반영하는지 이진 (Yes/No) 판정을 내립니다.
   • 검증에 실패한 샘플은 폐기하고, 통과한 샘플만 최종 데이터셋에 포함됩니다.

3. 주요 기여 (Key Contributions)

• VisionFoundry 파이프라인 개발: 참조 이미지나 인간 주석 없이 작업 키워드만으로 고품질 합성 VQA 데이터를 생성하는 자동화된 엔드 - 투 - 엔드 시스템 구축.
• VisionFoundry-10K 데이터셋 구축: 10 가지 저수준 시각 지각 작업 (공간 이해, 상대적 깊이, 시점 변이 등) 을 대상으로 한 10,000 개의 이미지 - 질문 - 정답 쌍으로 구성된 합성 데이터셋.
• 검증 필터링의 효과 입증: 단순 합성 데이터가 아닌, 다중 모달 검증기를 거친 데이터가 학습에 필수적임을 실험을 통해 증명.

4. 실험 결과 (Results)

세 가지 대표적인 오픈소스 VLM(Qwen2.5-VL-3B, Llama-3.2-11B-Vision, MiMo-VL-7B) 을 대상으로 VisionFoundry-10K 로 파인튜닝한 결과, 다음과 같은 성과를 거두었습니다.

• 시각적 지각 벤치마크 획기적 향상:
  • MMVP: +7% 향상
  • CV-Bench-3D: +10% 향상 (공간/깊이 추론 능력 극대화)
  • RealWorldQA: +1.9% 향상
• 일반 능력 유지: 시각 지각 특화 학습이 OCR, GUI Grounding, 일반 추론 (MMMU, MMBench 등) 능력을 저하시키지 않았으며, 일부 벤치마크에서는 오히려 향상되었습니다.
• 데이터 크기 스케일링 (Scaling Behavior): 합성 데이터 양이 증가함에 따라 (0.5k → 10k) 시각적 지각 성능이 예측 가능하게 향상되는 경향을 보였습니다.
• 혼합 학습 효과: 합성 데이터와 자연어 데이터를 1:1 로 혼합하여 학습했을 때, 자연어 데이터만 학습한 경우보다 시각적 지각 성능이 더 우수했습니다. 이는 합성 데이터가 자연 데이터만으로는 얻기 어려운 보완적 신호를 제공함을 시사합니다.

5. 의의 및 결론 (Significance)

• 데이터 문제로서의 지각 병목 현상: VLM 의 시각적 지각 한계는 모델 아키텍처의 문제뿐만 아니라, 체계적인 저수준 시각 기술에 대한 감독 데이터의 부재라는 데이터 문제임을 규명했습니다.
• 합성 감독의 패러다임 전환: 자연 이미지 데이터의 양적 확장에만 의존하는 것이 아니라, **목표 지향적인 합성 데이터 (Targeted Synthetic Supervision)**를 체계적으로 구축하는 것이 VLM 의 시각적 이해 능력을 강화하는 효과적인 경로임을 증명했습니다.
• 미래 전망: VisionFoundry 는 VLM 의 후속 학습 (Post-training) 에서 "검증 필터링된 합성 이미지"가 LLM 의 텍스트 데이터와 유사한 1 차적 원시 자료 (First-class primitive) 로 자리 잡을 수 있음을 시사하며, 향후 더 체계적인 멀티모달 학습 워크플로우의 기초를 마련했습니다.

요약하자면, 이 논문은 작업 키워드 기반의 자동화된 합성 데이터 생성 및 검증 파이프라인을 통해 VLM 의 시각적 지각 능력을 획기적으로 개선할 수 있음을 입증한 선구적인 연구입니다.