기술 요약: FineVision: 오픈 데이터가 전부입니다

문제 제기

비전-언어 모델 (VLM) 의 발전은 현재 공공 데이터셋의 파편화된 환경에 의해 저해받고 있습니다. 독점 모델은 방대하고 선별된 코퍼스를 활용하는 반면, 오픈소스 대안들은 수많은 작고 특수화된 데이터셋을 이어 붙여야 하는 상황에 처해 있습니다. 이러한 접근 방식은 주석 스키마, 포맷팅, 데이터 품질에서 일관성 부족을 초래합니다. 또한, 기존 오픈 데이터셋은 훈련 데이터가 평가 벤치마크와 중복되는 오염 (contamination) 으로 인해 성능 지표가 인위적으로 부풀려지고, 견고하고 데이터 중심적인 연구가 방해받는 문제가 종종 발생합니다. 이 분야는 단순한 집계에서 다양성, 청결성, 그리고 에이전트 GUI 상호작용과 같은 새로운 과제를 해결하는 원칙적이고 확장 가능한 큐레이션으로의 전환을 필요로 하고 있습니다.

방법론

저자들은 200 개 이상의 공공 출처에서 파생된 2,400 만 개의 샘플로 구성된 정밀하게 큐레이션된 코퍼스인 FineVision을 소개합니다. 큐레이션 과정은 이질적인 데이터를 표준화된 대화 스키마로 통합하도록 설계된 반자동화된 인간 개입 (human-in-the-loop) 파이프라인을 활용합니다.

1. 데이터 큐레이션 파이프라인

• 출처 집계: 데이터는 Hugging Face, 기관 클라우드 저장소, GitHub 저장소, 그리고 직접 웹 다운로드를 통해 수집되었습니다.
• 반자동화 변환: 대규모 언어 모델 (LLM) 에이전트 (특히 Claude) 를 대량 수집 및 전략 설계에 활용하고 인간 검토자와 결합하는 하이브리드 접근법이 사용됩니다. 파이프라인은 주석 분석, 전략 설계, 스크립트 구현, 품질 검증을 거쳐 변환을 수행합니다.
• 인간 개입 감독: 검토자는 매핑을 감사하고, 충실한 주석 소비를 위해 출력을 표본 검사하며, 포맷팅과 다양성을 검증합니다. 에이전트/GUI 데이터의 경우, 검토자는 통합된 행동 스키마를 검증하고 실행 가능한 충실도를 위해 궤적을 검사합니다.
• 통합 스키마: 모든 데이터셋은 표준화된 채팅 형식 (sample = {images, texts, source, metadata}) 으로 변환됩니다. 비대화형 데이터 (예: 분류) 는 자연스러운 질문 - 답변 쌍으로 변환됩니다. 단일 턴 질문 - 답변 데이터셋은 종종 더 풍부한 훈련 신호를 만들기 위해 다중 턴 대화로 그룹화됩니다.

2. 작업별 전략

파이프라인은 의미적 풍부함을 보존하기 위해 6 가지 핵심 변환 전략을 적용합니다:

• 시각적 질문 - 답변 (Visual QA): 이미지별 질문을 다양한 표현으로 다중 턴 대화로 그룹화합니다.
• 캡션 및 설명: 실제 지시문 (ground-truth captions) 을 무작위화된 지시 프롬프트로 감쌉니다.
• 그라운딩 및 공간적 관계: 공간 주석을 설명이 포함된 예/아니오 질문으로 변환하며, 좌표는 메타데이터로 정규화합니다.
• 문서 이해: 다중 페이지 문서를 이미지 목록으로 처리하고 풍부한 답변 (유도 단계, 사실) 을 포함합니다.
• OCR 및 전사: 선택적 이해 턴과 함께 정확한 전사 턴을 생성합니다.
• 분류 및 감지: 레이블을 설명이 포함된 결정 질문으로 변환합니다.
• GUI/에이전트 통합: 이질적인 함수 시그니처와 GUI 데이터셋의 행동 분류를 해상도에 구애받지 않는 좌표를 가진 통합된 타입 행동 공간으로 정규화하는 전용 파이프라인입니다.

3. 데이터 청결성 및 오염 제거

• 정제: 자동화된 검증을 통해 손상된 이미지, 디코딩 불가 파일, 잘못된 형식의 텍스트를 제거합니다. 텍스트는 UTF-8 로 정규화되고, 제어 문자는 제거되며, 턴은 8,192 토큰으로 제한됩니다.
• 중복 제거: 자기지도식 복사 감지 (SSCD) 임베딩과 코사인 유사도를 사용하여 출처 내 및 출처 간 거의 중복된 이미지를 식별하고 병합합니다.
• 테스트셋 오염 제거: 파이프라인은 66 개의 공공 VLM 벤치마크와 유사한 훈련 이미지를 식별합니다. 잠재적 오염을 표시하기 위해 보수적인 임계값 ($\tau = 0.95$) 이 적용되지만, 데이터셋은 오염 통계가 제공된 원본 형태로 공개됩니다.

주요 기여

1. FineVision 코퍼스: 185 개의 하위 집합에 걸쳐 1,700 만 개의 이미지, 8,900 만 개의 턴, 95 억 개의 답변 토큰을 포함하는 동종 최대 규모의 오픈 리소스 공개.
2. 큐레이션 워크플로우: 작업 구조와 대화적 다양성을 유지하면서 200 개 이상의 출처를 통합하는 재현 가능하고 반자동화된 인간 개입 파이프라인.
3. 통합 행동 공간: 에이전트 작업을 위한 새로운 기여로, 데스크톱, 모바일, 브라우저 환경 전반에 걸친 GUI 상호작용을 위한 표준화된 스키마 제공.
4. 엄격한 청결성: SSCD 임베딩을 사용한 포괄적인 중복 제거 및 오염 제거 프로토콜, 도구 및 사전 계산된 임베딩의 공개.
5. 품질 분석: LLM-as-a-judge 점수화를 사용하여 네 가지 축 (포맷팅, 관련성, 시각적 의존성, 이미지 - 질문 대응) 을 따라 데이터셋에 대한 상세한 특성 분석.

실험 결과

저자들은 FineVision 에서 460M 파라미터 SmolVLM 을 훈련시키고 The Cauldron, LLaVA-OneVision, Cambrian-7M에서 훈련된 모델들과 비교했습니다.

• 성능 향상: FineVision 에서 훈련된 모델은 오픈 데이터 VLM 간 최첨단 결과를 달성하여 다음과 같은 유의미한 상대적 개선을 보였습니다:
  • The Cauldron 대비 +27.7%
  • Cambrian-7M 대비 +11.4%
  • LLaVA-OneVision 대비 +38.4%
  • (11 개 벤치마크에서 베이스라인 대비 평균 10.8 퍼센트 포인트 개선).
• 훈련 역학: 새로운 작업 포함으로 인해 초기 성능이 약간 뒤처졌으나, FineVision 으로 훈련된 모델은 약 1 에포크 후 모든 베이스라인을 능가하여 우수한 일반화 능력을 입증했습니다.
• 오염에 대한 견고성: 오염 제거된 데이터셋 버전으로 재훈련했을 때, 베이스라인 모델은 2.7~3.7 퍼센트 포인트의 성능 저하를 겪은 반면, FineVision 모델은 1.6 포인트만 하락하여 그 개선이 데이터 누출에 기인하지 않음을 확인했습니다.
• GUI 능력: 까다로운 GUI 벤치마크 (ScreenSpot-V2 및 ScreenSpot-Pro) 에서 FineVision 으로 훈련된 0.5B 모델은 구조적으로 동등한 2B 모델과 비교 가능한 성능을 달성하여, 미세 조정 없이는 작업을 해결하지 못했던 기본 소형 모델들을 능가했습니다.
• 다양성 지표: FineVision 은 높은 개념적 폭 (Effective Rank) 을 보이며, 특히 다른 대규모 데이터셋에 비해 우수한 참여 비율 (Participation Ratio) 을 보여 시각적 개념의 더 균일한 분포를 나타냅니다.

중요성 및 주장

이 논문은 데이터 청결성과 신중한 통합이 규모만큼이나 중요하다고 주장합니다. FineVision 은 대규모 규모와 엄격한 정제, 중복 제거, 인간 감독을 결합한 원칙적인 큐레이션 접근 방식이 오픈소스와 독점 VLM 간의 성능 격차를 해소할 수 있음을 보여줍니다.

저자들은 이 데이터셋이 단순히 더 큰 집계가 아니라, 통합된 행동 공간을 통해 특히 에이전트/GUI 설정에서 새로운 과제를 위해 설계된 "기반 (foundation)"이라고 강조합니다. 코퍼스, 변환 레시피, 중복 제거 도구를 공개함으로써, 이 작업은 고품질 훈련 데이터에 대한 접근을 민주화하고 오픈 VLM 개발의 다음 혁신 물결을 촉발하는 것을 목표로 합니다. 저자들은 잔여 중복 및 GUI 제어에 대한 통합된 커뮤니티 벤치마크 부재와 같은 한계를 겸손하게 인정하며, FineVision 을 비디오, 다국어 지원, 더 긴 컨텍스트 추론으로의 향후 확장을 위한 출발점으로 위치시킵니다.