기술 요약: VCG-Bench

문제 제기

비전 - 언어 모델 (VLM) 의 급속한 발전에도 불구하고, 업무 프로세스에 필수적인 구조화되고 제어 가능한 다이어그램 작업 (예: 흐름도, 시스템 아키텍처, UI 목업) 을 처리하는 데 있어 중요한 능력 격차가 존재합니다. 기존 접근 방식은 주로 "픽셀로서의 다이어그램" 패러다임에 의존하며, 래스터화된 생성 및 편집 파이프라인 (예: 확산 모델) 을 활용합니다. 이러한 방법들은 확률적 픽셀 공간에서 작동하여 본질적인 한계를 초래합니다:

• 편집성 부재: 수정 작업이 종종 전체 이미지를 다시 생성해야 하므로 구조적 이탈, 흐릿한 선, 텍스트 왜곡, 그리고 환각된 요소가 발생합니다.
• 낮은 충실도: Draw.io 와 같은 전문 도구에 필요한 정밀한 의미, 논리적 토폴로지, 벡터 정확도 출력을 유지하는 데 어려움을 겪습니다.
• 확률성: 생성 과정이 본질적으로 확률적이므로 지시 사항 준수와 결정론적 결과를 보장하기 어렵습니다.

현재 벤치마크는 주로 단일 도메인 생성 (예: 차트, 과학적 플롯) 또는 시각적 이해에 초점을 맞추고 있어, 이미지에서 편집 가능한 구조화된 코드를 생성하고 자연어 지시에 따라 해당 코드를 편집하는 이중 요구 사항을 다루지 못합니다.

방법론

저자들은 "픽셀 조작"에서 "기호 논리"로 전환하는 "코드로서의 다이어그램" 패러다임을 제안하며, **mxGraph 확장 가능 마크업 언어 (XML)**를 사용합니다. 이 형식은 다이어그램을 명시적인 토폴로지 및 기하학적 제약 조건을 가진 의미적 개체 (노드 및 엣지) 로 표현하여 정밀하고 비용 효율적이며 결정론적인 수정을 가능하게 합니다.

VCG-Bench 프레임워크

VCG-Bench 는 "데이터 - 작업 - 평가" 프레임워크를 중심으로 설계된 통합 벤치마크입니다:

1. 데이터셋 구축

• 규모 및 다양성: 6 개 주요 도메인(학술, 소프트웨어, 비즈니스, 관리, UI/UX, 일반) 과 15 개 하위 도메인에 걸친 1,449 개의 다양한 다이어그램으로 구성된 분류된 데이터셋입니다.
• 출처: 데이터는 오픈소스 저장소 (40%), 공개 학술 논문 (30%), 익명화된 기업 다이어그램 (20%), 허용적 라이선스의 웹 다이어그램 (10%) 에서 선별되었습니다.
• 품질 보증: "기계 생성, 인간 검증" 파이프라인을 통해 구조적 완전성, 텍스트 정확도 (>95% OCR 일치), 및 렌더링 충실도 (SigLIP2 를 통한 코사인 유사도 >0.85) 를 보장합니다.
• 난이도 계층화: 생성을 위한 토큰 수와 편집을 위한 원자 연산 수를 기반으로 샘플을 난이도 (쉬움, 중간, 어려움) 에 따라 계층화합니다.

2. 작업 정의
이 벤치마크는 유효하고 구문 분석 가능한 mxGraph XML 출력을 요구하는 두 가지 보완적 작업을 공식화합니다:

• 작업 1: 비전 - 투 - 코드 생성: 래스터 이미지와 구조화된 캡션을 입력으로 받아, 소스의 구조, 의미, 레이아웃을 근사하는 유효한 mxGraph XML 문자열을 모델이 생성합니다.
• 작업 2: 지시 - 투 - 패치 편집: 소스 mxGraph XML, 그 렌더링, 그리고 자연어 지시를 입력으로 받아, 모델은 차분 패치(원본/수정된 XML 조각의 JSON 기반 교체) 를 예측합니다. 이는 토큰 비용이 많이 드는 전체 재생성과 구조적 이탈을 피하기 위해 증분 수정 전략을 사용합니다.

3. 평가 프로토콜
저자들은 단순 텍스트 매칭을 넘어선 다차원 평가 세트를 도입합니다:

• 실행 가능성: **실행 성공률 (ESR)**은 구문 유효성과 렌더링 가능성을 측정합니다.
• 시각적 충실도:
  • 스타일 일관성 점수 (SCS): 시각적 스타일, 레이아웃 일관성, 미적 품질을 평가하는 VLM 기반 지표 (0-10 척도).
  • SigLIP2 시각적 유사도: 렌더링된 이미지의 임베딩 간 코사인 유사도로 고수준 구조적 정렬을 포착합니다.
• 의미 준수:
  • CodeXQA (작업 1): 생성된 XML 에 대한 질문 - 답변 (계수, 식별, 관계) 을 통해 토폴로지 보존을 평가합니다.
  • XDRFR (작업 2): XML 기반 분해 요구 사항 준수 비율입니다. 지시를 원자 Yes/No 검증 질문으로 분해하여 수정된 XML 구조에 직접 확인함으로써 시각적 모호성을 피합니다.

주요 기여

1. VCG-Bench: 비전과 편집 가능한 구조화된 생성 사이의 격차를 해소하는 최초의 통합 벤치마크로, 전문 다이어그램 도구에서 사용되는 mxGraph XML 형식을 특히 대상으로 합니다.
2. 고품질 분류 데이터셋: 출처, 구조적 다양성, 그리고 여러 도메인에 걸친 명시적 난이도 계층화를 갖춘 1,449 개의 다이어그램으로 구성된 선별된 컬렉션입니다.
3. 종합 평가 프로토콜: 실행 가능성, 스타일 일관성, 지시 준수를 공동으로 평가하는 새로운 지표 (ESR, SCS, CodeXQA, XDRFR) 로, 최첨단 (SOTA) VLM 의 엄격한 벤치마킹을 가능하게 합니다.
4. 패러다임 전환: "픽셀로서의 다이어그램"보다 "코드로서의 다이어그램" 접근법의 유효성을 입증하여, 기호 표현이 픽셀 공간에서 불가능한 정밀하고 국소적인 편집을 가능하게 함을 보여줍니다.

실험 결과

이 벤치마크는 주요 폐쇄형 소스 (Gemini-3-Pro, GPT-5.2, Claude-4.5) 와 오픈소스 (Qwen3-VL 시리즈, GLM-4.6V 등) 모델을 평가했습니다.

• 비전 - 투 - 코드 (작업 1):

  • 폐쇄형 소스 우세: 폐쇄형 소스 모델 (예: Gemini-3-Pro) 은 높은 실행 성공률 (>0.96) 과 강력한 지각 점수를 달성했습니다.
  • 오픈소스 한계: 오픈소스 모델은 중간 수준의 의미 이해 (CodeXQA) 에도 불구하고 실행 가능성 (ESR 종종 0.00–0.35) 에서 빈번히 실패했습니다. 주요 실패 모드는 인스턴스 그라우딩(요소 계수) 이었으며, 이로 인해 토폴로지가 잘못된 그래프가 생성되었습니다.
  • 난이도 민감성: 오픈소스 모델의 성능은 작업 난이도가 증가함에 따라 급격히 저하된 반면, 폐쇄형 소스 모델은 통제된 저하를 보였습니다.

• 지시 기반 편집 (작업 2):

  • 높은 충실도: 구조화된 코드가 제공되면 모든 모델 (오픈소스 및 폐쇄형 모두) 이 거의 완벽한 ESR (>0.99) 과 높은 SCS 를 달성했습니다.
  • 지시 준수: XDRFR이 주요 차별화 지표가 되었습니다. Gemini-3-Pro 가 0.9405 로 선두를 달렸으며, Qwen3-VL-235B 와 같은 오픈소스 모델은 0.9312 에 도달하여 작업 1 에서 보였던 격차를 좁혔습니다.
  • 패러다임 검증: 결과는 다이어그램이 코드로 표현되면, 제약된 증분 편집이 픽셀 기반 편집 베이스라인 (어려운 작업에서 DRFR 0.649 로 하락) 을 크게 능가하는 견고하고 정밀한 패러다임임을 확인시켜 줍니다.

중요성 및 주장

이 논문은 VCG-Bench 가 전문 엔지니어링 워크플로우에서의 세밀한 시각적 파싱과 구문 제약 충족에 관한 현재 최첨단 VLM 의 상당한 한계를 드러낸다고 주장합니다.

• 능력 분리: 벤치마크는 "비전 - 투 - 코드"(픽셀에서 구조 생성) 와 "코드 - 투 - 코드"(구조 편집) 사이의 뚜렷한 격차를 드러냅니다. 모델들은 종종 이미지에서 구조를 추론하지 못하지만 제공된 코드를 효과적으로 편집할 수 있습니다.
• 전문성 준비도: 수동적 지각에서 능동적이고 편집 가능한 코드 생성으로 초점을 전환함으로써, VCG-Bench 는 실제 세계 다이어그램 작업에 대한 멀티모달 에이전트의 실용적 준비도를 평가할 수 있는 재현 가능한 테스트베드를 제공합니다.
• 데이터 엔진: 평가 외에도, 이 프레임워크는 VLM 훈련을 위한 구조화된 다이어그램 데이터의 부족을 해결하기 위해 고품질 검증된 시각 - 코드 쌍을 생성하는 확장 가능한 데이터 엔진 역할을 합니다.

저자들은 "코드로서의 다이어그램" 패러다임이 우수한 제어 가능성과 편집성을 제공하지만, 현재 모델들은 특히 복잡하고 논리가 집약된 다이어그램에서 비구조화된 픽셀에서 구조화된 기호 표현으로의 초기 변환에 여전히 어려움을 겪고 있음을 강조합니다.