GraphicDesignBench (GDB): 그래픽 디자인 태스크 평가 종합 벤치마크 기술 요약

이 논문은 GraphicDesignBench (GDB) 를 소개하며, 이는 AI 모델이 전문적인 그래픽 디자인 태스크의 전 범위를 평가하도록 설계된 최초의 종합 벤치마크 스위트입니다. 기존 벤치마크가 자연 이미지 이해나 일반적인 텍스트 - 이미지 합성에 집중했다면, GDB 는 전문 디자인 작업의 고유한 도전 과제 (구조화된 레이아웃, 타이포그래피, 레이어 조작, 벡터 그래픽, 애니메이션 추론 등) 를 평가합니다.

1. 문제 정의 (Problem)

기존의 AI 평가 체계는 그래픽 디자인의 전문성을 포착하지 못합니다.

• 제약 조건의 복잡성: 디자인은 단순히 미적으로 pleasing 한 이미지를 생성하는 것을 넘어, 가독성 있는 텍스트 렌더링, 타이포그래피 계층 구조 준수, 그리드 내 구성 요소 배치, 명확한 행동 유도 (Call-to-Action) 등 다중 제약을 동시에 만족해야 합니다.
• 평가 지표의 부재: 기존 벤치마크에서 주로 사용되는 FID 나 CLIP-Score 와 같은 지표는 디자인 특유의 요구사항 (OCR 기반 가독성, 구성 요소 배치의 IoU, 색상 충실도 등) 을 측정하지 못합니다.
• 정확성과 구조의 필요성: 디자인은 객관적으로 정답이 하나만 있는 경우가 드물지만, 브랜드 정체성이나 컨텍스트에 따라 매우 구체적인 정확도와 구조적 무결성이 요구됩니다.

2. 방법론 (Methodology)

2.1 데이터셋 및 태스크 구성

GDB 는 상업적 디자인 플랫폼에서 수집된 LICA(LICA layered-composition dataset) 기반의 50 개 태스크로 구성됩니다. LICA 는 평면 이미지뿐만 아니라 원본 디자인의 전체 레이어 구조 (경계 상자, z-order, 타이포그래피 사양, 애니메이션 속성, SVG 소스 등) 를 보존합니다.

태스크는 5 가지 주요 도메인과 2 가지 모드 (이해, 생성) 로 분류됩니다:

1. 레이아웃 (Layout): 공간적 배치, 요소 수 세기, 레이어 순서, 회전, 자르기 형태 등.
2. 타이포그래피 (Typography): 폰트 식별, 색상/크기/간격 예측, 곡선 텍스트 감지, 스타일 범위 복구 등.
3. 인포그래픽 (Infographics): SVG 코드 이해 및 편집, 텍스트/이미지 기반 SVG 생성, Lottie 애니메이션 생성.
4. 템플릿 및 디자인 시맨틱스: 템플릿 카테고리 분류, 사용자 의도 예측, 템플릿 변형 이해 및 생성.
5. 애니메이션 (Animation): 키프레임 순서 복원, 모션 유형 분류, 시간적 속성 추출, 애니메이션 생성.

2.2 평가 모델 및 메트릭

• 평가 모델: GPT-5.4, GPT-Image-1.5, Gemini 3.1 Pro/Flash, Claude Opus 4.6, Sora-2, Veo-3.1 등 최첨단 폐쇄형 (Closed-source) 모델들을 평가했습니다.
• 평가 메트릭: 디자인 특화 메트릭을 도입했습니다.
  • 공간 정확도: mIoU, mAP, MAE (요소 수, 폰트 크기 등).
  • 텍스트 충실도: OCR 정확도, 폰트 패밀리 일치율, 색상 거리 ($\Delta E$).
  • 구조적 유효성: JSON/SVG 파싱 성공률, 압축 비율.
  • 지각적 품질: LPIPS, SSIM, FID, 인간 선호도 점수 (HPS, ImageReward).
  • 해결 가능성 레이블: 'Mostly Solved' (>95%), 'Partially Solved' (80-95%), 'Unsolved' (<80%) 로 분류하여 실용적 사용성을 판단했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 종합 그래픽 디자인 벤치마크: 레이아웃, 타이포그래피, 벡터, 애니메이션을 아우르는 50 개의 태스크를 통해 AI 디자인 능력을 가장 폭넓게 평가합니다.
2. 레이어드 컴포지션 평가 프레임워크: LICA 데이터셋의 구조적 메타데이터 (레이어, z-order, SVG 코드 등) 를 활용하여 평면 이미지로는 불가능한 평가 (부분 레이아웃 완성, 레이어 인식 인페인팅 등) 를 가능하게 했습니다.
3. 디자인 특화 메트릭 토크노미: 픽셀 기반의 지표를 넘어 공간 정확도, 타이포그래피 충실도, 구조적 유효성을 측정하는 새로운 메트릭 체계를 제시했습니다.
4. 재현 가능한 프레임워크: 오픈소스 모델을 포함한 향후 시스템 평가를 위한 확장 가능한 프레임워크를 공개했습니다.

4. 주요 결과 (Results)

평가 결과, 현재 최첨단 모델들도 전문 디자인 태스크의 핵심 과제에서 심각한 한계를 보였습니다. 전체 50 개 태스크 중 Mostly Solved 는 2 개, Partially Solved 는 25 개, Unsolved 는 23 개로 나타났습니다.

4.1 도메인별 성능 요약

• 레이아웃 (Layout):
  • 해결되지 않음 (Unsolved): 요소 감지 (mAP@0.5 최대 6.4%), 레이어 순서 예측, 복잡한 레이아웃의 요소 수 세기, 부분 레이아웃 완성 등. 모델들은 요소의 위치와 깊이를 정확히 파악하지 못합니다.
  • 부분 해결: 비율 분류 (93.9% 정확도), 회전 예측 등.
• 타이포그래피 (Typography):
  • 해결되지 않음: 폰트 패밀리 식별 (167 개 중 Top-1 정확도 23.7%, 대부분 0 점), 텍스트 색상 예측 (가장 약한 모델은 $\Delta E > 52$), 폰트 크기/간격 추정.
  • 부분 해결: 텍스트 정렬 예측 (86.1%), 자간 (Letter spacing) 예측 등.
• 인포그래픽 (SVG & Vector):
  • 해결되지 않음: 텍스트 기반 SVG 생성 (텍스트만으로는 사실적인 재현 불가), Lottie 애니메이션 생성 (구조적 유사도 낮음).
  • 부분 해결: 이미지 기반 SVG 생성 (SSIM 0.918), SVG 코드 수정 및 최적화.
• 템플릿 시맨틱스:
  • 부분 해결: 템플릿 쌍 매칭 (Font Jaccard 기반 베이스라인이 LLM 과 유사한 성능), 순위 매기기.
  • 해결되지 않음: 오픈 보카불러리 카테고리 분류 (레이블 제약 시 성능 급증, 제약 없으면 혼란).
• 애니메이션 (Animation):
  • 해결되지 않음: 키프레임 순서 복원 (정확 일치 16%), 모션 유형 분류 (13% 미만), 애니메이션 파라미터 제어 (구성 요소 매핑 실패).
  • 부분 해결: 단일 구성 요소의 시작 시간 예측.

4.2 핵심 발견

• 구조적 정확도의 부재: 모델들은 고수준 의미 이해는 가능하지만, 픽셀 단위나 벡터 코드의 정밀한 제어 (폰트, 색상, 위치, 애니메이션 타이밍) 에서 실패합니다.
• 복합 태스크의 어려움: 단일 요소 처리는 가능하나, 여러 요소 간의 상호작용을 고려하는 복합 태스크 (다중 요소 레이아웃 완성, 복잡한 애니메이션) 에서 성능이 급격히 저하됩니다.
• 입력 모달리티의 영향: 이미지 기반 입력이 텍스트 기반 입력보다 SVG 생성 품질을 크게 향상시키지만, 여전히 완전한 충실도는 달성하지 못합니다.

5. 의의 및 결론 (Significance)

이 연구는 AI 가 전문적인 그래픽 디자인 워크플로우에서 '유용한 협력자'가 되기 위해서는 해결해야 할 거대한 격차가 있음을 명확히 보여줍니다.

• 현실적 한계: 현재 모델들은 디자인 제안의 초기 아이디어 (Ideation) 단계에는 도움이 될 수 있으나, 실제 제작 (Production) 단계에서 요구되는 정밀도와 구조적 무결성을 갖추지 못했습니다.
• 향후 방향: 디자인 특화 사전 학습 (Layered composition supervision), 구조화된 긴 출력 생성 능력 향상, 그리고 오픈소스 모델 및 인간 전문가 평가를 포함한 포괄적인 벤치마킹이 필요합니다.
• 공유: GDB 는 디자인 AI 의 발전 추이를 추적하고, 더 나은 모델을 개발하기 위한 엄격하고 재현 가능한 테스트베드로서 커뮤니티에 공개되었습니다.

결론적으로, 그래픽 디자인은 단순한 이미지 생성이 아닌 구조, 의미, 정밀도, 시간적 흐름이 결합된 고차원적인 창의적 작업이며, 현재의 AI 기술은 이러한 요구사항을 충족하는 데 아직 멀었다고 평가됩니다.