기술 요약: DrawAI - 래스터 이미지를 편집 가능하게 만들기 위한 에이전트 기반 벤치마크 및 워크플로우

1. 문제 정의

이미지 생성 모델과 멀티모달 에이전트의 최근 발전은 자연어를 통해 고품질의 구조화된 시각적 콘텐츠를 생성할 수 있게 했습니다. 그러나 결정적인 병목 현상이 남아 있습니다. 이러한 모델들은 래스터 출력(픽셀)을 생성하며, 이는 의미 있는 콘텐츠, 객체 구조 및 공간적 관계를 단일 캔버스로 평면화합니다. 이로 인해 개별 구성 요소를 직접 검사, 수정, 재배치하거나 재사용하는 것이 어려워집니다. 사용자들은 수동으로 다시 그리거나, 수용된 영역을 잃을 위험을 감수하고 전체를 다시 생성해야 하는 선택지에 직면하게 됩니다.

본 논문은 이미지-투-편집 가능 재구성(Image-to-Editable Reconstruction) 과업을 정의합니다. 고품질 래스터 이미지가 주어졌을 때, 목표는 소스의 시각적 및 의미적 콘텐츠를 보존하면서 동시에 구성 요소를 편집할 수 있도록 노출하는 구조화되고 직접 조작 가능한 아티팩트(예: SVG 또는 PPTX)를 복구하는 것입니다. 핵심 과제는 충실도-편집 가능성 트레이드오프(Fidelity-Editability trade-off) 입니다:

• 충실도(Fidelity): 원본과의 시각적 유사성.
• 편집 가능성(Editability): 레이아웃이나 의미를 깨뜨리지 않고 개별 요소(텍스트, 도형, 커넥터)를 조작할 수 있는 능력.
• 트레이드오프: 소스를 비트맵으로 임베딩하면 충실도는 극대화되지만 편집 가능성은 제로가 됩니다. 반대로, 이미지를 많은 편집 가능한 객체로 분해하면 콘텐츠 누락, 레이아웃 왜곡 또는 의미적 관계 붕괴가 발생하기 쉽습니다.

2. 방법론

2.1 DrawAI-Bench: 크로스 도메인 벤치마크

이 과업을 체계적으로 연구하기 위해 저자들은 과학적 도표, 프레젠테이션 슬라이드, 포스터, 다이어그램의 네 가지 도메인을 아우르는 DrawAI-Bench를 도입합니다. 여기에는 실제 세계의 이미지(인간의 디자인 관습 반영)와 AI 생성 이미지(생성-투-편집 전환 사례)가 모두 포함됩니다.

평가 프로토콜:
벤치마크는 텍스트, 이미지, 수식, 도형, 커넥터, 테이블의 6가지 자산 유형을 다루며, 충실도와 편집 가능성을 공동으로 측정하기 위해 39가지 기준의 하이브리드 프로토콜을 사용합니다.

• 충실도: 전역적 구성(구조적 일치, 가장자리 정렬) 및 자산별 보존(콘텐츠, 외형, 배치)을 평가합니다.
• 편집 가능성: 기저의 아키텍처(의미적 그룹화, 분리 가능성, 직접 조작 가능성)를 평가합니다.
• 하이브리드 스코어링:
  • 규칙 기반 (9개 기준): 직접적인 대응 관계가 있는 속성에 대한 결정론적 지표 (예: SSIM, 픽셀 MSE, OCR 정규화된 텍스트 F1, 바운딩 박스 재현율).
  • 루브릭 기반 (30개 기준): 정확한 매칭이 오해를 불러일 수 있는 의미적 및 지각적 품질에 대한 시각-언어 모델(VLM)의 판단 (예: 시각적 계층 구조, 수식 관계, 커넥터 방향성).

2.2 DrawAI-Flow: 2단계 에이전트 워크플로우

과업의 복잡성을 해결하기 위해 저자들은 해석과 반복적 실현을 분리하는 워크플로우인 DrawAI-Flow를 제안합니다. 이는 단일 엔드 투 엔드 생성 단계에서 인지 오류와 저수준 포맷팅 실패가 혼재되는 것을 방지합니다.

• 1단계: 파싱 및 계획 (Parsing and Planning)
  • 증거 추출: 견고한 파운데이션 모델(영역 제안을 위한 SAM3, 텍스트 인식을 위한 PP-OCRv5)을 사용하여 초기 후보 요소들을 생성합니다.
  • 파서 에이전트: 공간적 중복 제거, 누락 복구, 의미적 정렬을 통해 원시 제안을 정제합니다. 이는 요소의 정체성, 기하학적 구조 및 재구성 정책(예: 복잡한 질감의 경우 로컬 크롭을 사용하는 대신 네이티브 프리미티브로 텍스트를 재구축하는 방식)을 기록하는 명시적인 **재구성 계획(Reconstruction Plan)**을 생성합니다.
• 2단계: 이미지-애즈-코드 재구성 (Image-as-Code Reconstruction)
  • 재구성 에이전트: 계획을 직접적인 아티팩트가 아닌 실행 가능한 그래픽 프로그램(코드)으로 변환합니다.
  • 반복 루프: 시스템은 코드–렌더–검증–수정 루프(최대 5라운드)를 실행합니다. 에이전트는 현재의 SVG를 렌더링하고 이를 소스와 비교하여 불일치를 진단한 후, 타겟팅된 코드 편집을 수행합니다.
  • 이점: 이 표현 방식은 에이전트의 코드 생성 능력을 활용하고, 결정론적 실행을 가능하게 하며, 변경되지 않은 구조의 재생성을 피함으로써 토큰 소비를 줄입니다.

3. 주요 기여

1. DrawAI-Bench: 시각적 충실도와 실질적 편집 가능성을 공동으로 점수화하는 하이브리드 평가 프로토콜(39개의 규칙 기반 및 루브릭 기반 기준)을 갖춘 크로스 도메인 벤치마크.
2. DrawAI-Flow: 멀티모달 인지 증거를 명시적인 재구성 계획으로 변환하고, 반복적이고 검증된 이미지-애즈-코드 합성을 통해 이를 실현하는 2단계 에이전트 워크플로우.
3. 체계적 경험적 연구: 5개의 에이전트 하네스에 걸친 13개 모델의 통제된 평가를 통해, 재구성 품질과 비용에 미치는 모델 능력, 하네스 선택 및 워크플로우 설계의 영향을 분석함.

4. 실험 결과

4.1 모델 성능

• 보편적 우위의 부재: 모든 자산에 대해 압도적인 단일 모델은 없습니다. 예를 들어, GPT-5.6 Sol은 충실도(94.0)에서는 앞서지만 편집 가능성(85.1)에서는 뒤처지며, 특히 텍스트(충실도 95.7 대비 편집 가능성 67.0)에서 그렇습니다. Claude Opus 4.8은 선두 그룹 중에서 가장 강력한 편집 가능한 텍스트를 제공합니다.
• 자산별 격차: 13개 모델 중 9개 모델에서 텍스트는 가장 취약한 편집 가능성 카테고리입니다. 충실도 점수는 높은 경우가 많지만, 편집 가능성은 여전히 큰 결함으로 남아 있습니다.
• 도메인 난이도: 포스터가 가장 어려운 도메인(두 차원 모두 최저 점수)인 반면, 다이어그램은 텍스트 편집 가능성이 가장 낮음에도 불구하고 전반적으로 가장 높은 순위를 기록했습니다.

4.2 하네스 효과

• 하네스 선택의 중요성: 에이전트 하네스(예: Codex, OpenHands, Claude Code)의 선택은 결과에 상당한 영향을 미칩니다. 두 모델 모두에서 평가된 경우 Claude Code가 OpenHands보다 일관되게 우수한 성능을 보였습니다.
• 프로바이더 정렬: 프로바이더와 정렬된 쌍(예: GPT-5.5와 Codex, Kimi와 Kimi Code)이 종종 최상의 결과를 냅니다.
• 민감도: 하네스로 인한 성능 향상은 중간 능력 모델(예: MiniMax M3, Kimi K2.7 Code)에서 가장 두드러지게 나타나는 반면, 최상위 모델은 약한 스캐폴딩을 부분적으로 보완할 수 있습니다.

4.3 워크플로우 효과 (DrawAI-Flow vs. 베이스라인)

• 구조적 개선: DrawAI-Flow는 충실도(+3.0 포인트)보다 편집 가능성(평균 +17.6 포인트)을 일관되게 더 많이 개선합니다.
• 특정 이득: 이 워크플로우는 텍스트 편집 가능성(26.1에서 56.5로) 및 이미지 편집 가능성에서 가장 큰 개선을 보입니다.
• 트레이드오프: 편집 가능성이 향상되는 동안 수식, 도형, 커넥터의 충실도는 때때로 약간 퇴보하는데, 이는 완벽한 기하학적 복제보다는 네이티브의 조작 가능한 프리미티브를 지향하는 의도적인 변화를 나타냅니다.
• 강건성: 워크플로우는 "바닥을 높여서(lifts the floor)", 약한 모델의 성능을 크게 향상시키고 설정 간의 변동성을 줄입니다.

4.4 컴포넌트 절제 실험 (Ablation)

• 상호 보완적 증거: OCR 증거를 제거하면 주로 텍스트 편집 가능성이 저하되는 반면, SAM3(영역 제안)를 제거하면 주로 이미지 충실도와 편집 가능성이 저하됩니다.
• 시너지: 두 도구를 모두 제거하면 개별 제거의 합보다 더 큰 페널티가 발생하며, 이는 의미적 텍스트 증거와 공간적 영역 증거가 상호 보완적임을 확인시켜 줍니다.

4.5 특화 프로젝트와의 비교

Crafter, AutoFigure-Edit, Edit-Banana와 같은 특화된 도구들과 비교했을 때, DrawAI는 더 균형 잡힌 충실도-편집 가능성 프로필을 달성합니다. 특화된 시스템은 충실도에 크게 치우치는 경향이 있는 반면(12~15 포인트 차이), DrawAI는 이 격차를 3.8 포인트로 좁혔습니다.

4.6 비용 분석

• 파레토 프런티어 (Pareto Frontier): 단일한 "최적" 작동 지점은 없으며, 비용-품질 트레이드오프의 광범위한 프런티어가 존재합니다.
• 하네스가 비용에 미치는 영향: 하네스 선택은 비용에 큰 영향을 미칩니다. 예를 들어, GPT-5.5를 OpenHands로 실행하는 것은 Codex로 실행할 때보다 비용이 두 배 이상 들면서도 품질은 더 낮습니다.
• 한계 비용: 중간 단계 모델에서 최상위 모델로 이동할 때 발생하는 한계 비용은 급격히 증가합니다 (예: 상위 구간에서 0.2포인트 이득당 약 $278).

5. 의의 및 주장

본 논문은 신뢰할 수 있는 이미지-투-편집 가능 재구성은 직접적인 프롬프팅만으로는 달성할 수 없는, out-of-the-box 기능이 아님을 주장합니다. 대신, 이는 완전히 통합된 에이전트 생태계의 창발적 속성입니다.

주요 통찰은 다음과 같습니다:

1. 시스템적 의존성: 재구성 품질은 단순히 모델의 원시 능력뿐만 아니라 완전한 모델-하네스-워크플로우 시스템에 달려 있습니다.
2. 구조적 지원: 구조화된 절차적 지원(명시적 계획 및 반복적인 코드 기반 수정)이 진정으로 조작 가능한 구조를 복구하는 주요 동력입니다.
3. 평가의 필요성: 충실도-편집 가능성 트레이드오프는 하이브리드 평가 프로토콜을 필요로 합니다. 한 차원을 최적화하면 종종 다른 차원을 저하시키며, 표준 메트릭은 실질적인 사용성을 평가하기에 불충분합니다.

이 연구는 현재의 에이전트들이 고충실도의 시각물을 생성할 수는 있지만, 이를 편집 가능하고 재사용 가능한 아티팩트로 변환하려면 시각적 합성(Visual Synthesis)과 실질적 저작(Practical Authoring) 사이의 간극을 메우는 의도적이고 다단계적인 에이전트 워크플로우가 필요함을 보여줍니다.