ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

이 논문은 비용 효율적인 오픈소스 멀티에이전트 프레임워크인 ScaleEditor 를 통해 1200 만 개의 대규모 이미지 편집 데이터셋 ScaleEdit-12M 을 구축하고, 이를 통해 오픈소스 모델의 편집 성능을 상업적 수준으로 획기적으로 향상시켰음을 보여줍니다.

핵심

이 논문은 **"이미지 편집을 가르칠 수 있는 거대한 교재 (데이터)"**를 어떻게 저렴하고 효율적으로 만들었는지 설명하는 이야기입니다.

기존에는 고화질의 이미지 편집 데이터를 만들려면 비싼 상용 AI(예: GPT-4o 등) 를 계속 써야 해서 비용이 천문학적으로 들었습니다. 하지만 이 연구팀은 "열린 도구 (오픈소스) 만으로, 여러 명의 AI 에이전트 (가상 직원) 가 팀을 이루어" 1,200 만 개의 고품질 데이터를 만들어냈습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

🎨 1. 문제: 비싼 요리사 vs. 싼 재료

• 기존 상황: 우리가 "고급 레스토랑" 같은 완벽한 이미지 편집 AI 를 만들고 싶다면, 비싼 요리사 (상용 AI) 를 고용해서 레시피 (데이터) 를 만들어야 했습니다. 하지만 요리사 인건비가 너무 비싸서 1,000 만 개의 레시피를 만드는 건 불가능에 가까웠습니다.
• 기존의 대안: 혹은 "자동 기계" (고정된 규칙) 를 썼는데, 이 기계는 요리가 너무 단순하거나 맛이 없었습니다.
• 이 연구의 목표: "비싼 요리사를 고용하지 않고도, 어떻게 하면 1,200 만 개의 고급 레시피를 저렴하게 만들 수 있을까?"

🏗️ 2. 해결책: '스케일 에디터 (ScaleEditor)'라는 거대한 주방

연구팀은 **'ScaleEditor'**라는 새로운 시스템을 만들었습니다. 이 시스템은 마치 효율적인 주방처럼 작동합니다.

① 재료 준비 (Source Image Expansion)

• 비유: "재료를 구할 때, 마트 (기존 데이터) 에서만 사지 않고, 인터넷 검색과 직접 재배 (합성) 를 병행한다."
• 설명: 단순히 기존 사진만 쓰지 않고, 웹에서 다양한 장면을 찾아오거나 AI 가 새로운 사진을 만들어내어 재료 (이미지) 의 종류를 1,000 만 개 이상으로 불렸습니다.

② 요리사 팀 (Adaptive Multi-Agent Synthesis)

• 비유: "모든 요리를 한 명의 요리사가 하는 게 아니라, '생선 전문', '채소 전문', '글자 수정 전문' 등 각자 특기가 있는 요리사 (AI 에이전트) 들이 팀을 이뤄요."
• 설명:
  • 라우터 (팀장): 들어온 사진을 보고 "이건 배경을 바꿀 일이야", "이건 글자를 고칠 일이야"라고 판단합니다.
  • 전문 에이전트: 각자 맡은 일 (색깔 바꾸기, 물체 추가하기, 글자 지우기 등) 에 맞춰 최고의 지시문 (레시피) 과 결과물 (요리) 을 만듭니다.
  • 특이점: 단순히 "빨간색으로 바꿔"라고 하는 게 아니라, "해가 진 해변에서 빨간 우산을 추가해"처럼 상황과 지식을 반영한 복잡한 지시도 가능합니다.

③ 미식가 심사 (Task-Aware Quality Verification)

• 비유: "요리가 나오면, 맛을 보는 심사위원 (AI) 이 1~3 점으로 평가합니다. 3 점 (완벽) 이 아니면 바로 폐기하고 다시 만듭니다."
• 설명: 만들어진 1,200 만 개의 데이터 중, 지시대로 잘 편집되었는지, 원본과 어울리는지, 화질이 좋은지 3 가지 기준을 엄격하게 검사합니다.不合格인 것은 걸러내어 최종적으로 고품질 데이터만 남깁니다.

🚀 3. 결과: '스케일 에디트 -12M' (ScaleEdit-12M)

이 과정을 통해 만들어진 것이 1,200 만 개의 이미지 편집 데이터셋입니다.

• 규모: 지금까지 공개된 어떤 데이터보다 큽니다 (1,200 만 개).
• 다양성: 배경 바꾸기, 물체 추가/제거, 글자 수정, 과학적 사실 반영 등 23 가지 종류의 편집 작업을 모두 다룹니다.
• 품질: 비싼 상용 AI 로 만든 데이터와 비교해도 뒤지지 않는 퀄리티를 자랑합니다.

📈 4. 효과: "이 교재로 배우니 실력이 급상승!"

이 1,200 만 개의 데이터로 AI 모델 (UniWorld-V1, Bagel 등) 을 훈련시켰더니 놀라운 결과가 나왔습니다.

• 일반적인 편집: 기존보다 최대 35% 이상 실력이 좋아졌습니다.
• 복잡한 추론 (지식 기반): "계란을 깨서 노른자가 나오게 해줘"처럼 상식이나 논리가 필요한 편집에서도 최대 150% 까지 성능이 향상되었습니다.
• 결론: 비싼 상용 AI 를 쓰지 않고, 오픈소스 도구로만 만든 데이터로도 상용급 성능을 낼 수 있다는 것을 증명했습니다.

💡 요약

이 논문은 **"비싼 요리사 (상용 AI) 를 쓰지 않고도, 똑똑한 팀장 (라우터) 과 전문 요리사들 (에이전트), 그리고 까다로운 심사위원 (검증 시스템) 이 협력하면, 1,200 만 개의 고급 레시피 (데이터) 를 저렴하게 만들어낼 수 있다"**는 것을 보여줍니다.

이제 누구나 이 '교재 (ScaleEdit-12M)'를 무료로 다운로드받아, 자신만의 이미지 편집 AI 를 훈련시킬 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 지시 기반 이미지 편집 (Instruction-based Image Editing) 은 통합 멀티모달 모델 (UMMs) 의 핵심 기능으로 부상했으나, 고품질의 대규모 편집 데이터셋 구축은 여전히 난제입니다.
• 기존 방법의 한계:
  1. 상용 모델 의존: GPT-4o Image 등 최첨단 상용 모델을 사용하여 데이터를 생성하는 방식은 비용이 너무 비싸 대규모 확장 (Scaling) 이 어렵습니다.
  2. 고정된 합성 파이프라인: 오픈소스 기반의 기존 데이터셋들은 주로 고정된 편집 연산자 (마스크 가이드 인페인팅, 배경 교체 등) 를 사용하여 합성합니다. 이로 인해 편집 유형의 다양성이 부족하고, 노이즈, 아티팩트, 텍스트 - 이미지 불일치 문제가 발생합니다.
  3. 품질 및 다양성 부족: 소스 이미지의 도메인이 제한적이고, 지시문 생성이 경직된 템플릿에 의존하며, 단순한 휴리스틱 필터링만으로는 대규모 데이터의 정렬 불일치를 효과적으로 걸러내지 못합니다.
• 핵심 질문: "비용 효율적인 오픈소스 에이전트 툴킷을 사용하여 대규모, 다양성, 고품질의 이미지 편집 데이터셋을 구축할 수 있는가?"

2. 제안 방법론: ScaleEditor (Methodology)

저자들은 위 문제를 해결하기 위해 ScaleEditor라는 계층적 다중 에이전트 (Hierarchical Multi-Agent) 프레임워크를 제안했습니다. 이 프레임워크는 크게 세 가지 단계로 구성됩니다.

가. 소스 이미지 확장 (Source Image Expansion)

• 목표: 제한된 오픈소스 데이터셋의 범위를 넘어 현실 세계의 다양한 스타일과 객체 구성을 포함하는 소스 이미지 풀을 확장합니다.
• 구현:
  • 웹 검색 기반 확장: 이미지 기반 및 텍스트 기반 검색을 통해 웹 규모의 시각적 지식을 수집합니다.
  • 합성 기반 확장: 메타캡셔너 (MetaCaptioner) 로 상세한 캡션을 생성한 후, Qwen-Image 등을 활용하여 원본의 핵심 의미는 유지하면서 요소별 변형을 가한 합성 이미지를 생성합니다.
  • 결과: 중복 제거 후 1 천만 개 이상의 고유한 소스 이미지를 확보합니다.

나. 적응형 다중 에이전트 편집 합성 (Adaptive Multi-Agent Editing Synthesis)

• 목표: 각 이미지에 적합한 편집 작업을 동적으로 할당하고, 고품질의 편집 지시문과 결과 이미지를 생성합니다.
• 구현:
  • 작업 라우터 (Task Router): Qwen2.5-VL-72B 를 기반으로 각 이미지에 적합한 23 가지 편집 작업 유형을 선별합니다 (불필요한 작업은 배제).
  • 전문 에이전트 풀: 24 개의 전용 지시문 에이전트 (Instruction Agents) 와 최신 오픈소스 편집 모델 (Qwen-Image-Edit, FLUX.1 등) 을 활용하여 작업별 최적의 편집을 수행합니다.
  • 특수 워크플로우:
    • 텍스트 인식 편집: OCR 도구와 텍스트 에이전트를 결합하여 포스터, GUI 텍스트 등 정밀한 텍스트 수정을 수행합니다.
    • 지식 기반 추론 편집: 복잡한 추론이 필요한 작업을 위해 지시문을 분해 (Decoupling) 하고 재작성하여 모델의 실행 한계를 극복합니다.

다. 작업 인식 품질 검증 (Task-Aware Quality Verification)

• 목표: 대규모 데이터의 품질을 엄격하게 관리합니다.
• 구현:
  • Qwen2.5-VL-72B 를 기반으로 한 검증 에이전트가 3 가지 차원 (지시문 준수, 편집 일관성, 생성 품질) 을 평가합니다.
  • 필터링 기준: 지시문 준수는 만점 (3 점), 일관성과 품질은 최소 2 점 이상인 샘플만 최종 데이터셋에 포함시킵니다.

3. 주요 산출물: ScaleEdit-12M (Key Contributions)

• ScaleEdit-12M: 현재까지 공개된 오픈소스 이미지 편집 데이터셋 중 가장 큰 규모인 1200 만 개의 편집 샘플을 포함합니다.
• 다양성: 자연 풍경, 도시 환경, 인간 중심 일상 장면 등 다양한 시각 도메인을 아우르며, 23 가지 편집 작업 유형 (전체 스타일 변경, 객체 추가/제거, 속성 수정, 텍스트 편집, 추론 기반 편집 등) 을 포괄합니다.
• 개방성: 프레임워크와 데이터셋 모두 오픈소스로 공개되어 비용 효율적인 재현을 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 UniWorld-V1과 Bagel 두 가지 통합 멀티모달 모델을 ScaleEdit-12M 으로 파인튜닝하여 다양한 벤치마크에서 평가했습니다.

• 일반 편집 성능 (General Editing):
  • GEdit: UniWorld-V1 의 성능이 35.1% 향상되었고, Bagel 도 10.0% 향상되었습니다. 기존 오픈소스 데이터셋은 물론, 상용 모델로 생성된 데이터셋 기반 모델보다도 우수한 성능을 보였습니다.
  • ImgEdit: UniWorld-V1 은 10.4% 향상, Bagel 은 7.8% 향상되었습니다.
• 지식 기반 편집 성능 (Knowledge-Infused Editing):
  • RISE Bench: UniWorld-V1 의 성능이 놀랍게도 150.0% 향상되었습니다.
  • KRIS-Bench: UniWorld-V1 은 26.5% 향상, Bagel 도 23.0% 향상되었습니다.
• 비교 분석:
  • 규모 통제 실험: 데이터 크기를 100 만 개로 동일하게 맞춘 비교 실험에서도 ScaleEdit 기반 모델이 다른 오픈소스 및 상용 데이터셋 기반 모델보다 우월한 성능을 입증하여, 데이터의 '양'뿐만 아니라 '품질'이 우수함을 증명했습니다.
  • 품질 검증: Qwen2.5-VL-72B 를 사용한 자동 품질 검증이 GPT-4o 및 인간 평가자와 높은 일치도를 보임이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 상업적 품질 달성: 고비용의 상용 API 없이도, 오픈소스 에이전트 파이프라인을 통해 상업 등급의 고품질 데이터를 구축할 수 있음을 입증했습니다.
• 확장성 및 비용 효율성: 다중 에이전트 프레임워크를 통해 대규모 데이터 생성의 비용 장벽을 낮추고, 오픈소스 생태계의 이미지 편집 능력을 획기적으로 향상시켰습니다.
• 미래 지향성: 이 연구는 UMM 의 이미지 편집 능력을 한 단계 끌어올리는 기반을 마련했으며, 향후 복잡한 다중 턴 대화형 편집 및 전문가 모델의 체계적 학습으로 이어질 수 있는 토대가 됩니다.

요약하자면, ScaleEdit-12M 은 오픈소스 생태계가 상용 모델의 데이터 품질을 따라잡을 수 있음을 보여주는 획기적인 작업으로, 다중 에이전트 프레임워크를 통해 대규모 고품질 편집 데이터의 생성과 검증 문제를 해결했습니다.