기술 요약: ScribbleEdit

문제 제기

생성 모델의 최근 발전으로 이미지 편집 능력이 향상되었으나, 정밀하고 직관적인 사용자 제어를 달성하는 것은 여전히 중요한 과제로 남아 있습니다. 사용자는 정확한 공간적 배치와 구체적인 의미론적 세부 사항을 동시에 전달하는 데 어려움을 겪습니다. 자연어 지시는 고수준 의미론 (예: 질감, 색상) 을 효과적으로 전달하지만 공간적 구체성이 부족합니다. 반면, 자유로운 낙서는 직관적인 공간적 경계와 구조를 제공하지만 본질적으로 추상적이고 부정확하며, 모델이 세부적인 시각적 속성을 해석하기 어렵습니다. 기존 모델들은 추상적인 낙서와 텍스트 지시를 결합한 전문화된 학습 데이터의 부재로 인해 이러한 두 가지 모달리티를 공동으로 해석하는 데 어려움을 겪습니다.

방법론

저자들은 낙서와 텍스트 기반 이미지 편집 간의 격차를 해소하기 위해 대규모 합성 데이터셋과 자동화 파이프라인인 ScribbleEdit을 소개합니다.

1. 데이터셋 구축 파이프라인:
이 데이터셋은 낙서와 텍스트 지시에 따라 특정 객체를 이미지에 추가하는 객체 추가 작업을 위한 11,775 개의 샘플로 구성됩니다. 파이프라인은 네 단계로 이루어집니다:

• 소스 데이터: Sketchy Database(사진과 크라우드 소싱된 손으로 그린 낙서가 짝지어진 데이터베이스) 에서 12,500 개의 이미지 - 낙서 쌍을 하위 표본 추출했습니다.
• 객체 분할: 객체 마스크를 생성하는 2 단계 프로세스입니다. 먼저 Grounding DINO가 클래스 이름을 사용하여 객체를 감지하여 바운딩 박스를 생성합니다. 그 다음 **Segment Anything Model (SAM)**이 세 개의 마스크 후보를 생성하며, 예측된 IoU 가 가장 높은 것을 선택합니다. 마스크는 완전한 경계 커버리지를 보장하기 위해 15 픽셀 확장됩니다.
• 입력 이미지 생성: 분할된 객체를 LaMa inpainting 모델을 사용하여 소스 사진에서 제거합니다. 이 모델은 텍스트 프롬프트 없이 주변 컨텍스트만으로 배경을 재구성합니다. 이렇게 인페인팅된 이미지가 편집 모델의 입력으로 사용됩니다.
• 지시문 생성: Gemma 3 (4B), 즉 지시 튜닝된 비전 - 언어 모델이 자연어 지시문을 생성합니다. 이 모델은 입력 (인페인팅된) 이미지와 대상 (원본) 이미지를 제공받고, 객체의 외관과 위치를 설명하는 구체적인 편집 명령을 생성하도록 프롬프트됩니다.

최종 데이터셋은 학습 (9,438 장), 검증 (1,164 장), 테스트 (1,173 장) 세트로 나뉩니다. 학습 비용을 관리하기 위해 각 사진에 최대 두 개의 낙서만 짝지어지는 하위 집합을 표본 추출하여 약 18,876 개의 학습 인스턴스를 생성했습니다.

2. 모델 평가 및 파인튜닝:
저자들은 ScribbleEdit 에서 두 가지 유형의 모델을 평가하고 파인튜닝합니다:

• 이미지 조건부 ControlNet-Scribble: 확산 기반 모델입니다. 저자들은 표준 ControlNet-Scribble 을 수정하여 텍스트와 낙서 입력 외에도 원본 이미지의 잠재 표현 (VAE 를 통해 인코딩됨) 을 조건으로 부여합니다. 이를 통해 모델은 생성이 아닌 편집을 수행하면서도 원본 배경을 보존할 수 있게 되어, 표준 ControlNet 의 한계를 해결합니다. 이 모델은 새로운 레이어를 먼저 업데이트한 후 전체 U-Net 파인튜닝을 수행하는 2 단계 프로세스로 학습됩니다.
• BAGEL-7B-MoT: 통합 멀티모달 대규모 언어 모델입니다. 저자들은 언어 백본에 LoRA 파인튜닝을 적용합니다. 모델이 대상 영역만 편집하고 배경을 보존하도록 유도하기 위해 공간적으로 가중치를 둔 MSE 손실 함수를 사용하며, 대상 편집 마스크 내 토큰에 대해 배경 토큰보다 5 배의 가중치를 부여합니다.

두 모델 모두 텍스트 또는 낙서 입력을 0.1 확률로 드롭하여 분류기 없는 가이드 (CFG) 로 학습됩니다.

주요 기여

1. ScribbleEdit 데이터셋: 자유로운 낙서와 자연어 지시를 결합한 멀티모달 이미지 편집을 위해 특별히 설계된 대규모 합성 데이터셋.
2. 자동화 파이프라인: 인페인팅을 통해 소스 - 대상 이미지 쌍을 자동으로 생성하고, 이를 손으로 그린 낙서와 VLM 이 생성한 텍스트와 짝지어 멀티모달 편집 예제를 구축하는 방법.
3. 벤치마크 평가: 다양한 조건 설정 (텍스트 전용, 낙서 전용, 공동 가이드) 하에서 현대적인 확산 기반 및 자기회귀 통합 멀티모달 모델에 대한 포괄적인 평가.

결과

이 논문은 히스토그램 교차, RMSE, CLIP 유사도, FID 점수를 정량적 결과로 제시하고 정성적 비교를 병행합니다.

• 성능 향상: ScribbleEdit 에 대한 파인튜닝은 제로샷 베이스라인에 비해 네 가지 지표 전반에 걸쳐 모델 성능을 크게 향상시킵니다.
• 모델 비교:
  • 이미지 조건부 ControlNet-Scribble은 가장 낮은 FID 점수를 달성하여 뛰어난 사실감과 배경 보존 능력을 나타냈습니다.
  • 파인튜닝된 BAGEL-7B-MoT는 히스토그램 교차와 RMSE(이미지 전체 및 바운딩 박스 내부 모두) 에서 가장 큰 개선을 보였으며, 색상 및 픽셀 수준의 세부 사항에서 유사성이 증가했음을 입증했습니다. 또한 CLIP 및 FID 점수에서도 큰 개선을 보였습니다.
• 강건성: 파인튜닝된 BAGEL 은 추론 중 낙서만 또는 텍스트만 입력으로 제공받았을 때에도 성능을 유지했으며, 텍스트만 사용할 때 FID 에서만 유의미한 저하가 있었습니다.
• 오류 분석: 50 개의 테스트 이미지 샘플에서 파인튜닝된 BAGEL 은 82% 의 경우 낙서 가이드에 충분히 순응했으나, 텍스트 지시에는 57% 의 경우만 순응했습니다. 일반적인 실패 사례로는 객체의 방향, 위치 또는 크기가 잘못되는 것 (낙서 순응) 과 색상 또는 객체 정체성이 잘못되는 것 (텍스트 순응) 이 포함됩니다.

중요성 및 주장

이 논문은 ScribbleEdit 이 공동 낙서 - 텍스트 해석을 위한 전문화된 학습 데이터 부족 문제를 효과적으로 해결한다고 주장합니다. 저자들은 오프 - 더 -셸 모델들이 추상적인 낙서 입력 (종종 낙서와 유사한 특징을 생성하거나 편집에 실패함) 에 어려움을 겪는 반면, 합성 데이터셋에 대한 파인튜닝은 공간적으로 정렬되고 의미론적으로 일관된 편집을 생성하는 능력을 크게 향상시킨다고 입증합니다.

이 연구는 ScribbleEdit 을 정밀하고 인간 중심의 편집 도구에 대한 향후 연구를 장려하는 자원으로 위치시킵니다. 저자들은 한계를 인정하며, 데이터셋이 합성된 것이 아닌 기존 인간 그림에 의존하고, 주로 객체 추가에 초점을 맞추며, 노이즈를 도입할 수 있는 자동화 파이프라인에 의존한다고 지적합니다. 향후 연구로는 세분화된 부분 편집과 더 의미론적으로 인식된 낙서 생성 방법 (예: CLIPasso) 의 사용을 탐구할 수 있음을 제안합니다.