ProductConsistency: Improving Product Identity Preservation in Instruction-Based Image Editing via SFT and RL

기술 요약: ProductConsistency

문제 정의

최근 지시어 기반 이미지 편집 기술의 발전으로 자연어를 통한 복잡한 시각적 수정이 가능해졌으나, 현재의 모델들(오픈 소스 및 폐쇄형 소스 모두)은 제품 중심의 시나리오에서 상당한 어려움을 겪고 있습니다. 광고, 이커머스, 마케팅과 같은 도메인에서는 편집된 이미지가 엄격한 시각적 정확성을 유지해야 합니다. 기존 모델들은 미세한 객체의 정체성(identity)을 보존하는 데 자주 실패하며, 이로 인해 제품의 기하학적 구조가 왜곡되거나, 브랜드 로고가 변형되거나, 제품 표면의 텍스트를 환각(hallucination)하거나 오타를 내는 현상이 발생합니다.

이러한 실패의 주요 원인은 브랜드 일관성과 텍스트 충실도를 명시적으로 타겟팅하는 전용 데이터셋과 벤치마크의 부재입니다. 기존 벤치마크는 렌더링된 텍스트를 무시하거나, 사진 촬영된 객체가 아닌 문서 스타일의 레이아웃에 집중하는 경러가 있습니다. 또한, 현재의 강화 학습(RL) 보상 모델은 일반적인 미적 품질이나 지시어 이행 능력에 초점을 맞추고 있어, 제품 정체성 보존이라는 특정 제약 조건을 포착하지 못합니다.

방법론

저자들은 새로운 데이터셋, 합성 데이터 생성 파이프라인, 그리고 지도 미세 조정(SFT) 및 강화 학습(RL)을 포함하는 특화된 훈련 전략으로 구성된 종합적인 프레임워크를 제안합니다.

1. ProductConsistency 데이터셋 및 생성 파이프라인

본 연구의 핵심은 검증 가능한 텍스트와 고유한 브랜드 정체성을 가진 고품질 합성 제품 이미지를 생성하기 위한 완전 자동화된 파이프라인입니다.

• 합성 생성: 파이프라인은 8개 카테고리(예: 식품, 음료, 화장품)에 걸친 131개의 고유한 제품 아이템을 정의합니다. MLLM(GPT-o3-mini)은 다양한 제품 설명과 브랜드 시그니처(이름, 색상 팔레트, 폰트 스타일)를 생성합니다.
• 이미지 합성 및 필터링: 이미지는 GPT-Image-1 High를 사용하여 생성됩니다. 텍스트 충실도를 보장하기 위해 엄격한 OCR 기반 필터링 단계가 적용됩니다. OCR 모델($T_{ocr}$)이 감지한 텍스트가 프롬프트에 명시된 정답 텍스트($T_{gt}$)와 정확히 일치하는 경우에만 이미지를 유지합니다. 이 과정을 통해 가독성 있는 텍스트를 가진 2,002개의 고정밀 합성 제품 세트가 확보되었습니다.
• 데이터 분할: 필터링된 데이터는 다음과 같이 나뉩니다:
  • SFT 데이터셋: 지도 미세 조정을 위해 사용되는 87,242개의 샘플.
  • RL 데이터셋: 베이스라인 모델 성능의 분산이 높은(즉, 최적화의 이득이 가장 큰 "실패하기 쉬운" 사례를 나타내는) 869개의 고유 제품 이미지(1,133개의 고유 제품에서 유도됨)를 선정.
  • 벤치마크: 8개 카테고리에 걸친 174개의 제품 이미지(카테고리당 5개의 프롬프트, 총 870개 샘플)로 구성된 인간 검증 테스트 세트.

2. 훈련 프레임워크

저자들은 두 가지 오픈 소스 모델인 Qwen-Image-Edit-2511과 Flux.1-Kontext-dev를 미세 조정합니다.

• 지도 미세 조정 (SFT): 모델은 LoRA(Low-Rank Adaptation)를 사용하여 87k SFT 데이터셋으로 훈련됩니다. SFT를 위한 타겟 이미지는 Qwen-Image-Lightning(속도와 텍스트 렌더링 성능을 고려하여 선택)을 사용하여 생성되며, 정답으로 사용될 출력물이 올바른 텍스트를 갖도록 OCR로 필터링됩니다.
• 강화 학습 (RL): SFT 체크포인트로부터 FlowGRPO 알고리즘을 사용하여 훈련을 지속합니다.
  • 순환 일관성 보상 (Cyclic Consistency Reward): 명시적인 제품 일관성 보상 모델 없이 RL을 유도하기 위해, 저자들은 대리 보상(proxy reward)을 제안합니다. 편집된 이미지로부터 MLLM(Qwen3-VL)을 사용하여 캡션($c_{gen}$)을 생성하고, 이 캡션의 임베딩과 원래 제품 설명($c_{gt}$)의 임베딩 사이의 코사인 유사도를 계산합니다. 이는 제품 정체성의 의미론적 보존을 강제합니다.
  • OCR 보상: 이는 문자 에러율(CER) 기반 보상과 결합되어 텍스트 환각 및 철자 오류를 명시적으로 처벌합니다.
  • 결합: GDPO 알고리즘을 사용하여 순환 일관성과 OCR 보상을 동일한 가중치로 결합합니다.

주요 기여

1. ProductConsistency 데이터셋 및 파이프라인: 고유한 브랜드 정체성과 검증 가능한 렌더링 텍스트를 가진 합성 제품 이미지를 생성하는 완전 자동화된 파이프라인을 구축하여, 제품 중심 편집을 위한 확장 가능한 감독(supervision)을 가능하게 함.
2. ProductConsistency 벤치마크: 제품 정체성 보존, 텍스트 충실도 및 시각적 일관성을 평가하도록 설계된, 8개 카테고리에 걸친 174개 제품 이미지와 각 5개의 편집 프롬프트(870개 샘플)로 구성된 엄격한 평가 스위트.
3. 순환 일관성 보상을 활용한 제품 인지 훈련: 생성된 이미지 캡션을 원래 제품 설명과 정렬하고 OCR 기반 보상을 통합하는 새로운 RL 프레임워크. 이 접근 방식은 지시어 준수, 의미론적 제품 정체성 및 텍스트 충실도를 명시적으로 타겟팅함.

결과

저자들은 ProductConsistency 벤치마크를 사용하여 OCR 메트릭, 세그멘테이션 기반 지각 메트릭(Seg CLIP-I, Seg DINO-I), 그리고 MLLM 기반 평가(GPT-5.1)를 통해 강력한 베이스라인 모델들(HiDream-E1-1, OmniGen2, NanoBanana, GPT-Image-1 포함)과 자사의 미세 조정된 모델들을 비교 평가했습니다.

• 정량적 개선: ProductConsistency 데이터셋으로 미세 조정된 모델들은 모든 지표에서 일관된 개선을 보였습니다.
  • Qwen-Image-Edit-2511: SFT를 통해 문자 에러율(CER)이 1.0682에서 0.7803으로 감소했습니다. 순환 일관성 보상을 적용한 RL을 추가하자 CER이 0.2080으로 더욱 감소하여, 베이스 모델 대비 5배의 CER 감소를 달이트했습니다. Seg CLIP-I는 0.8728에서 0.9245로 향상되었습니다.
  • Flux.1-Kontext-dev: 강력한 베이스라인에서 시작하여, SFT 및 RL 훈련 후 가장 낮은 전체 CER인 0.1204와 최고의 DINO-I 점수인 0.8115를 달성했습니다.
• 정성적 및 MLLM 평가: GPT 기반 평가는 자동화된 지표의 개선이 제품 일관성, 텍스트 충실도(폰트 및 색상 포함) 및 전반적인 미적 품질의 가시적인 이득으로 이어진다는 것을 확인했습니다.
• 절제 연구 (Ablation Study): 연구는 순환 일관성 보상을 EditReward 및 Segmented Visual Consistency 보상과 비교했습니다. Segmented Visual Consistency는 높은 자동화 점수를 달성했으나, 모델이 편집을 수행하는 대신 입력 이미지를 그대로 재현하는 "보상 해킹(reward hacking)" 현상이 발생하여 미적 품질과 지시어 이행 능력이 떨어지는 문제가 있었습니다. 반면, 순환 일관성 보상은 자동화된 지표와 GPT 기반 평가 모두에서 다른 구성보다 우수한 성능을 보이며 더 견고한 훈련 신호를 제공했습니다.

의의

본 논문은 현재의 지시어 기반 편집 모델이 미세한 제품 정체성과 텍스트 충실도를 유지하지 못한다는 분야의 결정적인 공백을 해결한다고 주장합니다. 전용 데이터셋, 벤치마크, 그리고 순환 일관성과 OCR 보상에 중심을 둔 훈련 프레임워크를 도입함으로써, 저자들은 제품 일관성을 명시적으로 모델링하는 것이 광고 및 이커머스의 실제 응용 분야에서 필수적임을 입증했습니다. 결과는 이 특정 프레임워크로 강력한 오픈 소스 에디터를 미세 조정하는 것이 상당한 이득을 가져다주며, 제품 중심 편집 작업에서 폐쇄형 모델과 대등하거나 그 이상의 경쟁력을 갖출 수 있음을 보여줍니다.