Towards Robust Sequential Decomposition for Complex Image Editing

기술 요약: 복잡한 이미지 편집을 위한 견고한 순차적 분해

문제 제기
최근 시각 생성 모델은 인간의 지시에 따른 고충실도 이미지 편집을 발전시켰습니다. 그러나 이러한 모델은 조합적 편집 작업이나 단계 간 의존성을 포함하는 복잡한 지시사항을 처리하는 데 어려움을 겪습니다. 해당 논문은 이러한 복잡성 하에서 실패하는 두 가지 표준 패러다임을 식별합니다:

1. 단일 턴 편집: 모든 지시된 편집을 한 번에 적용하려는 시도입니다. 이는 종종 복잡한 지시사항을 정확하게 구문 분석하지 못해 불완전하거나 잘못된 편집으로 이어집니다.
2. 순차적 편집: 작업을 더 간단한 단계로 분해하지만 누적 오류에 시달립니다. 초기 단계에서 발생한 부정확성이 후속 단계로 전파되어 최종 결과의 충실도를 저하시킵니다.

핵심 과제는 다단계 지시 분해의 이점과 오류 누적의 단점 사이의 균형을 맞추는 것입니다.

방법론
저자들은 맥락 내 편집 프레임워크 내에서 견고한 솔루션을 제안합니다. 여기서 멀티모달 모델은 맥락 입력의 전체 기록에 조건을 두어 분해된 지시사항과 해당 편집된 이미지의 교차 순서를 생성합니다.

• 합성 데이터 파이프라인: 복잡한 작업을 위한 고품질 분해 데이터의 부재를 해결하기 위해 저자들은 Blender 에서 파이프라인을 개발했습니다.

  • 장면 초기화: 무작위 객체와 재료를 사용하여 3D 장면을 절차적으로 생성합니다.
  • 편집 체인 구성: 10 개의 원자적 편집 작업 (예: 객체 추가, 제거, 이동, 회전, 색상/재질 변경, 시점 변경, 배경 변경) 의 시퀀스를 적용합니다.
  • 단계 간 의존성 주입: 후속 작업이 이전 편집 결과에 참조를 요구함으로써 복잡성을 도입합니다 (예: "재색상된 객체를 이동하라" 또는 "의자가 원래 있던 곳에 책을 추가하라").
  • 정답 (Ground Truth): 작업이 결정적이므로 파이프라인은 완벽하게 정확한 분해된 시퀀스와 목표 이미지를 생성하여 94,000 개의 고품질 편집 시퀀스 (60K 독립형, 34K 종속형) 를 큐레이션할 수 있게 합니다.

• 모델 학습: 이 프레임워크는 BAGEL, 즉 통합 멀티모달 모델을 활용합니다. 모델은 다음 세 가지 목적 함수로 파인튜닝됩니다:

  1. 지시 분해: 복잡한 지시사항과 소스 이미지를 기반으로 중간 이미지 사이의 분해된 지시사항을 예측합니다.
  2. 맥락 내 편집: 분해된 텍스트 - 이미지 쌍을 기반으로 중간 및 목표 이미지를 생성하며, 정류 흐름 (rectified flow) 목적 함수를 사용합니다.
  3. 단일 턴 편집: 복잡한 지시사항을 사용하여 소스에서 목표까지 단일 단계로 편집하는 능력을 유지합니다.

• 추론 패러다임: 저자들은 추론 동안 세 가지 패러다임을 구현하고 비교합니다:

  1. 단일 턴 편집: 소스에서 목표로의 직접 편집.
  2. 전체 맥락 순차적 편집 (FCSE): 작업을 $K$단계로 분해하며, 각 단계는 이전 모든 텍스트 및 이미지 맥락에 주의를 기울입니다.
  3. 맥락 유도 순차적 편집 (CGSE): 오류 누적을 완화하는 새로운 패러다임입니다. 소스 이미지와 분해된 지시사항의 전체 시퀀스에서 기본 속도 ($v_d$) 를 계산한 후, 이전 편집 결과에서 파생된 별도의 "맥락 유도" 항을 적용합니다. 이를 통해 모델은 계수 ($\gamma_{ctx}$) 를 통해 역사적 편집의 영향을 조절하여 초기 오류가 후속 단계를 손상시키는 것을 방지합니다.

• 시뮬레이션에서 현실로의 전이 (Sim-to-Real Transfer): 실제 세계 이미지로 일반화하기 위해 모델은 합성 분해 시퀀스와 Pico-Banana 의 실제 세계 단일 턴 편집 쌍의 혼합물로 공동 학습됩니다.

주요 결과

• 합성 도메인:

  • 제로샷 순차적 편집은 최첨단 모델 (예: GPT-4o, Gemini 2.5 Flash Image) 에서 심각한 성능 저하를 초래합니다.
  • 합성 데이터로 파인튜닝하면 견고한 순차적 분해가 가능해집니다. 맥락 유도 순차적 편집 (CGSE) 은 단일 턴 베이스라인 및 전체 맥락 순차적 편집을 일관되게 능가하며, 특히 단계 간 의존성이 있는 작업에서 두드러집니다.
  • CGSE 는 GPT 평가 점수에서 최고의 성과를 거두며, 작업 복잡성 (체인 길이 및 의존성 비율) 이 증가함에도 유사성 지표 (DINO-I/DINO-D) 에서 견고성을 유지합니다.
  • 분해 단계 증가 (최대 $K=5$) 는 일반적으로 추가적인 개선을 가져옵니다.

• 시뮬레이션에서 현실로의 일반화:

  • 실제 세계 데이터와의 공동 학습은 합성 작업에서 학습된 분해 기술이 효과적으로 전이되도록 합니다.
  • Complex-Edit 벤치마크에서 2 단계 맥락 유도 편집을 적용한 공동 학습 모델은 단일 턴 베이스라인 및 합성 데이터만으로 학습된 모델보다 우수한 지시 준수 (IF) 및 정체성 보존 (IP) 을 달성합니다.
  • 인간 선호도 연구는 2 단계 CGSE 접근 방식이 지시 준수 및 정체성 보존 측면에서 선호됨을 확인했으나, 실제 이미지에서의 단일 턴 편집에 비해 지각적 품질에서 약간의 트레이드오프가 있음을 보여줍니다.

의의 및 주장
이 논문은 고품질 분해 편집 시퀀스로 학습하고 오류 누적을 관리하는 잘 설계된 추론 패러다임을 통합함으로써 견고한 순차적 분해가 달성 가능하다고 주장합니다. 구체적으로:

• 순차적 분해의 실현 가능성: 오류 누적으로 인해 순차적 실행이 필연적으로 저충실도 결과로 이어진다는 신념과 달리, 저자들은 적절한 학습과 맥락 유도 패러다임을 통해 분해가 작업 복잡성이 증가함에도 견고한 개선을 가져온다는 것을 입증합니다.
• 시뮬레이션에서 현실로의 전이: 합성 작업에서 학습된 기술 (특히 의존성 추론 및 지시 분해 능력) 은 공동 학습을 통해 실제 세계 도메인으로 성공적으로 전이되어 더 넓은 도메인 전반의 복잡한 이미지 편집을 향상시킵니다.
• 프레임워크의 유용성: 맥락 내 편집 프레임워크는 다양한 편집 패러다임을 연구하고 비교할 수 있는 통합된 관점을 제공하며, 분해의 이점과 오류 전파의 위험 사이의 균형을 맞추기 위해 맥락 유도 전략이 필수적임을 보여줍니다.

저자들은 그들의 작업이 주로 의미적 일관성과 지시 준수에 초점을 맞추고 있지만, 실제 세계의 순차적으로 편집된 이미지의 지각적 품질을 향상시키는 것이 향후 연구 영역으로 남아있다고 결론지었습니다.