기술 요약: 계획에서 픽셀까지: 개방형 이미지 편집을 위한 계획 및 오케스트레이션 학습

문제 정의

현대적인 확산 기반 이미지 편집 모델은 구체적이고 명확하게 정의된 변환 (예: "자동차 색상을 빨간색으로 변경") 에서는 탁월한 성능을 발휘하지만, 추상적이고 개방적이며 장기적인 지시 (예: "이 광고를 농촌 대상에 맞게 조정") 에서는 어려움을 겪습니다. 이러한 작업은 이미지, 텍스트, 레이아웃, 맥락에 대한 조율된 변경을 요구하며, 종종 여러 하위 작업과 이질적인 도구를 포함합니다. 기존 에이전트 기반 접근 방식은 이러한 작업을 분해하려 시도하지만, 수동으로 제작된 파이프라인이나 교사 모방에 의존합니다. 이러한 방법들은 실행 순서와 휴리스틱을 고정하여, 계획기를 자체 분포에 대해 학습시키거나 실제 편집 결과에 기반하여 도구 선택을 최적화하지 못합니다. 이로 인해 분포 이동, 제한된 일반화, 그리고 개방형 지시문에 대한 낮은 확장성이 발생합니다.

방법론

저자들은 장기적인 이미지 편집을 계획 (Planning) 과 오케스트레이션 (Orchestration) 의 두 단계로 분리하면서도 긴밀하게 결합한 경험적 학습 프레임워크를 제안합니다. 이 시스템은 편집 도구와 상호작용하며, 비전 - 언어 모델 (VLM) 판정관으로부터 결과 기반 피드백을 받아 정책을 정제합니다.

1. 1 단계: 체크리스트 기반 계획기 (자기지도 학습)

입력 이미지 $x$와 고수준 지시문 $I$가 주어지면, 멀티모달 LLM(계획기) 은 구조화되고 순서가 매겨진 원자적 하위 작업 시퀀스 $P = \{s_1, \dots, s_T\}$를 생성합니다.

• 체크리스트 구성: 취약한 수동 제작 템플릿에 의존하지 않고 포괄적인 범위를 보장하기 위해, 계획기는 만족스러운 편집이 충족해야 하는 기준 (예: 제품 교체, 의미론적 정렬) 을 명시하는 체크리스트 $C$로 프롬프트됩니다.
• 자기지도 미세 조정: 분포 이동을 초래하는 교사 모델 모방 대신, 계획기는 자기 증류 (self-distillation) 를 통해 미세 조정됩니다. 이는 체크리스트 프롬프트 하에서 스스로 생성한 계획을 재현하도록 학습하며, 오직 $(x, I)$에만 조건을 둡니다. 이는 훈련을 모델의 고유 생성 분포와 정렬시켜 안정성과 일반화를 향상시킵니다.
• 추론: 테스트 시에는 체크리스트가 제거되며, 미세 조정된 계획기는 $(x, I)$로부터 직접 구조화된 다단계 계획을 생성합니다.

2. 2 단계: 보상 기반 오케스트레이터

계획 $P$에 조건을 두어, 오케스트레이터 (또 다른 멀티모달 LLM) 는 각 하위 작업에 대해 적절한 도구 $a_t$와 영역 $r_t$를 선택합니다.

• 도구 세트: 이 프레임워크는 영역 발견을 위한 분석 도구 (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox), 전체 이미지 편집기 (Flux Kontext, Qwen-Image-Edit), 그리고 영역 수준 편집기 (Flux Inpaint) 를 포함한 모듈식 도구 세트를 활용합니다.
• 보상 함수: 강력한 VLM 판정관은 지시문 준수, 정체성 보존, 시각적 품질이라는 세 가지 기준에 따라 편집된 이미지 $\hat{x}$를 평가합니다.
• 정책 최적화: 오케스트레이터는 기대 궤적 보상을 최대화하도록 훈련됩니다. 전체 궤적을 평가하는 것은 계산 비용이 많이 들기 때문에, 저자들은 두 가지 근사법을 도입합니다:
  1. 가법적 보상 근사: 궤적 보상은 독립적인 하위 작업 보상의 합으로 근사됩니다.
  2. 원본 이미지 독립성: 도구 기여도는 중간 편집이 아닌 원본 이미지에서 평가하여 추정됩니다.
     이러한 근사법은 도구 - 영역 쌍에 대한 보상을 사전 계산할 수 있게 하여, 처리 가능한 정책 최적화를 가능하게 합니다.

3. 폐루프 정제 및 추론

• 계획 정제: 오케스트레이터를 훈련하기 전에, 달성 가능한 최대 보상이 임계값 $\tau$ 미만인 비현실적인 하위 작업은 제거됩니다. 그 후 계획기는 이러한 정제된 계획에 대해 재훈련되어 고수준 추론을 실행 가능한 행동 공간과 정렬시킵니다.
• 검증자 기반 선택: 추론 동안 오케스트레이터는 상위 $k$개 도구 - 영역 후보를 제안합니다. 경량 검증자 (VLM 판정관에서 증류된) 는 이러한 중간 편집을 점수 매기고, 가장 높은 점수를 받은 편집이 다음 단계에 선택됩니다. 이는 효율성을 유지하면서 오류 누적을 줄입니다.

주요 기여

1. 장기적 이미지 편집 프레임워크: 이 논문은 추상적 편집을 조율된 계획 및 오케스트레이션 문제로 제시하여, 단일 단계 생성을 넘어선 다단계 추론을 가능하게 합니다.
2. 자기지도 체크리스트 기반 계획: 구조화된 계획기는 교사 모방에 비해 분포 이동을 줄이면서 자체 체크리스트 기반 샘플로부터 분해를 학습합니다.
3. 경험적 오케스트레이터: 보상 기반 정책은 수동 제작 규칙이나 정적 프롬프트가 아닌, 판정된 편집 결과로부터 직접 도구 및 영역 선택을 학습합니다.
4. 폐루프 정제: 시스템은 오케스트레이션 피드백을 기반으로 비현실적인 하위 작업을 제거하여 계획을 실행 가능한 행동과 정렬시키고, 최첨단 성능을 달성합니다.

실험 결과

이 프레임워크는 MadVerse 데이터셋 (다국어 광고) 과 GEdit-Bench, MagicBrush와 같은 표준 벤치마크에서 평가되었습니다.

• 베이스라인 비교: 이 방법은 강력한 단일 단계 편집기 (Flux Kontext, Qwen-Image-Edit) 와 다단계 에이전트 베이스라인 (GenArtist, LayerCraft) 보다 우수한 성능을 보입니다. 단일 단계 모델은 종종 복잡한 지시문을 실행하지 못하거나 이미지 정체성을 저하시키는 반면, 제안된 방법은 강력한 정체성 보존과 시각적 품질을 유지하면서 더 높은 지시문 준수 점수를 달성합니다.
• 사용자 연구: 인간 참가자를 대상으로 한 무작위 A/B 테스트는 베이스라인보다 제안된 방법의 출력에 대한 일관된 선호도를 보여주었습니다.
• 절대 실험 (Ablation Studies):
  • 오케스트레이터 설계: 명시적인 도구 선택 정책을 학습하도록 오케스트레이터를 훈련하는 것은 기본 모델을 프롬프트하거나 단일 도구 순차 베이스라인을 사용하는 것보다 훨씬 우수한 성능을 냅니다.
  • 계획 소스: 체크리스트 기반 자기 증류는 교사 생성 계획으로 훈련하는 것보다 더 낮은 퍼플렉시티와 더 나은 분포 정렬을 제공합니다.
  • 계획 정제: 비현실적인 하위 작업을 필터링하면 달성 가능한 평균 최대 보상이 증가하여 계획과 실행 간의 호환성이 개선되었음을 확인합니다.
  • 추론 분기: 추론 중 후보 분기 수 ($k$) 를 늘리면 지시문 만족도와 시각적 품질이 지속적으로 향상됩니다.

중요성 및 주장

이 논문은 계획과 보상 기반 실행을 긴밀하게 결합함으로써, 단일 단계 또는 규칙 기반 다단계 베이스라인보다 더 일관되고 신뢰할 수 있는 편집을 산출한다고 주장합니다. 그 중요성은 수동 제작 파이프라인과 교사 모방에서 경험적 학습 패러다임으로의 전환에 있습니다. 학습된 판정관을 통해 편집 도구의 실제 결과로부터 학습함으로써, 시스템은 경험적 성과에 기반하여 결정을 내립니다. 이는 조율된 다단계 변환이 필요한 추상적이고 개방적인 지시문을 처리할 수 있게 하여, 현재 지시문 기반 이미지 편집 시스템의 중요한 한계를 해결합니다. 저자들은 도구 및 판정된 결과와의 상호작용을 통해 방법이 개선되며, 복잡한 시각적 추론 작업을 위한 확장 가능한 경로를 제공한다고 강조합니다.