💻 computer science

DuET: Dual Expert Trajectories for Diffusion Image Editing

DuET는 구조적 무결성을 유지하면서 타겟 지시사항에 더 잘 부합하도록 텍스트-투-이미지 단계를 일시적으로 거침으로써 확산 기반 이미지 편집을 향상시키는 학습이 필요 없는 추론 방법이며, 그 선택적 변형은 편집 충실도와 소스 보존 사이의 균형을 더욱 최적화한다.

원저자: Lidia Troeshestova, Alexander Ustyuzhanin, Sergey Kastryulin

게시일 2026-08-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lidia Troeshestova, Alexander Ustyuzhanin, Sergey Kastryulin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터와 대화하며 당신이 상상하는 무엇이든 그려달라고 요청할 수 있는 세상을 상상해 보세요. 수년 동안 과학자들은 마치 마법의 스케치북처럼 작동하는 "텍ext-to-image(텍스트 투 이미지)" 모델을 구축해 왔습니다. 당신이 "모자를 쓴 고양이"라고 입력하면 그들은 그것을 그려냅니다. 하지만 이미 존재하는 사진을 바꾸고 싶다면 어떻게 될까요? 예를 들어, 고양이를 강아지로 바꾸거나, 화창한 날을 폭풍우 치는 날로 바꾸고 싶을 때 말이죠. 여기서 "이미지 편집(image editing)" 모델이 등장합니다. 이 모델들은 당신의 원래 사진과 새로운 지시 사항을 받아, 바꾸지 말라고 요청한 부분은 정확히 그대로 유지하면서 사진을 다시 써 내려가려고 노력합니다.

까다로운 점은 이 이미지 편집 모델들이 매우 신중한 예술가와 같다는 것입니다. 이들은 작업하는 내내 원래의 사진에 매여 있기 때문에, 때때로 큰 변화를 주는 것을 너무 두려워합니다. 만약 당신이 작은 집을 거대한 성으로 바꿔달라고 요청한다면, 그들은 집을 약간 더 크게 만들 뿐이며, 나머지 장면은 이상하거나 과거에 머물러 있는 것처럼 보이게 만듭니다. 그들은 원래의 것을 망치지 않는 데 너무 집중한 나머지, 당신의 새로운 지시를 완전히 따르는 데 실패합니다. 이 논문은 바로 이 구체적인 문제를 다룹니다. 어떻게 하면 이 디지털 예술가들이 원래 사진의 영혼을 잃지 않으면서도 과감하게 큰 변화를 줄 수 있게 만들 것인가 하는 문제입니다.

저자들은 DuET(Dual Expert Trajectories, 이중 전문가 궤적)이라는 영리한 새로운 기술을 소개합니다. 이미지 편집 과정을 빈 캔버스에서 완성된 걸작에 이르는 긴 여정이라고 생각해 보세요. 보통 컴퓨터는 원래의 사진을 끊임없이 바라보며 경로를 벗어나지 않도록 주의하는 "편집 모드(Edit Mode)"로 이 여정을 수행합니다. DuET 방식은 다른 경로를 제안합니다. 여정 중 짧고 특정한 구간 동안, 컴퓨터는 원래의 사진을 완전히 보는 것을 멈춰야 합니다. 대신, 컴퓨터는 오직 당신의 새로운 장면 묘사에만 귀를 기울이는 "Text-to-Image(텍스트 투 이미지) 모드"로 전환합니다. 이는 마치 배경 음악(원래의 사진)에 맞춰 연주하던 음악가가, 몇 마디 동안은 노이즈 캔슬링 헤드폰을 쓰고 오직 악보(당신의 지시 사항)에만 의존하여 즉흥 연주를 하는 것과 같습니다. 이를 통해 컴퓨터는 장면을 당신의 비전에 맞게 완전히 재구성할 수 있습니다.

이 짧은 "솔로" 연주 후에, 컴퓨터는 헤드폰을 벗고 나머지 여정을 위해 다시 "편집 모드"로 돌아옵니다. 이제 커다란 구조적 변화가 이루어졌으므로, 컴퓨터는 다시 원래의 사진을 바라보며 세부적인 디테일을 채우고 조명과 질감이 여전히 자연스럽게 보이도록 만듭니다. 논문은 이 "Edit(편집) → Text-to-Image(텍스트 투 이미지) → Edit(편집)"의 춤이 한 가지 모드에 계속 머물러 있는 것보다 훨씬 더 효과적임을 보여줍니다. 이 방식은 결과물이 당신이 요청한 것과 더 닮게 만들고, 특히 전체 사물을 교체하거나 배경을 바꾸는 것과 같은 큰 변화를 줄 때 더욱 자연스럽게 느껴지도록 합니다.

하지만 연구진은 한 가지 문제점을 발견했습니다. 컴퓨터가 원래의 사진을 보는 것을 멈추면, 아주 잠깐이라도, 당신이 똑같이 유지하고 싶었던 부분까지 변화시키는 경우가 생깁니다. 이는 트레이드오프(trade-off, 절충 관계)입니다. 더 나은, 더 정확한 편집을 얻는 대신, 원래 이미지의 정밀함이 아주 조금 손실될 수 있습니다. 논문은 픽셀이 얼마나 유사한지를 확인하는 SSIM이라는 점수로 이를 측정합니다. 그들은 새로운 방식이 "재미있는" 부분(예: 지시 사항을 얼마나 잘 따르는지, 얼마나 자연스러운지)은 개선하지만, "보존(preservation)" 점수는 약간 떨어진다는 것을 발견했습니다.

하지만 정말 멋진 부분은 여기 있습니다. 저자들은 이 트레이드오프가 엄격한 규칙이 아니라고 제안합니다. 그들은 Selective DuET(선택적 DuET)라는 더 똑똑한 버전을 만들었습니다. 이 버전은 교통 경찰처럼 행동합니다. 여정이 시작되기 전, 이미지를 빠르게 훑어보고 컴퓨터가 이미 원래의 이미지를 얼마나 "붙잡고 있는지"를 확인합니다. 만약 이미지가 거대한 변화(예: 집을 나무로 바꾸는 것)를 필요로 한다면, 교통 경찰은 "가도 좋다, 솔로를 해라!"라고 말합니다. 하지만 이미지가 아주 미세한 수정만을 필요로 한다면, 경찰은 "모드를 바꿀 필요 없다, 그냥 편집을 계속하라"고 말합니다. 위험이 따르는 "솔로" 방식을 꼭 필요한 경우에만 사용함으로써, 그들은 보존 점수가 인간이 실제로 인지할 수 있을 정도로 떨어지지 않으면서도 고품질의 편집을 얻는 방법을 찾아냈습니다.

요약하자면, 이 논문은 이미지를 더 잘 편집하기 위해 더 복잡하고 새로운 로봇을 훈련시킬 필요가 없다는 것을 증명합니다. 단지 기존의 로봇에게 언제 원래의 사진을 보는 것을 멈추고, 언제 당신의 말에만 귀를 기울여야 하는지를 가르치기만 하면 됩니다. 이는 디지털 아트 편집을 더 유연하고 창의적으로 만드는 간단하고 비용이 들지 않는 업그레이드이며, 때로는 완벽한 결과를 얻기 위해 잠시 동안 과거를 놓아줄 필요가 있다는 것을 보여줍니다.

기술 요약: DuET (Dual Expert Trajectories)를 이용한 확산 이미지 편집

1. 문제 정의

FLUX2-Klein 및 통합 멀티모달 모델(UMMs)과 같은 최신 지시어 기반 이미지 편집 모델들은 구조적 무결성을 유지하기 위해 모든 단계에서 소스 이미지를 디노이징 과정에 조건화(conditioning)합니다. 이러한 "지속적인 소스 이미지 앵커링(persistent source-image anchoring)"은 편집되지 않은 영역을 안정적으로 유지해주지만, 본 논문은 이것이 근본적인 한계를 만든다고 주장합니다. 즉, 타겟 장면이 입력값과 크게 달라질 경우(예: 전역적 재작성, 객체 교체), 모델이 지시어를 완전히 실행하는 데 어려움을 겪게 됩니다. 이는 종종 결과물이 순수 텍스트-투-이미지(T2I) 생성보다 덜 자연스럽고, 합성 아티팩트, 질감 충돌, 조명 불일치 현상을 보이는 원인이 됩니다.

현재의 파이프라인은 전체 궤적(trajectory) 동안 단일 모드로 작동합니다. 즉, 엄격한 편집 모드(소스 + 지시어) 또는 T2I 모드(캡션만 사용) 중 하나를 선택하며, 단일 편집 과정 중에 소스 앵커링을 동적으로 조절하여 두 가지 능력을 모두 활용하지 못합니다.

2. 방법론: DuET

저자들은 단일 디노이징 궤적 내에서 조건화 모드를 동적으로 전환하는 훈련 불필요(training-free) 추론 프레임워크인 **DuET (Dual Expert Trajectories)**를 제안합니다. 핵심 메커니즘은 편집 모드에서 T2I 모드로, 다시 편집 모드로 일시적으로 전환하는 것(E → T2I → E)입니다.

2.1 전환 메커니즘

표준 편집 (E): 모든 단계 $k$ 에서 소스 이미지( $x_{src}$ )와 편집 지시어( $p_{edit}$ )를 조건화합니다.
표준 T2I: 모든 단계에서 타겟 캡션( $c_{tgt}$ )에만 조건화합니다.
DuET 스케줄: 샘플러는 초기 단계에서는 편집 모드로 실행되다가, 특정 구간 $[k_1, k_2)$ $[k_{1}, k_{2})$ 동안 외부 시각-언어 모델(VLM)이 생성한 타겟 캡션을 사용하는 T2I 모드로 전환된 후, 남은 단계 동안 다시 편집 모드로 복귀합니다.
- 여기서 "전문가(experts)"는 별도의 네트워크 가중치가 아니라 서로 다른 **조건화 양식(conditioning modalities)**을 의미합니다.
- 이는 가중치 업데이트, 추가적인 순전파(forward pass), 또는 모델 미세 조정(finetuning)을 필요로 하지 않습니다.

2.2 타겟 캡션 생성

궤적이 T2I 단계에 진입할 때, 모델은 의도된 결과물을 설명하는 타겟 캡션( $c_{tgt}$ )이 필요합니다. DuET는 소스 이미지와 원래의 편집 지시어를 조건으로 하는 외부 VLM(예: Gemini-2.5-pro)을 사용하여 이를 얻습니다.

2.3 선택적 DuET (Selective DuET, 적응형 라우팅)

고정된 구간 설정이 전역적 변화를 요구하지 않는 편집에 대해 불필요하게 소스 보존 능력을 저하시릴 수 있음을 인지하여, 저자들은 순수 편집 패스의 초기 단계에서 읽어온 경량 "어텐션 프로브(attention-probe)" 신호를 사용하여 모드 전환 여부를 결정하는 Selective Duppet 변형을 도입했습니다.

신호: 초기 프로브 단계( $k=9$ $k = 9$ )에서 두 가지 지표가 계산됩니다:
1. $\pi$ (보존 압력, Preservation Pressure): 모델의 어텐션이 소스 이미지에 얼마나 강력하게 앵커링되어 있는지를 나타내는 고분위수(high-quantile) 측정치입니다.
2. $cv$ (변동 계수, Coefficient of Variation): 소스에 대한 의존성의 공간적 국소성(spatial locality)을 나타내는 척도입니다.
결정 규칙: 편집이 높은 보존 압력( $\pi > 0.22$ )을 보이거나 높은 공간적 국소성($cv > 0.50$)을 보이면, 시스템은 순수 편집 모드를 유지합니다. 만약 편집이 공간적으로 균일하고 낮은 보존 압력을 보인다면(전역적 재작성을 나타냄), 시스템은 T2I 탐색(excursion)을 트리거합니다.

3. 주요 기여

훈련이 필요 없는 태스크 전환: 단일 디но이징 경로를 따라 편집과 T2I 모드를 교차함으로써, 미세 조정이나 추가 연산 없이 지시어 관련성과 충실도(fidelity)를 개선하는 프레임워크를 제시했습니다.
포괄적인 평가: FLUX2-Klein (4B/9B) 및 BAGEL 모델을 대상으로 다양한 벤치마크(GEdit, ImgEdit, MagicBrush, GIE-Bench)에서 광범에한 평가를 수행하였으며, 소스 이미지를 제거하는 것과 캡션을 전환하는 것의 효과를 격리하기 위해 매칭된 대조군을 활용했습니다.
Selective DuET: 편집 충실도와 소스 보존 사이의 트레이드오프가 근본적인 것이 아님을 입증하는 per-edit 라우팅 전략을 통해, 어텐션 신호에 기반해 라우팅함으로써 소스 보존 성능을 베이스라인과 유사한 수준으로 유지하면서도 충실도와 자연스러움을 개선했습니다.

4. 실험 결과

저자들은 50단계 샘의를 기준으로 세 가지 베이스 모델에 대해 DuET를 평가했습니다.

고정 구간 성능: 고정된 Duet 스케줄(예: $[10, 16)$ , $[25, 35)$ , $[35, 45)$ 구간 동안 T2I로 전환)은 모든 모델에서 순수 편집 베이스라인에 비해 의미적 일관성(G_SC), 지각적 품질(G_PQ), 기능적 정확성을 일관되게 향상시켰습니다.
트레이드오프: 이러한 이득은 소스 보존 능력의 저하(낮은 픽셀 SSIM 및 Unmasked-CLIP 점수)라는 측정 가능한 비용을 수반했습니다. 논문은 이 트레이드오프가 근본적인 것이 아니라 스케칭 스케줄에 달려 있다고 언급합니다.
절제 연구(Ablation Studies):
- 조건화 변형: 이득은 단순히 텍스트 프롬프트를 바꾸는 것이 아니라, T2I 구간 동안 소스 이미지를 제거함으로써 주로 발생했습니다. 소스 이미지를 유지한 변형(I2IC)이나 원래 프롬프트를 유지한 변형(T2IEP)은 충실도와 자연스러움 측면에서 유의미하게 낮은 개선을 보였습니다.
- 타이밍: 좁은 윈도우와 특정 배치(예: $[10, 16)$ )가 FLUX2-Klein 4B/9B에 대해 충실도와 보존 사이의 최적의 균형을 제공했으며, 더 늦은 윈도우는 BAGEL에서 의미적 일관성에 유리했습니다.
Selective DuET 성능: 전역적 재작성이 필요한 편집에만 T2I 탐색을 적용함으로써, Selective DuET는 높은 기능적 정확도를 달면서도 베이스라인과 지각적으로 구별할 수 없는 수준의 소스 보존 점수(SSIM $\approx 0.786$ )를 유지하여, 고정 스케줄에서 관찰된 충실도-보존 트레이드오프를 효과적으로 극복했습니다.

5. 의의 및 주장

본 논문은 DuET가 통합 멀티모달 모델의 이전에 잘 활용되지 않았던 능력, 즉 단일 추론 궤적 내에서 조건화 양식을 전환할 수 있는 능력을 보여준다고 주장합니다.

주장의 겸손함: 저자들은 Selective DuET가 보편적인 해결책이라기보다 "존재 증명(proof of existence)"임을 명시적으로 밝힙히다. 이들은 라우팅을 위한 초기 궤적 신호에 대한 의존성(이는 결정 깊이를 제한함), 지각적 임계값 판단을 위한 인간 연구 대신 VLM 판사를 사용한 점, 그리고 외부 VLM에 대한 의존성(지시어의 암묵적 의도와 캡션이 어긋날 경우 의미적 불일치를 초래할 수 있음) 등의 한계를 인정합니다.
핵적인 통찰: 논문은 지속적인 소스 앵커링이 서로 다른 장면을 위한 편집의 자연스러움을 제한한다고 결론짓습니다. T2I 단계를 통해 이 앵커링을 일시적으로 완화함으로써, DuET는 디노이징 궤적이 타겟 분포를 향해 이동하게 하면서도 마지막 단계에서는 이미지 조건부 편집의 구조적 이점을 유지할 수 있게 합니다. 이는 "언제, 어떻게, 얼마나 자주" 조건화 모드를 전환할 것인가가 확산 기반 편집 연구에서 중요한 분야임을 시사합니다.