🤖 AI

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

이 논문은 문맥 희석과 상태 오염을 완화하기 위해 세션 의도를 재구성하는 Edit-R2라는 강화 학습 프레임워크와 체계적인 평가를 위한 MICE-Bench 벤치마크를 소개한다.

원저자: Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 재능 있지만 약간 건망증이 있는 디지털 아티스트와 함께 작업하고 있다고 상상해 보세요. 당신은 사진을 편집하기 위해 간단한 지시를 내립니다: "강아지의 목줄을 파란색으로 바꿔줘." 그는 완벽하게 해냅니다.

하지만 당신은 계속 진행하고 싶습니다. 당신은 말합니다, "이제 강아지의 목줄을 보라색으로 만들어줘." 그 역시 그것을 해냅니다. 그러고 나서 당신은 말합니다, "사실, 강아지의 눈을 초록색으로 바꿔줘."

여기에 문제가 있습니다. 대부분의 현재 AI 아티스트들은 대화가 길어지면 혼란에 빠집니다. 그들은 이전에 요청했던 '보라색 목줄'을 잊어버리거나, 최신 문장의 "그것(it)"이 전체 사진이 아니라 강아지만을 가리키는 것인지 헷berg할 수 있습니다. 그들은 대화의 맥락을 놓치게 되며, 최종 결과물은 당신의 지시사항과 그들의 실수들이 뒤섞인 엉망진창인 상태가 됩니다.

이 논문은 이 문제를 해결하는 Edit-R2라는 새로운 시스템을 소개합니다. 이것은 마치 그 디지털 아티스트에게 초강력 메모장과 엄격한 코치를 주는 것과 같습니다.

두 가지 큰 문제

저자들은 AI가 긴 편집 세션에서 실패하는 두 가지 주요 원인을 파악했습니다:

"장기 컨텍스트 희석" (건망증 있는 아티스트): 지시사항과 이미지가 추가될수록 AI는 압도당합니다. 이는 마치 누군가가 매초 새로운 항목을 외치는 와중에 식료품 목록을 기억하려고 애쓰는 것과 같습니다. 초기 지시사항(예: "모든 것을 보라색으로 만들어")은 새로운 지시사항의 소음에 묻혀버립니다.
"상태 오염" (스노우볼 효과): 만약 AI가 첫 번째 단계에서 작은 실수(예: 잘못된 물체를 변경함)를 저지른다면, 그 실수는 두 번째 단계로 이어집니다. 세 번째 단계에 이르면 이미 너무 망가져서 AI가 회복할 수 없게 되며, 전체 세션이 실패합니다.

해결책: Edit-R2

저자들은 강화 학습(Reinforcement Learning) 기술을 사용하는 Edit-R2를 만들었습니다 (이는 AI가 게임을 하며 실패하고 다시 도전하여 승리할 때까지 배우는 비디오 게임과 같습니다).

Edit-R2가 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다:

1. "메모장" (IC-CoT)

AI가 이미지에 손을 대기 전에, 반드시 노트를 작성해야 합니다. 이것을 **인컨텍스트 사고 사슬(In-Context Chain-of-Thought)**이라고 부릅니다.

역할: 단순히 최신 지시사항만 보는 대신, AI는 지금까지의 전체 대화를 잠시 멈추고 요약합니다.
비유: 당신이 사진을 편집하고 있을 때, 어떤 변화를 주기 전에 다음과 같은 요약 노트를 읽는 것과 같습니다: "사용자는 추가되는 모든 것이 보라색이기를 원한다는 것을 기억하라. 이전의 물체는 리본이었다. 현재 지시사항은 책을 추가하는 것이다."
결로: 이 노트는 흩어져 있는 모든 이력을 하나의 명확하고 압축된 지시사항으로 "증류"합니다. 이는 AI가 "보라색 규칙"을 잊거나 "그것"이 무엇을 가리키는지 혼동하는 것을 방지합니다.

2. "코치" (궤적 필터링)

학습 과정 동안 AI는 사진을 편집하는 여러 가지 방법을 시도합니다. 때때로 AI는 초기에 큰 실수를 저지릅니다.

역할: 시스템에는 안전 장치가 있습니다. 만약 AI가 세션의 "규칙"(예: 보라색 색상 규칙을 무시함)을 어기는 실수를 하면, 시스템은 즉시 해당 시도를 중단합니다. 그 나쁜 시도를 버리고, AI가 그 특정 실패로부터 배우지 못하게 합니다.
비유: 이는 농구 선수를 지켜보는 코치와 같습니다. 선수가 첫 발을 내디딜 때 넘어지면, 코치는 휘슬을 불며 말합니다. "멈춰. 그 달리기는 끝났어. 처음부터 다시 시작하자." 이는 선수가 나쁜 습관을 연습하지 않도록 방지합니다.

3. "통합된 목표"

보통 AI 모델들은 '생각하는 것'(노트 작성)과 '행하는 것'(그림 그리기)을 별개로 잘하도록 훈련됩니다. 하지만 Edit-R2는 이 둘을 함께 훈련합니다.

비유: 이는 작가와 일러스트레이터를 하나의 팀으로 훈련하는 것과 같습니다. 작가는 자신이 혼란스러운 노트를 쓰면 일러스트레이터가 실패할 것임을 알고 있습니다. 일러스트레이터는 자신이 잘못된 것을 그리면 작가의 노트가 무용지물이 된다는 것을 압니다. 그들은 단일 턴이 아니라 전체 세션을 최적화하도록 배웁니다.

새로운 테스트: MICE-Bench

이 시스템의 성능을 증명하기 위해 저자들은 MICE-Bench라는 새로운 테스트를 구축했습니다.

비유: 이전의 테스트들이 "고양이를 그릴 수 있나요?"라고 묻는 것이었다면(단일 턴), MICE-Bench는 다회차 면접과 같습니다: "고양이를 그리세요. 이제 그것을 파란색으로 만드세요. 이제 파란 고양이에게 모자를 씌우세요. 이제 모자를 제거하되 파란색은 유지하세요."
이 테스트는 세 가지를 측정합니다:
- 지시 이행(Instruction Following): 요청한 대로 수행했는가?
- 콘텐츠 일관성(Content Consistency): 건드리지 않은 이미지의 부분들을 그대로 유지했는가?
- 전역적 인지(Global Awareness): 맨 처음에 설정한 "규칙"(예: "모든 것은 보라색이어야 한다")을 기억했는가?

결과

Edit-R2를 다른 우수한 AI 모델들과 비교 테스트했을 때:

더 잘 기억했습니다: "보라색 규칙"을 잊거나 "그것" 또는 "그들"과 같은 대명사 때문에 혼동하지 않았습니다.
일관성을 유지했습니다: 서너 차례의 편집 후에도 이미지는 요청된 변경 사항만 반영된 채 원래 사진의 모습을 유지했습니다.
경쟁에서 앞섰습니다: 특히 길고 다단계인 편집 세션에서 대형 기술 기업들의 강력한 모델들을 포함한 다른 모델들을 능가했습니다.

요약

이 논문은 AI가 진정한 편집 도구가 되기 위해서는 모든 지시를 새로운 시작으로 취급하는 것을 멈춰야 한다고 주장합니다. Edit-R2는 AI에게 대화를 기억하고, 행동하기 전에 자신의 생각을 요약하며, 그 실수가 전체 프로젝트를 망치지 않도록 실수로부터 배우는 법을 가르칩니다. 이는 건망증 있는 일회성 도구를 신뢰할 수 있는 장기적인 창의적 파트너로 변화시킵니다.

기술 요약: Edit-R2 – 다회차 이미지 편집을 위한 문맥 인식 강화 학습

문제 정의

확산 모델(diffusion) 및 통합 멀티모달 파운데이션 모델에 의해 구동되는 현재의 텍스트 가이드 이미지 편집 시스템은 주로 단일 회차(single-turn) 설정에서 작동합니다. 이러한 시나리오에서 모델은 입력 이미지와 단일 지시어를 받아 하나의 편집된 출력을 생성합니다. 이러한 형식은 사용자가 일련의 지시어를 통해 이미지를 반복적으로 정교화하는 현실적인 다회차 인컨텍스트 편집(multi-turn in-context editing) 워크플로우를 포착하지 못합니다.

이러한 다회차 세션에서 모델은 두 가지 결합된 실패 모드에 직면합니다:

장기 문맥 희석(Long-Context Dilution): 세션이 진행됨에 따라 이미지와 텍스트가 교차된 이력이 쌓입니다. 초기 회차의 희소한 텍스트 제약 조건은 어텐션 감쇠(attention decay)와 생성된 이미지를 인코딩하는 데 필요한 막대한 비주얼 토큰 예산으로 인해 복구하기 어려워집니다.
상태 오염(State Contamination): 초기 회차에서 발생한 오류(예: 잘못된 객체 배치 또는 속성 수정)가 다음 단계로 전달되어 후속 생성을 저하시키고 훈련 롤아웃(rollout)을 신뢰할 수 없게 만듭니다.

기존의 벤치마크와 훈련 패러다임은 대부분 **이력 불가지론적(history-agnostic)**이며, 각 회차를 이전 이미지와 현재 지시어에만 의존하는 독립된 작업으로 취급하여, 누적된 세션 수준의 제약 조건을 무시합니다.

방법론: Edit-R2

저자들은 통합 멀티모달 모델(특히 BAGEL을 기반으로 구축된)을 위해 설계된 새로운 강화 학습(RL) 사후 훈련 프레임워크인 Edit-R2를 제안합니다. Edit-R2는 다회차 인컨텍스트 편집을 **세션 수준의 마르코프 결정 과정(MDP)**으로 정식화하며, 문맥 손실과 상태 오염을 해결하기 위해 세 가지 핵심 메커니ism을 도입합니다.

1. 인컨텍스트 사고 체인(IC-CoT)을 통한 세션 상태 재구성

장기 문맥 희석을 완화하기 위해, Edit-R2는 원시 교차 이력을 생성기에 직접 전달하지 않습니다. 대신, 각 생성 단계 이전에 전체 세션 이력에 대해 추론을 수행하는 IC-CoT 모듈("이해 전문가")을 사용합니다.

기능: 이 모듈은 **운용 가능한 세션 의도(operative session intent)**를 재구성하여, 흩어진 역사적 제약 조건(예: "추가된 모든 객체는 보라색이어야 한다"와 같은 글로벌 규칙)을 통합하고 대명사(예: "그것의 색상을 변경해줘")를 명시적인 강화된 지시어( $\tilde{T}_t$ )로 해결합니다.
이점: 이는 압축된 추론 궤적을 생성하여 생성 모듈과 핵심 정보 사이의 거리를 단축함으로써, 안정적인 상태 표현을 제공합니다.

2. 통합 다회차 RL 목적 함수

Edit-R2는 IC-CoT 추론 궤적과 비주얼 생성 과정을 공동으로 최적화합니다.

결합된 공간: 이 프레임워크는 의도 재구성을 위한 이산적 텍스트 공간과 플로우 매칭(flow-matching) 이미지 생성기의 연속적 잠재 공간을 결합합니다.
보상 구조: 각 회차마다 다음과 같은 요소가 결합된 복합 보상 함수( $r_t$ $r_{t}$ )가 정의됩니다:
- 지시 이행(Instruction Following, IF): 모델이 현재 지시를 실행했는가?
- 콘텐츠 일관성(Content Consistency, CC): 타겟이 아닌 콘텐츠가 보존되었는가?
- 글로벌 인지(Global Awareness, GA): 출력이 이전 회차에서 설정된 세션 수준의 제약 조건을 준수하는가?
최적화: 정책은 Unified-GRPO를 사용하여 업데이트되며, 이는 CoT 토큰 시퀀스와 플로우 궤적을 하나의 공동 결정으로 취급하여 추론 모듈이 다운스트림 비주얼 생성 능력에 특화되어 최적화되도록 보장합니다.

3. 궤적 필터링 (Prefix-Valid Advantage Refinement)

상태 오염을 해결하기 위해, Edit-R2는 궤적 필터링 메커니즘을 구현합니다.

메커니즘: 특정 회차의 보상이 임계값( $\delta$ ) 미만으로 떨어지면, 해당 롤아웃은 즉시 종료됩니다. 해당 궤적의 후속 회차들은 폐기됩니다.
어드밴티지 정교화(Advantage Refinement): 정책 업데이트를 위한 어드밴티지 추정치는 활성 롤아웃(종료되지 않은 롤아웃)에 대해서만 배타적으로 정규화됩니다. 이는 오염된 저품질 궤적이 정규화 베이스라인을 왜곡하고 훈련 신호를 오염시키는 것을 방지합니다.

벤치마크: MICE-Bench

체계적인 평가를 가능하게 하기 위해, 저자들은 720개의 다회차 인스턴스(각 3회차)로 구성된 대규모 데이터셋인 MICE-Bench(Multi-turn In-Context Editing Benchmark)를 도입합니다.

태스크:
- 콘텐츠 메모리: 세션 수준의 제약 조건 준수 여부를 테스트합니다 (예: "추가된 모든 객체는 빨간색이어야 한다").
- 콘텐츠 이해: 회차 간 대명사 상호 참조 해결 능력을 테스트합니다 (예: "그것을 제거해줘").
지표: 표준적인 지시 이행(IF) 및 콘텐츠 일관성(CC)과 더불어, 누적된 세션 수준 제약 조건에 대한 준수도를 정량화하는 새로운 지표인 **글로벌 인지(GA)**를 도입합니다.

주요 결과

MICE-Bench에서의 실험 결과, Edit-R2는 기존 오픈 소스 및 폐쇄형 베이스라인을 크게 상회하는 성능을 보여주었습니다.

성능 향상: 베이스 모델인 BAGEL과 비교했을 때, Edit-R2는 특히 문맥 손실이 가장 심각한 후반 회차에서 상당한 개선을 달s했습니다:
- 2회차: IF +18%, GA +18%.
- 3회차: IF +8%, GA +15%.
절제 연구(Ablation Studies):
- IC-CoT를 제거하면 2회차와 3회차에서 성능 저하가 발생하여, 문맥 희석을 완화하는 역할을 확인했습니다.
- Text-GRPO(공동 최적화)를 제거하면 이득이 감소하여, 추론과 생성 모듈을 함께 최적화해야 하는 필요성을 강조했습니다.
- Prefix-Valid Advantage Refinement를 제거하면 전반적인 성능이 낮아져, 오염된 롤아웃을 필터링하는 것의 중요성을 입증했습니다.
정성적 분석: 어텐션 시각화 결과, Edit-R2는 초기 회차의 핵심 객체 토큰에 날카롭게 집중된 어텐션을 유지하는 반면, 베이스라인 모델(BAGEL 등)은 RoPE 거리 감쇠로 인해 확산되고 잘못된 방향의 어텐션을 보였습니다.

의의 및 주장

본 논문은 Edit-R2가 이미지 편집 시스템을 세션 수준의 일관성을 갖춘 모델로 만드는 데 있어 중요한 진전임을 주장합니다.

패러다임 전환: 단순한 로컬 편집을 넘어, 편집의 가치가 미래 회차를 위한 문맥 보존 능력에 달려 있음을 인정하는 세션 수준의 RL 문제로 전환합니다.
최초의 사례: Edit-R2는 인컨텍스트 편집을 위해 특별히 설계된 최초의 RL 사후 훈련 프레임워크 중 하나로 제시되며, 장기 의존성과 상태 오염이라는 고유한 과제를 해결합니다.
평가 표준: MICE-Bench와 GA 지표를 도입함으로써, 이 연구는 기존에 모델과 데이터셋 모두에서 충분히 탐구되지 않았던 능력인 다회차 인컨텍스트 편집을 평가하기 위한 최초의 체계적이고 자동화된 프로토콜을 제공합니다.

저자들은 MICE-Bench가 두 가지 대표적인 시나리오를 다루고 있지만, 이 프레임워크가 실제 상호작용 편집에서의 더 넓은 사용자 의도를 탐구하기 위한 토대를 마련한다고 결론짓습니다. 또한, 제어 가능한 이미지 생성의 위험(예: 허위 정보 유포)을 인지하고, 모델 가중치와 함께 사용 가이드라인을 공개할 것을 약속합니다.