RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

이 논문은 주관적인 창의적 편집의 특성을 반영할 수 있는 일반적 보상 모델을 도입하여, MLLM 에이전트가 사용자의 지시를 실행 가능한 이미지 보정 작업으로 변환하고 강화 학습을 통해 최적의 편집을 수행하는 'RetouchIQ' 프레임워크를 제안합니다.

핵심

📸 리터치아이큐 (RETOUCHIQ): 사진 편집의 '마법 같은 비서'가 등장했습니다!

안녕하세요! 오늘 소개해 드릴 논문은 **"RETOUCHIQ"**라는 아주 똑똑한 인공지능에 대한 이야기입니다. 이 AI 는 우리가 말로만 표현하던 사진 편집의 꿈, 즉 **"이 사진 좀 더 드라마틱하게 만들어줘"**라고 말하면, 실제로 전문 소프트웨어를 조작해서 그 결과를 만들어내는 마법 같은 비서입니다.

이 복잡한 기술을 일상적인 언어와 재미있는 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (문제 상황)

상상해 보세요. 멋진 사진을 찍었는데, "조금 더 따뜻하고 감성적인 느낌으로 바꿔줘"라고 말하고 싶지만, 포토샵이나 라이트룸 같은 전문 프로그램은 너무 어려워요.

• "노출을 0.5 올리고, 색온도를 5500 으로 맞추고..." 같은 기술적 지식이 없으면 편집이 불가능하죠.
• 기존 AI 들은 사진을 말로 지시하면, 원본을 아예 바꿔치기하거나 (예: 사람 얼굴이 변형됨), 너무 과하게 편집해서 엉뚱한 결과가 나오곤 했습니다.

RETOUCHIQ는 이 문제를 해결합니다. 전문 프로그램의 실제 버튼과 슬라이더를 직접 조작해서, 원본의 얼굴이나 구조는 그대로 둔 채, 오직 '분위기'만 바꿔줍니다.

---

2. RETOUCHIQ 는 어떻게 일할까요? (세 가지 단계)

이 AI 가 사진을 편집하는 과정은 마치 유능한 요리사가 새로운 요리를 개발하는 과정과 비슷합니다.

① 단계 1: 레시피 배우기 (지도 학습)

• 비유: 수많은 요리사들이 만든 '원본 재료'와 '완성된 요리'를 보고, "아, 이 재료를 이렇게 섞으면 맛이 좋아지는구나"라고 기억하는 단계입니다.
• 설명: AI 는 실제 사람들이 사진을 편집한 수많은 기록 (Before & After) 을 학습합니다. 사용자가 "더 밝게 해줘"라고 했을 때, 어떤 버튼을 누르고 값을 얼마나 조절해야 하는지 논리적으로 추론하는 법을 배웁니다.

② 단계 2: 맛보기와 점수 매기기 (강화 학습의 핵심)

여기서 가장 중요한 부분이 나옵니다. AI 가 편집을 해봤는데, **"이게 정말 좋은 편집일까?"**를 어떻게 알 수 있을까요?

• 기존의 문제: 예전에는 "정답 (Reference) 과 똑같은가?"를 비교했습니다. 하지만 사진 편집은 정답이 하나가 아닙니다. 어떤 사람은 "따뜻하게"를 원하고, 어떤 사람은 "차갑게"를 원할 수 있죠. 정해진 정답이 없는데 점수를 매기는 건 불가능합니다.
• RETOUCHIQ 의 해결책 (범용 보상 모델):
  • 비유: AI 에게 **맛있는 요리를 평가하는 '미식가 심사위원'**을 붙여줍니다. 이 심사위원은 "이 요리의 색감이 예쁘고, 식감이 좋네"라고 구체적인 이유를 말해주며 점수를 줍니다.
  • 이 심사위원 (Reward Model) 은 단순히 정답과 비교하지 않고, **"사용자의 요청 (예: 감성적인 느낌) 을 잘 반영했는지, 사진이 예쁜지"**를 상황에 따라 유연하게 판단합니다.

③ 단계 3: 서로를 가르치며 성장하기 (PGRT)

• 비유: 요리사 (편집 AI) 와 심사위원 (점수 AI) 이 함께 연습하는 과정입니다.
  • 처음엔 심사위원이 "이건 너무 어둡네"라고 말하면 요리사는 "아, 밝게 해야겠다"라고 수정합니다.
  • 하지만 요리사가 점점 실력이 좋아져서 복잡하고 새로운 요리를 만들면, 예전에 배운 '단순한 레시피'만 가진 심사위원은 그걸 평가하지 못해 헷갈릴 수 있습니다.
  • RETOUCHIQ 의 혁신: 요리사가 만든 새로운 요리 (편집 결과) 를 바로 심사위원에게 보여주고, 심사위원이 그걸 평가할 수 있도록 함께 훈련시킵니다. 이렇게 하면 AI 는 점점 더 정교하고 복잡한 편집도 완벽하게 해낼 수 있게 됩니다.

---

3. 이 기술이 가져온 변화 (결과)

이 논문의 실험 결과, RETOUCHIQ 는 기존 AI 들보다 훨씬 뛰어났습니다.

• 의도 파악: "이 사진을 영화 같은 느낌으로 만들어줘"라고 하면, 실제로 영화처럼 색감을 조절하고 조명을 바꿉니다.
• 원본 보존: AI 가 사진을 새로 그리는 (Diffusion) 방식이 아니라, 원본 사진의 뼈대를 해치지 않고 색과 빛만 조절하므로 얼굴이 일그러지지 않습니다.
• 전문가급 퀄리티: 일반인도 전문가처럼 사진을 편집할 수 있게 해줍니다.

---

🌟 한 줄 요약

RETOUCHIQ는 "이 사진 좀 더 감성적으로 해줘"라는 당신의 말 한마디를 듣고, 전문 사진 편집 프로그램의 모든 버튼을 직접 조작하여, 미식가 같은 AI 심사위원이 "완벽해!"라고 점수를 매길 때까지 스스로 연습하고 성장하는 똑똑한 사진 편집 비서입니다!

이제 여러분도 복잡한 편집 프로그램 없이, 말로만 원하는 사진의 분위기를 자유롭게 구현할 수 있게 된 셈입니다! 📸✨

기술 요약

1. 문제 정의 (Problem)

최근 MLLM 은 시각적 이해와 언어적 추론을 결합하여 외부 도구를 호출하는 에이전트로서의 잠재력을 보여주었습니다. 특히 Adobe Lightroom 과 같은 전문 이미지 편집 소프트웨어와 상호작용하여 보정 작업을 수행하는 것은 중요한 방향성입니다. 그러나 기존 접근법에는 다음과 같은 근본적인 한계가 존재합니다:

• 주관적 보정의 평가 어려움: 이미지 보정은 예술적이고 주관적인 작업입니다. 동일한 지시 (예: "따뜻한 느낌으로") 에 대해 여러 가지 유효한 결과가 존재할 수 있습니다.
• 기존 보상 신호의 부재: 기존의 강화학습 (RL) 기반 방법은 주로 정해진 기준 이미지 (Ground Truth) 와의 픽셀 유사도 (L1, L2 등) 를 계산하는 **규칙 기반 보상 (Rule-based Reward)**을 사용합니다. 이는 주관적인 미적 판단이 필요한 작업에서는 신뢰할 수 없으며, 단일 기준 이미지에 의존할 경우 모델이 다양한 창의적 결과를 학습하는 것을 방해합니다.
• 데이터 분포의 불일치: 기존 연구에서는 약한 편집 (Weak Edit) 을 생성하기 위해 임의의 파라미터 변형을 사용했으나, 이는 실제 MLLM 에이전트가 생성하는 복잡한 편집 결과와 분포가 달라 (Distribution Shift) 보상 모델의 성능을 저하시킵니다.

2. 방법론 (Methodology)

RETOUCHIQ 는 사용자의 지시를 해석하고 실행 가능한 편집 파라미터를 생성하는 MLLM 에이전트와 이를 평가하는 **일반적 보상 모델 (Generalist Reward Model, GRM)**을 결합합니다.

2.1. 전체 파이프라인

1. 데이터 준비: 실제 사용자 편집 기록 (Before-After 쌍) 을 수집하고, MLLM 어노테이터를 통해 편집 목적 (Instruction) 과 추론 과정 (Reasoning) 을 생성합니다.
2. 지도 미세 조정 (SFT): MLLM 정책 모델 (Policy Model) 을 학습시켜 사용자의 지시와 이미지 차이를 기반으로 논리적 추론 (Reasoning Trace) 과 실행 가능한 편집 파라미터 (예: 노출 +0.9, 온도 -20) 를 생성하도록 합니다.
3. 강화학습 (RL): 생성된 편집 결과가 사용자의 지시와 미적 품질을 얼마나 잘 충족하는지 평가하는 보상 모델을 통해 정책을 개선합니다.

2.2. 일반적 보상 모델 (Generalist Reward Model, GRM)

RETOUCHIQ 의 핵심 혁신은 고정된 규칙이 아닌, 상황에 따라 동적으로 생성된 지표를 기반으로 평가하는 GRM입니다.

• 동적 지표 생성: GRM 은 입력된 지시와 Before-After 이미지를 분석하여, 해당 편집이 성공하기 위해 충족해야 할 구체적인 미적 지표 (예: "조명 균형", "색감의 자연스러움") 를 텍스트로 생성합니다.
• 스칼라 보상 산정: 생성된 지표를 기반으로 편집 결과에 점수를 매겨 RL 에 필요한 스칼라 보상 신호를 제공합니다.

2.3. 정책 유도 보상 학습 (Policy-Guided Reward Training, PGRT)

기존의 단순한 변형 (Perturbation) 기반 데이터 학습의 한계를 극복하기 위해 제안된 새로운 학습 전략입니다.

• 문제점: 초기 보상 모델은 무작위 변형된 이미지 (Perturbed Images) 로 학습되지만, 실제 정책 모델은 복잡하고 결합된 편집을 생성합니다. 이로 인해 분포 불일치가 발생합니다.
• 해결책 (PGRT): 정책 모델이 생성한 실제 결과물 (Policy-generated outputs) 을 약한 편집 (Weak Edit) 으로 활용하여 보상 모델을 재학습시킵니다. 이를 통해 보상 모델이 정책 모델의 실제 출력 분포에 맞춰 정교화되며, 더 안정적인 학습이 가능해집니다.

3. 주요 기여 (Key Contributions)

1. RETOUCHIQ 프레임워크: 이미지 보정의 주관적 특성을 해결하기 위해, 고정된 검증 가능 보상 대신 맥락 인식형 일반적 보상 모델을 도입한 최초의 프레임워크입니다.
2. PGRT (Policy-Guided Reward Training): 정책 모델의 분포를 보상 모델 학습에 반영하여, 보상 모델의 정확도와 정책 모델의 성능을 동시에 향상시키는 새로운 RL 패러다임을 제안했습니다.
3. 성능 입증: 기존 MLLM 에이전트, 확산 기반 (Diffusion-based) 모델, 일반 목적 MLLM 을 능가하는 **의미론적 일관성 (Semantic Consistency)**과 **지각적 품질 (Perceptual Quality)**을 달성했습니다.

4. 실험 결과 (Results)

연구팀은 RETOUCHEVAL (전문 편집 도구 기반의 새로운 벤치마크) 과 MIT-Adobe5K를 사용하여 실험을 수행했습니다.

• 벤치마크 성능: RETOUCHIQ 는 질 향상 (Quality Enhancement), 스타일 변환 (Style Transformation), 로컬 보정 (Local Retouching) 모든 카테고리에서 SOTA 기반 모델 (JarvisArt, MonetGPT, Flux-Pro 등) 보다 우수한 성능을 보였습니다.
  • 특히 GRM 을 적용한 RL 단계에서 모든 지표 (L1/L2 감소, SC/PQ 점수 증가) 에서 가장 큰 개선을 보였습니다.
• 정성적 평가:
  • GPT-5 등 일반 MLLM: 지시를 과도하게 해석하거나 비일관된 파라미터를 생성하여 과보정 (Over-editing) 되는 경향이 있었습니다.
  • Diffusion 모델 (Flux-Pro): 원본 이미지의 구조와 정체성을 왜곡하는 문제가 발생했습니다.
  • RETOUCHIQ: 사용자의 지시 (예: "웅장한 밤하늘", "따뜻한 빈티지 느낌") 를 정확하게 반영하면서도 원본의 구조를 유지하는 전문적인 수준의 보정 결과를 생성했습니다.
• PGRT 의 효과: PGRT 를 적용한 보상 모델은 실제 정책 모델이 생성한 데이터에 대해 더 높은 정확도를 보였으며, 이는 궁극적으로 정책 모델의 편집 품질을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

RETOUCHIQ 는 이미지 보정 분야에서 블랙박스 방식의 확산 모델을 넘어, **이해 가능한 추론 (Explainable Reasoning)**과 정밀한 파라미터 제어를 가능하게 하는 새로운 패러다임을 제시합니다.

• 전문성: 사용자가 복잡한 전문 소프트웨어를 직접 다루지 않아도 자연어로 고품질의 보정을 수행할 수 있게 합니다.
• 신뢰성: 생성된 편집의 이유 (Reasoning) 를 텍스트로 제공하여 투명성을 확보합니다.
• 확장성: 주관적인 창의적 작업에 대해 고정된 규칙이 아닌, 유연하고 상황 인지형 보상 모델을 적용한 것은 향후 다른 창의적 AI 에이전트 개발에도 중요한 시사점을 줍니다.

결론적으로, RETOUCHIQ 는 MLLM 에이전트와 일반적 보상 모델을 결합하여 전문적인 이미지 편집을 자동화하고, 인간의 미적 판단을 효과적으로 모방할 수 있음을 입증했습니다.