SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning

이 논문은 온라인 강화학습 기반 이미지 편집의 '주의 붕괴' 문제를 해결하기 위해 명시적인 공간 추론을 통해 정밀한 검증이 가능한 새로운 보상 모델 'SpatialReward'를 제안하고, 이를 통해 이미지 편집 모델의 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

🎨 1. 문제: 왜 AI 는 엉뚱한 실수를 할까? (주의력 붕괴)

과거의 AI 평가 시스템은 **"학생이 시킨 대로 했나?"**만 대충 훑어보는 선생님 같았습니다.

• 상황: 학생에게 "옷감을 실크로 바꿔줘"라고 시켰는데, AI 는 옷감은 실크로 바꿨지만 원래 사진의 배경이나 다른 사람의 옷까지 엉뚱하게 바꿔버렸습니다.
• 기존 AI 의 실수: 기존 평가 AI 는 "옷감은 실크로 바뀌었네? 잘했어!"라고만 보고, 원래 사진과 비교하는 것을 잊어버렸습니다. (이를 논문에서는 **'주의력 붕괴 (Attention Collapse)'**라고 부릅니다.)
• 결과: AI 는 엉뚱한 실수를 저질러도 "완벽한 점수"를 받아서, 더 이상 발전하지 못하거나 오히려 더 엉망이 되는 악순환이 생깁니다.

💡 2. 해결책: SpatialReward(스페이셜 리워드) 의 등장

이 논문은 **"AI 가 실수하지 않게 하려면, '어디를' 고쳤는지 정확히 손가락으로 가리키며 비교해야 한다"**는 아이디어를 제시합니다.

🖐️ 핵심 비유: "손가락으로 가리키며 꼼꼼히 확인하는 선생님"

기존 AI 는 눈으로 전체를 훑어보는 **'일반적인 선생님'**이었다면, SpatialReward는 **"손가락으로 고친 부분을 딱 집어내며 (상자 박스), 원본과 비교하는 꼼꼼한 선생님"**입니다.

• Think-with-Boxes(상자와 함께 생각하기): AI 가 "여기 옷감을 고쳤어"라고 말할 때, 단순히 말만 하는 게 아니라 **"이곳 (상자) 을 고쳤고, 이 부분 (상자) 은 그대로 두었어"**라고 화살표와 상자를 그려가며 설명하게 합니다.
• 효과: AI 는 "아, 내가 옷감만 고친 줄 알았는데, 손가락으로 가리킨 이 부분 (상자) 을 보니 배경까지 변했네?"라고 스스로 깨닫게 됩니다.

🚀 3. 어떻게 작동할까? (3 단계 과정)

이 기술은 다음과 같은 과정을 거쳐 AI 를 훈련시킵니다.

1. 상자 그리기 (Grounding): AI 가 "무엇을 고칠지" 먼저 **상자 (Bounding Box)**를 그립니다. "여기서부터 여기까지가 고칠 영역이야!"라고 정하는 거죠.
2. 꼼꼼한 비교 (Cross-Verification): 고친 사진과 원본 사진을 상자 영역별로 하나씩 비교합니다. "옷감은 실크로 잘 바꿨지만, 아까 상자에서 본 얼굴 표정은 왜 변했지?"라고 찾아냅니다.
3. 정확한 점수 매기기: 비교한 결과를 바탕으로 "고친 부분은 100 점, 엉뚱하게 변한 부분은 감점"을 매겨 AI 에게 정확한 피드백을 줍니다.

🏆 4. 어떤 성과가 있었을까?

이 새로운 시스템을 적용한 결과, 놀라운 변화가 일어났습니다.

• 시험 성적 향상: 기존에 가장 잘하던 AI 평가 모델들보다 더 정확한 점수를 매겼습니다. 특히 "여러 가지를 동시에 고치는 복잡한 작업"에서도 실수를 잘 찾아냈습니다.
• AI 의 실력 급상승: 이 시스템을 이용해 AI (OmniGen2) 를 다시 훈련시켰더니, 사람이 원하는 대로 사진을 고치는 능력이 크게 향상되었습니다.
  • 기존 방법보다 2 배 이상 더 좋은 결과를 냈습니다.
  • 마치 훌륭한 코치가 붙어서 선수의 약점을 정확히 지적해 줬더니, 선수가 금메달을 땄다고 생각하시면 됩니다.

📝 5. 한 줄 요약

"기존 AI 는 사진을 고칠 때 '무엇'을 바꿨는지만 보고 '원래 모습'을 잊어버려 실수를 저질렀지만, SpatialReward 는 '손가락으로 고친 곳을 가리키며 원본과 꼼꼼히 비교'하게 만들어 AI 가 더 똑똑하고 정확한 편집을 하도록 가르쳤습니다."

이 기술은 앞으로 우리가 AI 에게 "이 사진 좀 예쁘게 고쳐줘"라고 할 때, 원래 사진의 분위기나 다른 부분은 건드리지 않고 딱 필요한 부분만 정확하게 고쳐주는 시대를 열 것이라고 기대됩니다.

기술 요약

SpatialReward: 명시적 공간 추론을 통한 이미지 편집 온라인 RL 의 지각 간극 해소

이 논문은 이미지 편집 작업에서 온라인 강화 학습 (Online RL) 을 적용할 때 발생하는 핵심적인 문제인 **'지각 간극 (Perception Gap)'**을 해결하기 위해 SpatialReward라는 새로운 보상 모델을 제안합니다.

1. 문제 정의: 'Attention Collapse' (주의 집중 붕괴)

기존의 이미지 편집 평가 모델들은 온라인 RL 환경에서 신뢰할 수 있는 세밀한 보상 신호를 제공하는 데 한계가 있었습니다. 저자들은 이를 **'Attention Collapse (주의 집중 붕괴)'**라고 명명했습니다.

• 원인: 기존 모델 (예: EditScore, GPT-4 등) 은 원본 이미지와 편집된 이미지를 비교할 때, 교차 이미지 (Cross-image) 비교에 실패하거나 원본 이미지의 맥락을 무시하는 경향이 있습니다.
• 결과: 모델은 편집된 부분의 세부 사항 (예: 색상 왜곡, 스타일 불일치) 을 놓치거나, 원본의 비목표 영역이 변형되었음에도 불구하고 이를 간과하여 잘못된 점수를 매깁니다. 이는 원본 이미지가 '보이지 않는' 상태로 변해버리는 현상으로 이어져, RL 학습 시 원본의 정체성을 훼손하는 방향으로 학습이 진행될 수 있습니다.

2. 방법론: SpatialReward 와 'Think-with-Boxes' 아키텍처

SpatialReward 는 이미지 편집 평가에 **명시적 공간 추론 (Explicit Spatial Reasoning)**을 통합하여 위 문제를 해결합니다.

핵심 메커니즘: Think-with-Boxes

기존의 암시적 (Implicit) 평가 방식 대신, 모델이 편집 영역을 먼저 예측하고 (Bounding Box), 이를 기반으로 추론을 수행하도록 설계되었습니다.

1. 공간적 앵커링 (Spatial Anchoring): 모델은 먼저 편집이 발생한 객체의 경계 상자 (Bounding Box) 를 예측합니다.
2. 인터리빙 토큰 (Interleaved Tokens): 추론 과정에서 <|bbox_id|>와 같은 특수 토큰을 사용하여 텍스트 추론을 특정 픽셀 영역에 고정시킵니다.
3. 교차 검증 (Cross-Verification): 원본 이미지와 편집된 이미지의 해당 영역을 픽셀 단위로 비교하여, 세부적인 불일치 (예: 마스크 제거 실패, 자세 변경 등) 를 정확히 감지합니다.
4. 평가 프로세스:
   • 의미 일관성 (Semantic Consistency, SC): 지시 사항 준수 여부 및 원본 일관성 (Source Consistency) 을 평가.
   • 지각 품질 (Perceptual Quality, PQ): 자연스러움 및 아티팩트 유무를 평가 (이때는 원본 참조 없이 편집된 이미지만 평가).

데이터 파이프라인 및 학습 전략

• SPATIALREWARD-260K: 26 만 개의 데이터로 구성된 대규모 데이터셋. Qwen-3-VL 등을 활용한 공간적 근거 (Grounding) 생성, 전문가 (Gemini-2.5-Pro, GPT-5) 를 통한 추론 생성, 그리고 일관성 검증을 거친 고품질 데이터입니다.
• 2 단계 학습 전략:
  1. SFT (Supervised Fine-Tuning): 생성된 데이터로 모델을 초기화하여 공간 추론 능력을 학습시킵니다.
  2. Online RL (GRPO): 할루시네이션을 억제하고 일관성을 강화하기 위해 그룹 상대 정책 최적화 (Group Relative Policy Optimization) 를 적용합니다.

3. 주요 기여

1. 지각 간극의 규명: MLLM 기반 평가자들이 공간적 앵커가 부재할 때 'Attention Collapse'가 발생하여 평가가 왜곡됨을 발견하고, 명시적 공간 grounding 이 필수적임을 증명했습니다.
2. SpatialReward 프레임워크 제안: 이미지 편집을 위한 생성형 포인트별 (Pointwise) 평가에 명시적 공간 추론을 통합한 최초의 프레임워크입니다.
3. MER-Bench (MultiEditReward-Bench) 공개: 복잡한 다중 영역 편집 작업을 rigorously 테스트할 수 있는 새로운 벤치마크를 구축했습니다.
4. SPATIALREWARD-260K 데이터셋: 고품질의 공간 추론 트레이스를 포함한 대규모 데이터셋을 공개했습니다.

4. 실험 결과

SpatialReward 는 다양한 벤치마크와 실제 RL 적용에서 최첨단 (SOTA) 성능을 보였습니다.

• 벤치마크 성능:

  • EditReward-Bench: 기존 생성형 베이스라인 (EditScore-8B) 대비 +11.3% 향상.
  • MMRB2: +9.1% 향상.
  • MER-Bench: 복잡한 다중 제약 조건 하에서 4-Pair 설정에서 **21.5%**의 정확도를 기록하여, GPT-5(19.5%) 및 Gemini-3.0-Flash(19.5%) 를 능가했습니다.
  • 특이점: EditReward 와 같은 판별형 (Discriminative) 모델은 원본 일관성 (Source Consistency) 평가가 부재하여 RL 적용 시 콘텐츠가 과도하게 변형되는 문제가 있었으나, SpatialReward 는 이를 해결했습니다.

• 온라인 RL 적용 효과 (OmniGen2):

  • OmniGen2 모델을 SpatialReward 로 학습시켰을 때, GEdit-Bench 점수가 +0.90 상승했습니다.
  • 이는 GPT-4.1 을 사용한 경우 (+0.45) 보다 약 2 배 더 큰 개선 폭이며, 기존 최상위 판별형 모델 (EditReward, +0.77) 보다도 우수한 성능을 보였습니다.
  • 추론 속도는 vLLM 최적화를 통해 기존 모델 대비 1.5 배 빨라져 온라인 RL 학습의 효율성을 높였습니다.

5. 의의 및 결론

이 연구는 이미지 편집 분야에서 **명시적 공간 추론 (Explicit Spatial Reasoning)**이 단순한 성능 향상을 넘어, RL 학습의 안정성과 정확성을 보장하는 핵심 요소임을 입증했습니다.

• 기술적 의의: 'Attention Collapse' 현상을 해결함으로써, 복잡한 편집 지시사항을 따르면서도 원본 이미지의 정체성을 보존하는 정밀한 이미지 편집이 가능해졌습니다.
• 실용적 가치: SpatialReward 는 온라인 RL 을 통해 이미지 생성 모델을 인간 선호도에 더 잘 정렬 (Alignment) 시킬 수 있는 강력한 보상 신호를 제공하며, 차세대 이미지 편집 AI 의 발전에 중요한 기반을 마련했습니다.

결론적으로, SpatialReward 는 이미지 편집 평가의 '블라인드'를 제거하고, 픽셀 단위의 정밀한 검증을 통해 AI 가 더 신뢰할 수 있고 정교한 편집을 수행할 수 있도록 돕는 획기적인 접근법입니다.