InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning

이 논문은 복잡한 다중 개체 장면에서 정밀한 이미지 편집을 위해 텍스트 기반 공간 추론과 시각적 그라운딩을 교차적으로 수행하는 'InterCoG' 프레임워크와 관련 데이터셋을 제안하여, 기존 모델이 해결하지 못했던 정밀한 위치 기반 편집 문제를 성공적으로 해결함을 보여줍니다.

핵심

InterCoG: 복잡한 사진 속 '정확한 대상'을 찾아주는 똑똑한 편집 비서

이 논문은 **"InterCoG"**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 복잡한 사진 속에서 사용자가 원하는 특정 대상만 정확히 찾아내어 편집하는 데 특화되어 있습니다.

기존의 사진 편집 AI 는 "저기 있는 사람 옷 색깔 바꿔줘"라고 하면, "어느 사람?"이라고 헷갈려하거나, 엉뚱한 사람의 옷을 바꿔버리는 경우가 많았습니다. InterCoG 는 이런 실수를 없애기 위해 **생각하는 과정 (추론)**과 **눈으로 확인하는 과정 (시각적 근거)**을 번갈아 가며 수행합니다.

이 과정을 쉽게 이해할 수 있도록 3 가지 비유로 설명해 드리겠습니다.

---

1. 비유: "수백 명의 군중 속에서 친구 찾기"

상상해 보세요. 스타디움에 수천 명의 관중이 모여 있습니다. 당신은 친구에게 전화를 걸어 **"왼쪽에서 세 번째 줄, 빨간 모자를 쓴 친구 옷을 초록색으로 바꿔줘"**라고 요청합니다.

• 기존 AI 의 실수: AI 는 "빨간 모자?"라고 생각하다가, 빨간 모자를 쓴 다른 사람 10 명을 동시에 찾거나, 아예 엉뚱한 사람을 찾아 옷을 바꿔버립니다.
• InterCoG 의 방식: InterCoG 는 다음과 같이 단계별로 생각합니다.
  1. 말로 생각하기 (텍스트 추론): "아, 왼쪽에서 세 번째 줄이야. 그리고 빨간 모자를 썼지. 그 친구는 두 아이 사이에 서 있겠구나."라고 말로 먼저 위치를 파악합니다.
  2. 눈으로 확인하기 (시각적 근거): "오케이, 이제 그 말로 생각한 위치를 이미지에서 찾아보자."라고 하며, 실제로 그 친구 주위에 빨간 네모 박스와 투명한 마스크를 그려서 "이게 바로 그 친구야!"라고 표시합니다.
  3. 편집 실행: "자, 이제 이 표시된 친구의 옷만 초록색으로 바꾸자."라고 명령을 내립니다.

이처럼 말로 생각한 내용과 눈으로 확인한 내용을 번갈아 가며 (Interleaved) 검증하기 때문에, 엉뚱한 사람을 건드리지 않고 정확히 원하는 사람만 편집할 수 있습니다.

2. 비유: "건축 도면과 현장의 대조"

사진 편집은 마치 건축 도면을 보고 건물을 고치는 것과 같습니다.

• 기존 방식: "저기 있는 창문 색깔 바꿔줘"라고 하면, AI 는 도면 없이 눈으로만 대충 보고 "아, 저기 창문 있네?"라고 추측합니다. 그래서 창문 옆의 벽까지 같이 칠해버리거나, 2 층 창문 대신 1 층 창문을 고칩니다.
• InterCoG 방식:
  1. 설계도 작성 (텍스트): "2 층, 왼쪽에서 두 번째 창문. 그 창문은 붉은색 벽과 인접해 있어."라고 상세한 설명을 먼저 작성합니다.
  2. 현장 표시 (시각): "설계대로 현장에 가보자."라며 해당 창문에 형광 테이프를 감습니다.
  3. 시공: "자, 테이프가 감긴 창문만 파란색으로 칠하자."

이렇게 **설계 (생각)**와 **현장 (이미지)**을 계속 대조하며 작업하므로, 실수가 거의 없습니다.

3. 비유: "수업 시간에 선생님이 칠판에 표시하는 것"

수학 문제를 풀 때, 선생님이 칠판에 문제를 읽고 **"자, 이 부분 (X) 을 먼저 계산하고, 그 다음에 이 부분 (Y) 을 확인하자"**라고 칠판에 표시하며 설명하는 모습을 떠올려 보세요.

• InterCoG 는 AI 가 스스로 칠판에 **생각의 흔적 (Chain-of-Grounding)**을 남깁니다.
  • "이게 누구지? (텍스트로 설명)" → "아, 저기 있네! (이미지에 박스 표시)" → "자, 이제 이 부분만 고치자."
• 이 과정을 통해 AI 는 **"무엇을 고칠지 (What)"**와 **"어디를 고칠지 (Where)"**를 동시에 정확히 이해하게 됩니다.

---

이 기술이 왜 중요한가요?

이 논문에서는 GroundEdit-45K라는 새로운 데이터셋도 만들었습니다. 이는 AI 가 복잡한 상황에서도 정확한 위치를 찾아내도록 훈련시키기 위해, 4 만 5 천 개의 사진에 "누가, 어디에, 어떤 특징을 가지고 있는지"를 상세히 설명한 자료입니다.

결론적으로 InterCoG 는:

"사진을 편집할 때, AI 가 단순히 '대충' guessed(추측) 하는 것이 아니라, 논리적으로 생각하고 눈으로 확인하며 정확하게 작업하는 비서를 만든 것"입니다.

이 기술 덕분에 앞으로는 "가운데 서 있는 사람 옷 바꿔줘"라고 말해도, AI 가 그 사람과 옆에 있는 사람을 구분해서 정확히 옷만 바꿔주는 날이 머지않았습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 지시 기반 이미지 편집 (Instruction-based Image Editing) 모델들은 일반적인 객체 편집에는 탁월한 성능을 보이지만, 복잡한 다중 개체 (multi-entity) 장면에서 미세한 편집을 수행하는 데 한계가 있습니다.

• 정확한 위치 파악의 부재: 사용자가 "왼쪽에서 두 번째 사람", "가장 가까운 검은색 차"와 같이 공간적 관계나 문맥에 기반한 지시를 입력할 때, 기존 모델은 잠재된 편집 의도를 추론하거나 정확한 편집 영역을 국소화 (localization) 하는 데 실패합니다.
• 기하학적 단서의 한계: 기존 방법들은 사전 추출된 후보 영역, 명시적 좌표 예측, 또는 거친 마스크에 의존하는데, 이는 복잡한 장면에서 불충분하거나 신뢰할 수 없는 경우가 많습니다.
• 추론과 실행의 불일치: 텍스트 추론 (어떤 것을 편집할지) 과 시각적 실행 (어디를 편집할지) 이 분리되어 있어, 추론 과정과 최종 편집 결과 간의 불일치가 발생합니다.

2. 방법론 (Methodology)

저자들은 InterCoG (Interleaved Chain-of-Grounding) 라는 새로운 프레임워크를 제안합니다. 이는 텍스트와 비전을 교차하며 수행되는 '그라운딩 (Grounding)' 추론 체인을 통해 공간적으로 정밀한 편집을 가능하게 합니다.

핵심 프로세스 (4 단계)

1. 텍스트 기반 위치 추론 (Textual Grounding): 입력 이미지와 지시를 분석하여, 공간적 관계 (상대적 위치, 순서 등) 를 텍스트로만 추론하고 편집 대상의 정체성과 위치를 명시적으로 도출합니다.
2. 시각적 그라운딩 (Visual Grounding): 앞선 텍스트 추론을 바탕으로, 실제 픽셀 공간에서 편집 대상에 대한 바운딩 박스 (Bounding Box) 와 마스크 (Mask) 를 생성하여 시각적으로 강조합니다.
3. 편집 지시 재작성 (Editing Description Rewriting): 추론된 위치와 의도를 바탕으로 구체적인 편집 지시와 기대되는 결과를 텍스트로 재구성합니다.
4. 최종 편집 실행: 위 과정을 거친 교차 추론 체인을 통해 모델이 최종 편집 이미지를 생성합니다.

보조 학습 모듈

모델의 공간적 정확성과 추론 해석 가능성을 높이기 위해 두 가지 보조 학습 모듈을 도입했습니다.

• 멀티모달 그라운딩 재구성 감독 (Multimodal Grounding Reconstruction Supervision): 텍스트, 비전 추론, 편집 결과의 특징을 공유 마스크 디코더 (Mask Decoder) 를 통해 이진 마스크로 재구성하도록 학습시킵니다. 이는 모델이 내재적인 그라운딩 특징을 포착하도록 강제합니다.
• 멀티모달 그라운딩 추론 정렬 (Multimodal Grounding Reasoning Alignment): 텍스트 기반 위치 추론 특징과 실제 편집 영역의 시각적 특징 (VAE 토큰) 간의 일관성을 코사인 유사도 손실 함수로 정렬합니다. 이를 통해 "생각한 대로 (추론된 대로) 행동한다"는 일관성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. InterCoG 프레임워크: 복잡한 장면에서 의미론적으로 밀집된 편집을 가능하게 하는 최초의 교차형 (Interleaved) 체인 - 오브 - 그라운딩 추론 프레임워크를 제안했습니다.
2. 새로운 학습 모듈: 공간적 국소화 정확도를 높이는 '그라운딩 재구성 감독'과 추론 해석 가능성을 높이는 '추론 정렬' 모듈을 개발했습니다.
3. GroundEdit-45K 데이터셋: 45,000 개의 편집 샘플로 구성된 대규모 데이터셋을 구축했습니다. 각 샘플은 상세한 텍스트 - 비전 교차 그라운딩 주석 (바운딩 박스, 마스크 포함) 이 포함되어 있습니다.
4. GroundEdit-Bench 벤치마크: 복잡한 다중 개체 장면과 그라운딩 인식 편집 능력을 평가하기 위한 새로운 벤치마크를 제시했습니다.

4. 실험 결과 (Results)

• GroundEdit-Bench 성능: InterCoG 는 기존 최첨단 모델 (Bagel, Qwen-Image-Edit, GPT-Image-1 등) 을 압도적으로 능가했습니다.
  • 편집 그라운딩 정확도 (EGA): 0.88 (Bagel 대비 0.25 향상).
  • 편집 점수 (ES): 3.97 (Qwen-Image-Edit 대비 1.05 향상).
  • 인간 평가 점수에서도 9.2/10 으로 가장 높은 점수를 기록했습니다.
• SmartEdit 및 GEdit-Bench: 기존 벤치마크에서도 PSNR, SSIM, CLIP Score 등 모든 지표에서 최상위 성능을 보여주어, 복잡한 추론 시나리오뿐만 아니라 일반적인 편집 능력도 유지함을 입증했습니다.
• Ablation Study: 텍스트만 또는 비전만 사용하는 추론 방식보다 교차형 (Interleaved) 추론이 정확도와 품질 면에서 월등히 우수함을 확인했습니다. 또한, 추론 정렬 (Reasoning Alignment) 모듈이 추론과 실행 간의 불일치를 줄이는 데 핵심적임을 입증했습니다.

5. 의의 및 결론 (Significance)

InterCoG 는 고수준의 의미 추론 (High-level Semantics) 과 저수준의 공간적 정밀도 (Low-level Spatial Precision) 를 통합하여, 사용자가 복잡한 문맥과 공간적 관계를 지시할 때 이를 정확하게 이해하고 실행하는 새로운 패러다임을 제시합니다.

• 실용적 가치: 실제 응용 환경에서 다중 객체가 얽힌 복잡한 장면에서도 신뢰할 수 있는 정밀 편집을 가능하게 하여, 콘텐츠 제작 및 이미지 처리 분야에서 중요한 진전을 이룹니다.
• 연구적 기여: 추론 과정의 투명성 (Interpretability) 을 높이고, 추론과 생성 간의 불일치를 해결하는 메커니즘을 제시함으로써, 향후 멀티모달 생성 모델의 발전 방향에 중요한 통찰을 제공합니다.

요약하자면, InterCoG 는 "어디를 (Where)" 편집할지 텍스트로 추론하고 시각적으로 확인한 후, "무엇을 (What)" 편집할지 명확히 하여 복잡한 이미지 편집 문제를 해결하는 획기적인 접근법입니다.