Generating Fine Details of Entity Interactions

이 논문은 상호작용이 풍부한 이미지 생성의 한계를 극복하기 위해 MLLM 을 활용한 세밀한 프롬프트 데이터셋을 구축하고, 상호작용을 세분화하여 생성된 이미지를 비판하고 부분 확산 과정을 통해 정교하게 개선하는 새로운 방법을 제안합니다.

핵심

이 논문은 **"그림을 그릴 때, 단순히 사물을 그리는 것을 넘어 '사물들이 서로 어떻게 상호작용하는지'까지 정확하게 묘사하는 방법"**을 연구한 내용입니다.

기존의 AI 그림 그리기 프로그램 (예: Stable Diffusion) 은 "고양이"나 "배" 같은 개별 물체는 잘 그리지만, **"고양이가 돛을 잡고 배를 항해한다"**거나 **"두 마리 개미가 빵 부스러기를 함께 들어 올린다"**처럼 복잡한 상호작용을 묘사하면 엉망이 되거나 물리 법칙을 무시한 이상한 그림을 만들어냅니다.

저희는 이 문제를 해결하기 위해 **DetailScribe(디테일스크라이브)**라는 새로운 시스템을 개발했습니다. 이 시스템을 쉽게 이해할 수 있도록 요리사와 식당에 비유해 설명해 드릴게요.

---

1. 문제: 왜 기존 AI 는 엉뚱한 그림을 그릴까?

기존 AI 는 마치 레시피를 외운 적 없는 초보 요리사와 같습니다.

• "소고기 스테이크를 만들어줘"라고 하면 고기와 팬은 잘 그립니다.
• 하지만 "소고기를 칼로 잘라서 팬에 구워라"라고 하면, 칼이 손에 없거나 고기가 팬 위에 안 걸려 있는 등 **행동 (Interaction)**과 **사물 (Object)**의 연결이 끊어집니다.

이는 AI 가 훈련 데이터에서 이런 '복잡한 상호작용'을 충분히 배우지 못했기 때문입니다.

2. 해결책: DetailScribe (디테일스크라이브) 의 3 단계 요리법

저희가 만든 DetailScribe 는 이 초보 요리사에게 **전문 셰프 (LLM)**와 **식중독 검사관 (MLLM)**을 붙여주는 시스템입니다.

1 단계: 레시피를 세분화하다 (Concept Decomposition)

사용자가 "고슴도치가 밀가루 반죽을 밀대로 밀고 있다"라고 입력하면, AI 는 바로 그림을 그리지 않습니다. 대신 **전문 셰프 (LLM)**가 이 문장을 해체합니다.

• 셰프의 생각: "고슴도치가 밀대를 쥐고 있어야 하고, 밀대가 반죽을 밀고 있어야 하며, 반죽은 테이블 위에 있어야 해."
• 이 과정을 통해 AI 는 그림을 그릴 때 놓치지 말아야 할 핵심 체크리스트를 먼저 만듭니다.

2 단계: 그림을 그리고 비판받다 (Critique)

AI 가 일단 초안 그림을 그립니다. 그다음 **식중독 검사관 (MLLM)**이 그 그림을 꼼꼼히 살펴봅니다.

• 검사관의 지적: "고슴도치의 발이 밀대를 제대로 잡고 있지 않아! 밀대는 반죽을 밀고 있는 게 아니라 공중에 떠 있어. 반죽 모양도 너무 완벽해서 밀고 있는 게 아니야."
• 이 검사관은 그림의 어떤 부분이 잘못되었는지를 아주 구체적으로 지적합니다.

3 단계: 부분 수정 (Refinement by Re-denoising)

이게 가장 중요한 부분입니다. 검사관의 지적을 듣고 그림 전체를 다시 그리는 게 아니라, 잘못된 부분만 수정합니다.

• 마치 사진 편집 프로그램에서 특정 부분만 지우고 다시 그리는 것과 비슷합니다.
• AI 는 원래 그림의 전체적인 분위기 (고슴도치의 표정, 배경 등) 는 유지하면서, 발과 밀대의 연결부만 다시 그립니다.
• 이를 통해 그림이 자연스럽게 고쳐집니다.

3. 새로운 데이터셋: InterActing (인터액팅)

이 연구를 위해 저희는 **1,000 개의 새로운 주문 (프롬프트)**을 만들었습니다.

• 기존 데이터는 "사과", "자동차" 같은 단순한 물건 위주였습니다.
• 하지만 저희 데이터 (InterActing) 는 **"여우가 냄비를 저어주다", "두 마리의 새가 둥지를 함께 짓다", "나뭇잎으로 지그재그 길을 만들다"**처럼 상호작용에 초점을 맞춘 것들입니다.
• 이는 마치 요리 대회에서 "단순히 요리를 해"가 아니라 "특정 재료를 특정 방식으로 조리하라"는 고난도 미션을 주는 것과 같습니다.

4. 결과: 얼마나 잘해냈을까?

실험 결과, DetailScribe 는 다른 최신 AI 모델들보다 훨씬 뛰어난 성능을 보였습니다.

• 비유하자면: 다른 모델들이 "고양이가 배를 타고 있다"라고 하면 고양이와 배가 따로 노는 그림을 그렸다면, DetailScribe 는 고양이가 배의 돛을 잡고 파도를 가르며 항해하는 생생한 장면을 만들어냈습니다.
• 특히 **물리 법칙 (밀대로 밀기, 함께 들어 올리기)**과 **복잡한 공간 배치 (지그재그 나뭇잎 길)**를 정확하게 구현했습니다.

5. 결론

이 연구는 AI 가 단순히 "무엇을 그릴지" 아는 것을 넘어, **"사물들이 어떻게 서로 관계를 맺는지"**까지 이해하고 표현할 수 있게 했다는 점에서 의미가 큽니다.

한 줄 요약:

"DetailScribe 는 AI 그림 그리기에게 전문 셰프의 레시피 분석과 엄격한 검사관의 피드백을 통해, 단순히 물체를 나열하는 게 아니라 사물들이 서로 어울려 움직이는 생동감 있는 장면을 만들어내게 한 혁신적인 기술입니다."

기술 요약

1. 문제 정의 (Problem)

최근 텍스트 - 이미지 (Text-to-Image, T2I) 생성 모델은 자연어 지시사항에서 고품질의 객체 중심 이미지를 생성하는 데 탁월한 성과를 보였습니다. 그러나 다음과 같은 한계가 존재합니다:

• 복잡한 상호작용의 부재: 기존 모델은 단일 객체나 단순한 공간 관계는 잘 표현하지만, 객체 간의 세밀한 상호작용 (예: 도구를 사용하는 동물, 복잡한 물리적 접촉) 이나 정교한 공간 배치를 구현하는 데 어려움을 겪습니다.
• 데이터 및 벤치마크 부족: 이러한 드물고 추상적인 상호작용을 학습하고 평가하기 위한 전용 데이터셋과 벤치마크가 부족합니다.
• 구현 오류: 현재 상용 모델들은 물리적으로 불가능한 상호작용을 생성하거나, 복잡한 레이아웃 (예: 지그재그 경로, 기하학적 패턴) 을 정확히 반영하지 못하는 경우가 많습니다.

2. 방법론 (Methodology)

이 논문은 DetailScribe라는 새로운 프레임워크를 제안하며, 이는 생성된 이미지를 다중 모달 대규모 언어 모델 (MLLM) 을 활용하여 반복적으로 정제하는 '생성 후 정제 (Generate-then-Refine)' 접근법을 사용합니다.

A. InterActing 데이터셋 구축

• 목적: 미세한 상호작용을 평가하기 위한 새로운 벤치마크 데이터셋입니다.
• 구성: LLM 을 통해 생성된 1,000 개의 텍스트 프롬프트로 구성되며, 다음 3 가지 시나리오를 다룹니다.
  1. 기능적 및 행동 기반 상호작용 (600 개): 도구 조작 (예: 피자 자르기), 물리적 접촉 (예: 눈 조각하기).
  2. 다중 주체 상호작용 (200 개): 여러 개체 간의 협력 (예: 함께 들어 올리기, 하이파이브).
  3. 구성적 공간 관계 (200 개): 기하학적 패턴이나 추상적 레이아웃 (예: 지그재그 나뭇잎, 원형 배열).

B. DetailScribe 프레임워크 (3 단계 프로세스)

1. 개념 분해 (Concept Decomposition):
   • 입력된 자연어 프롬프트를 LLM 을 사용하여 세부적인 하위 개념 (sub-concepts) 으로 계층적으로 분해합니다.
   • 예: "고슴도치가 반죽을 굴린다" → "발이 밀대 잡기", "밀대가 반죽을 굴림", "반죽이 테이블 위에 있음" 등으로 세분화합니다. 이는 MLLM 이 이미지 오류를 진단할 때 사용할 '체크리스트' 역할을 합니다.
2. MLLM 기반 비판 및 프롬프트 정제 (Critique & Refinement):
   • 초기 T2I 모델 (Stable Diffusion 등) 로 이미지를 생성합니다.
   • 생성된 이미지와 분해된 개념을 MLLM (GPT-4o 등) 에게 입력하여 이미지 비판 (Critique) 을 수행합니다.
   • MLLM 은 오류를 식별하고 구체적인 수정 사항을 제안하며, 이를 바탕으로 정제된 프롬프트 (Refined Prompt) 를 생성합니다.
3. 확산 재-노이즈화 (Diffusion Re-denoising):
   • 생성된 이미지에 제어된 노이즈를 추가하여 특정 확산 단계 ($t'$) 로 되돌린 후, 정제된 프롬프트를 조건으로 다시 역확산 (Reverse Diffusion) 과정을 수행합니다.
   • 이 방식은 전체 이미지를 다시 생성하는 것이 아니라, 기존 구조는 유지하면서 오류가 있는 부분만 선택적으로 수정하여 더 사실적인 상호작용을 구현합니다.

3. 주요 기여 (Key Contributions)

1. InterActing 데이터셋 제안: 객체 간 상호작용에 초점을 맞춘 1,000 개의 미세한 상호작용 프롬프트로 구성된 새로운 벤치마크를 공개했습니다.
2. DetailScribe 프레임워크 개발: MLLM 의 추론 (개념 분해) 과 인식 (이미지 비판) 능력을 결합하여 T2I 생성 품질을 향상시키는 최초의 프레임워크입니다. 별도의 추가 학습 데이터나 도메인 지식 없이도 기존 모델에 적용 가능합니다.
3. 체계적인 분해 및 정제 전략: 단순한 프롬프트 수정을 넘어, 시각적 추상화 스키마 (Directed Acyclic Graph) 를 활용한 구조화된 분해와 확산 모델의 부분 재-노이즈화를 통해 정밀한 상호작용을 구현합니다.

4. 실험 결과 (Results)

• 평가 지표: 인간 평가 (Likert 척도), MLLM 평가 (Qwen2.5-VL), 그리고 자동 지표 (ImageReward, CLIPScore, BLIP-VQA) 를 종합적으로 사용했습니다.
• 성능:
  • DetailScribe 는 Stable Diffusion, DALL-E 3, GPT 기반 프롬프트 수정 기법 등 모든 베이스라인 모델보다 모든 시나리오에서 인간 선호도 점수가 가장 높았습니다.
  • 특히 "고슴도치가 밀대로 반죽을 굴리는"이나 "조개가 마스트를 잡고 항해하는" 등 복잡한 상호작용과 물리적 접촉을 정확하게 묘사하는 데 있어 압도적인 우위를 보였습니다.
  • 개념 분해의 효과: 분해 모듈을 제거했을 때 MLLM 의 비판이 전역적 속성 (밝기, 전체 형태) 에만 집중하여 세부 상호작용 오류를 놓치는 반면, 분해 모듈을 사용하면 국소적 세부 사항 (손의 위치, 도구 접촉 등) 을 정확히 지적하고 수정할 수 있음이 입증되었습니다.
  • 재-노이즈화 단계: 확산 과정의 후반부 ($T-2$ 단계) 에서 정제 프롬프트를 적용하는 것이 전체 구조를 유지하면서도 세부 사항을 수정하는 데 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 상호작용 중심 생성의 새로운 패러다임: 기존 T2I 모델이 간과했던 '객체 간의 관계'와 '세부 상호작용'을 해결하기 위한 체계적인 접근법을 제시했습니다.
• 추론 시간 확장 (Inference-time Scaling): 추가적인 학습 없이, 추론 단계에서 LLM/MLLM 을 에이전트로 활용하여 생성 품질을 극대화할 수 있음을 보였습니다.
• 한계 및 향후 과제: 초기 생성 이미지의 전역적 구조가 완전히 틀린 경우 (예: 주체가 아예 없는 경우) 는 재-노이즈화만으로는 교정하기 어렵다는 한계가 있습니다. 향후 시드 탐색 (Seed Search) 기법과 결합하여 전역 구조 오류도 해결할 수 있는 방향으로 발전할 수 있습니다.

이 논문은 텍스트 - 이미지 생성 분야에서 단순한 객체 나열을 넘어, 복잡한 상황과 상호작용을 이해하고 구현하는 AI 의 능력을 한 단계 끌어올리는 중요한 이정표가 됩니다.