DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation

이 논문은 복잡한 수치 및 공간 추론을 요구하는 텍스트-이미지 생성의 한계를 극복하기 위해, 레이아웃 예측과 이미지 생성 단계를 분할하여 경량 LLM 도 정밀한 레이아웃을 생성하고 객체를 난이도 순서로 합성하는 'DivCon' 방법을 제안하고, 이를 통해 HRS 및 NSR-1K 벤치마크에서 기존 방법보다 우수한 성능을 입증했습니다.

핵심

🎨 그림을 그리는 '분할 정복'의 마법: DivCon 이란 무엇일까요?

안녕하세요! 최근 인공지능이 텍스트를 보고 그림을 그리는 기술 (Text-to-Image) 이 정말 놀라워졌죠? 하지만 아직까지 "책상 위에 5 개의 사과와 3 개의 오렌지가 왼쪽에 있고, 오른쪽에는 2 개의 꽃병이 있어"라는 복잡한 지시사항을 완벽하게 이해하고 그림을 그리는 건 인공지능에게도 여전히 어려운 일입니다.

이런 문제를 해결하기 위해 나온 새로운 방법, **'DivCon(디브콘)'**에 대해 쉽고 재미있게 설명해 드릴게요.

---

🧩 1. 문제: 거대한 두뇌 vs. 복잡한 주문

기존의 인공지능 모델들은 보통 **거대한 두뇌 (대규모 AI)**를 사용해서 한 번에 모든 것을 해결하려고 했습니다. 하지만 이 방법은 비싸고, 무겁고, 때로는 "5 개"라고 했을 때 "4 개"만 그리거나, "오른쪽"에 그려야 할 것을 "왼쪽"에 그려버리는 실수를 자주 했습니다. 마치 한 번에 100 개의 과제를 동시에 풀려고 하는 학생처럼, 너무 많은 것을 한 번에 하려다 보니 실수가 생기는 거죠.

🛠️ 2. 해결책: DivCon 의 '분할 정복' 전략

이 연구팀은 **"한 번에 다 하려고 하지 말고, 작은 조각으로 나누어 하나씩 해결하자!"**는 분할 정복 (Divide and Conquer) 전략을 도입했습니다. 마치 거대한 피자를 잘게 썰어 한 입씩 먹는 것과 같습니다.

이 과정은 크게 두 단계로 나뉩니다.

1 단계: 그림의 청사진 그리기 (레이아웃 예측)

그림을 그리기 전에 먼저 "무엇을, 어디에, 몇 개나 그릴지"를 계획하는 단계입니다.

• 기존 방식: 거대한 두뇌 (GPT-4 같은 모델) 에게 "모든 걸 다 계산해 줘!"라고 요청했습니다. 비싸고 무겁죠.
• DivCon 방식:
  1. 숫자와 위치 계산하기: 먼저 가벼운 두뇌 (작은 AI) 에게 "사과는 5 개, 오렌지는 3 개, 위치는 왼쪽"처럼 숫자와 위치만 딱딱 계산하게 합니다.
  2. 상자 그리기: 그 계산 결과를 바탕으로, "사과 5 개는 여기, 오렌지 3 개는 저기"라고 **상자 (Bounding Box)**를 그리는 작업을 따로 합니다.
  • 비유: 마치 건축가가 먼저 "이 층은 5 개의 방, 저 층은 3 개의 창문"이라고 숫자만 계산한 뒤, 그 계산서를 보고 기술자가 실제로 벽과 창문을 짓는 것과 같습니다. 이렇게 나누니 **작은 두뇌 (가벼운 AI)**로도 거대한 두뇌 못지않은 정확한 청사진을 그릴 수 있게 되었습니다.

2 단계: 그림 완성하기 (이미지 생성)

이제 청사진을 바탕으로 실제 그림을 그리는 단계입니다.

• 기존 방식: 모든 물체를 한 번에 동시에 그립니다. 그런데 인공지능은 "사과"는 쉽게 그리지만, "복잡한 꽃병"은 잘 못 그리기도 합니다. 한 번에 다 그리다 보니 어려운 물체는 흐릿해지거나 모양이 망가집니다.
• DivCon 방식:
  1. 첫 번째 시도: 먼저 모든 물체를 한 번에 그려봅니다.
  2. 점검하기: "어? 사과 (쉬운 것) 는 잘 그렸는데, 꽃병 (어려운 것) 은 모양이 이상하네?"라고 AI 가 스스로 점검합니다.
  3. 두 번째 시도 (수정): 잘 그려진 '사과' 부분은 그대로 두고, 잘못 그려진 '꽃병' 부분만 다시 집중해서 그려줍니다.
  • 비유: 요리사가 요리를 할 때, 먼저 모든 재료를 섞어서 한 번에 익혀보고, "고기 (쉬운 것) 는 다 익었는데, 버섯 (어려운 것) 은 아직 안 익었네?"라고 생각하면, 고기 부분은 건드리지 않고 버섯만 다시 볶아주는 것과 같습니다. 이렇게 하면 최종 요리 (그림) 의 퀄리티가 훨씬 좋아집니다.

---

🌟 3. 왜 이 방법이 특별한가요?

1. 가볍고 빠릅니다: 거대한 두뇌 (비싼 AI) 가 아니더라도, 작은 두뇌 (가벼운 AI) 로도 똑똑한 그림을 그릴 수 있게 해줍니다. 누구나 접근하기 쉬워졌죠.
2. 정확도가 높습니다: "5 개"라고 하면 정말 5 개를, "왼쪽"이라고 하면 정말 왼쪽에 그립니다.
3. 질감이 좋습니다: 어려운 물체 (예: 복잡한 모양의 동물이나 사물) 도 흐릿하지 않고 선명하게 그려집니다.

📊 4. 실제 결과

연구팀은 이 방법을 테스트해 보았는데, 기존에 가장 잘한다고 알려진 모델들보다 숫자 세기와 위치 파악에서 훨씬 뛰어난 성적을 냈습니다. 또한, 사람들이 그림을 보고 "어느 게 더 잘 그렸어?"라고 투표했을 때, DivCon 이 그린 그림이 가장 높은 점수를 받았습니다.

💡 결론

DivCon은 복잡한 그림 그리기 과제를 "작은 조각으로 나누고", "쉬운 것부터 어려운 것까지 순서대로 해결하는" 똑똑한 전략입니다. 덕분에 우리는 이제 더 정확하고, 더 beautiful 한 그림을 더 저렴하고 빠르게 인공지능에게 주문할 수 있게 되었습니다!

이제부터는 인공지능에게 "여기저기 복잡하게 그려줘"라고 말하기보다, "작게 나누어서 하나씩 그려줘"라고 생각하면 된다는 뜻이죠! 🎨✨

기술 요약

1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 기반의 텍스트 - 이미지 (T2I) 생성 기술은 비약적인 발전을 이루었으나, 복잡한 수치적 (Numerical) 및 공간적 (Spatial) 추론이 필요한 프롬프트 처리에는 여전히 한계가 존재합니다.

• 기존 방법의 한계:
  • LLM 의존성: 레이아웃 예측을 위해 GPT-4 와 같은 대규모 폐쇄형 LLM 을 의존하여 접근성과 확장성이 떨어지며, 계산 비용이 매우 높습니다.
  • 복잡한 프롬프트 처리 실패: 여러 객체가 등장하거나 복잡한 공간 관계 (예: "의자 왼쪽에 있는 바나나", "의자와 개 사이에 있는 고양이") 가 포함된 경우, 객체 수의 불일치, 위치 오류, 왜곡 등이 빈번하게 발생합니다.
  • 동시 생성의 비효율: 기존 방법들은 모든 객체를 한 번에 생성하려 하므로, 생성 난이도가 높은 객체 (세부 묘사가 필요하거나 형태가 복잡한 객체) 가 제대로 생성되지 않거나 수치가 틀리는 문제가 발생합니다.

2. 제안 방법 (Methodology: DivCon)

저자들은 **DivCon (Divide and Conquer)**이라는 새로운 접근법을 제안합니다. 이는 복잡한 T2I 생성 작업을 여러 하위 작업으로 분해하여 해결하는 전략으로, 크게 두 단계로 나뉩니다.

2.1 레이아웃 예측 단계 (Layout Prediction)

기존의 엔드 - 투 - 엔드 방식 대신, 경량화된 오픈소스 LLM 을 사용하여 두 단계로 분해합니다.

1. 수치 및 공간 추론 (Numerical & Spatial Reasoning):
   • 텍스트 프롬프트에서 객체의 개수와 상대적 위치를 추출하는 추론 작업을 먼저 수행합니다.
   • 이 단계는 LLM 이 시각적 계획을 직접 수행하는 대신, 구조화된 제약 조건 (예: "사과: 5 개", "바나나: 왼쪽") 을 생성하는 데 집중합니다.
2. 바운딩 박스 시각적 계획 (Bounding Box Visual Planning):
   • 앞서 추출된 추론 결과를 **제약된 디코딩 (Constrained Decoding)**을 통해 바운딩 박스 좌표로 변환합니다.
   • 예: "사과: 5 개"라는 제약이 있다면, 모델은 '사과'라는 토큰을 5 번 반복하도록 강제하여 정확한 개수를 보장합니다. 위치 정보도 프리픽스 토큰으로 주어져 특정 영역을 지시합니다.
   • 효과: 이 분해 구조를 통해 경량 LLM (예: TinyLlama, Phi-2 등) 이도 대규모 모델과 유사한 레이아웃 정확도를 달성할 수 있습니다.

2.2 레이아웃 - 이미지 생성 단계 (Layout-to-Image Generation)

레이아웃을 기반으로 이미지를 생성할 때, 객체의 생성 난이도에 따라 점진적으로 합성하는 두 단계 방식을 사용합니다.

1. 1 차 생성 (First-Round Generation):
   • 전체 레이아웃을 기반으로 확산 모델을 실행하여 모든 객체를 한 번에 생성합니다.
2. 일관성 평가 및 2 차 정제 (Consistency Evaluation & Second-Round Refinement):
   • 생성된 이미지에서 각 객체를 잘라내어 텍스트 프롬프트와의 CLIP 유사도를 계산합니다.
   • 낮은 일관성 (Hard Samples): 생성 품질이 낮거나 왜곡된 객체를 식별합니다.
   • 높은 일관성 (Easy Samples): 품질이 좋은 객체는 잠금 (Freeze) 처리합니다.
   • 2 차 실행: 낮은 일관성을 가진 객체 영역만 다시 확산 모델에 입력하여 재생성합니다. 이때 고해상도 객체의 잠재 표현 (Latent Representation) 은 유지하여 전체적인 일관성을 해치지 않으면서 어려운 객체에만 집중하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. DivCon 프레임워크 제안: T2I 생성 작업을 레이아웃 예측과 이미지 생성 단계에서 모두 '분할 정복' 전략을 적용하여 복잡한 수치 및 공간 추론 능력을 향상시켰습니다.
2. 경량 LLM 을 통한 레이아웃 예측 최적화: 대규모 LLM 없이도 경량 오픈소스 모델을 사용하여 수치/공간 추론과 바운딩 박스 계획을 분리함으로써, 계산 비용을 줄이면서도 GPT-4 수준의 정확도를 달성했습니다.
3. 난이도 기반 점진적 생성: 객체의 생성 난이도를 고려하여 '쉬운 것부터 어려운 것'으로 점진적으로 합성하는 방식을 도입하여, 복잡한 프롬프트에서도 높은 충실도 (Fidelity) 를 확보했습니다.
4. 성능 입증: HRS 및 NSR-1K 벤치마크에서 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 레이아웃 예측 성능:
  • HRS 및 NSR-1K 벤치마크에서 경량 모델 (TinyLlama, Phi-2, Mistral-7B 등) 에 DivCon 을 적용했을 때, 수치 및 공간 정확도가 크게 향상되었습니다.
  • 특히 Qwen3-8B + DivCon은 HRS 벤치마크의 수치 추론 F1 점수 (89.50% 대비 90.44%) 와 정확도에서 GPT-4 를 능가하거나 동등한 성능을 보였습니다.
• 이미지 생성 성능:
  • HRS 데이터셋에서 수치 F1 점수가 8% 이상, 공간 정확도가 40% 이상 향상되었습니다.
  • NSR-1K 데이터셋에서도 수치 및 공간 정확도가 기존 방법 (Attention-Refocusing, GLIGEN 등) 보다 1~25% 포인트 개선되었습니다.
  • 이미지 품질 (FID): 생성된 이미지의 시각적 품질은 Stable Diffusion 과 유사하거나 더 우수하며, 프롬프트 충실도가 높습니다.
• 효율성:
  • GPT-4 기반 방법 (LLM-Grounded) 대비 추론 속도가 약 1.87 배 빨라졌습니다 (134.98 초 vs 72.01 초).
  • 사용자 연구 (User Study) 에서 생성된 이미지의 품질과 프롬프트 일치도가 다른 방법들보다 가장 높은 순위를 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 텍스트 - 이미지 생성 분야에서 수치적 정확성과 공간적 관계 이해라는 핵심 난제를 해결하기 위한 새로운 패러다임을 제시합니다.

• 접근성 향상: 고비용의 대규모 LLM 에 대한 의존도를 낮추고, 오픈소스 경량 모델을 활용하여 누구나 접근 가능한 고성능 T2I 시스템을 가능하게 했습니다.
• 확장성: 복잡한 프롬프트 처리 능력을 획기적으로 개선하여, 다중 객체 및 정교한 공간 제어가 필요한 실제 응용 분야 (예: 디자인, 광고, 게임 등) 에의 적용 가능성을 높였습니다.
• 기술적 통찰: "생성 난이도에 따른 점진적 합성"과 "추론과 계획의 분리"라는 전략이 T2I 모델의 한계를 극복하는 효과적인 방법임을 입증했습니다.

요약하자면, DivCon은 복잡한 텍스트 프롬프트를 정확하게 시각화하기 위해 추론과 생성 과정을 세분화하고, 이를 통해 경량 모델로도 고품질의 결과를 도출할 수 있게 한 획기적인 연구입니다.