BBQ-to-Image: Numeric Bounding Box and Qolor Control in Large-Scale Text-to-Image Models

이 논문은 기존 텍스트 기반 생성 모델의 한계를 극복하고, 구조화된 텍스트 프레임워크 내에서 객체의 위치와 크기를 나타내는 숫자 바운딩 박스 및 RGB 색상 값을 직접 조건으로 활용하여 정밀한 공간 및 색상 제어가 가능한 대규모 텍스트 - 이미지 모델 'BBQ'를 제안합니다.

핵심

🎨 BBQ: 그림을 그리는 '정밀한 요리사'

이 논문은 **"BBQ"**라는 새로운 인공지능 모델을 소개합니다. 이름에서 알 수 있듯이, 이 모델은 그림을 그릴 때 마치 **바베큐 (BBQ)**를 굽듯이 정확한 위치와 색상을 조절할 수 있게 해줍니다.

기존의 그림 생성 AI 는 "오른쪽 구석에 빨간색 사과를 그려줘"라고 말하면 대략적으로 그려주지만, BBQ 는 **"오른쪽 구석의 (x, y) 좌표에, 빨간색 (RGB: 255, 0, 0) 사과를 그려줘"**라고 하면 정확히 그 위치에, 그 색으로 그려줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 AI vs. BBQ: "감성적인 지시" vs. "정밀한 설계도"

• 기존 AI (감성적인 지시):
  Imagine you are asking a painter: "Draw a dog in the corner."
  화가에게 "구석에 개를 그려줘"라고 하면, 화가는 '어느 구석?', '얼마나 큰 개?', '어떤 색의 개?'를 스스로 추측해서 그립니다. 결과는 좋지만, 원하는 대로 딱 떨어지지 않을 수 있습니다.

• BBQ (정밀한 설계도):
  BBQ 는 화가에게 **"구석 (좌표: 0.1, 0.1) 에, 크기 5cm, 붉은색 (RGB: 255, 0, 0) 개를 그려줘"**라고 숫자로 된 설계도를 줍니다.
  화가는 더 이상 추측할 필요가 없습니다. 숫자대로 정확히 그립니다.

2. BBQ 의 핵심 기술: "숫자를 읽는 마법"

이 모델의 가장 놀라운 점은 아무런 구조 변경 없이 숫자를 이해한다는 것입니다.

• 비유: 레시피의 변화
  기존 AI 는 "맛있는 스테이크"라는 문장만 보고 그렸습니다.
  BBQ 는 "스테이크, 위치 (중앙), 크기 (큰 것), 색상 (갈색)"이라는 숫자가 섞인 레시피를 읽습니다.
  연구자들은 AI 가 숫자를 이해하도록 훈련시키기 위해, 그림 설명에 **위치 좌표 (상자 크기)**와 **색상 코드 (RGB)**를 숫자로 직접 적어 넣은 데이터를 대량으로 학습시켰습니다.

3. BBQ 의 놀라운 능력: "조절 가능한 그림"

BBQ 가 가장 잘하는 것은 그림을 수정하는 것입니다.

• 비유: 레고 장난감
  기존 AI 로 만든 그림을 수정하려면 "개 좀 오른쪽으로 옮겨줘"라고 다시 말해야 하고, AI 는 개를 옮기면서 배경까지 다 뭉개버릴 수 있습니다.
  하지만 BBQ 는 레고처럼 작동합니다.
  • "개 위치를 (10, 10) 에서 (20, 20) 으로 바꿔줘"라고 숫자만 바꾸면, 개만 정확히 이동하고 배경이나 다른 사물은 그대로 유지됩니다.
  • "개 옷 색을 (255, 0, 0) 에서 (0, 0, 255) 로 바꿔줘"라고 하면, 옷만 파란색으로 변합니다.

이것을 **해리 (Disentanglement)**라고 하는데, 한 부분을 건드려도 다른 부분은 영향을 받지 않는다는 뜻입니다. 마치 레고 블록 하나만 빼고 다른 블록은 그대로 두는 것과 같습니다.

4. 실제 사용법: "사람은 말하고, AI 가 숫자로 번역"

사람이 직접 "x 좌표 34.5, y 좌표 12.1"이라고 입력하는 건 너무 어렵습니다. 그래서 BBQ 는 **통역사 (VLM)**를 함께 사용합니다.

1. 사용자: "오른쪽 구석에 노란색 공을 그려줘." (자연어)
2. 통역사 AI: "오른쪽 구석" → (0.8, 0.8), "노란색" → (255, 255, 0)으로 숫자 코드로 번역.
3. BBQ: 번역된 숫자 코드를 받아 정확한 그림을 생성.

이 과정 덕분에 일반 사용자도 복잡한 숫자 없이, 직관적인 드래그 (이동) 나 색상 선택기 (Color Picker) 로 그림을 완벽하게 제어할 수 있습니다.

5. 요약: 왜 BBQ 가 중요한가요?

• 전문가용 도구: 디자이너나 아티스트는 "대략적으로"가 아니라 "정확하게"를 원합니다. BBQ 는 그 요구를 들어줍니다.
• 간단한 기술: 복잡한 새로운 구조를 만들지 않고, 기존 AI 에 '숫자 레시피'만 더해서 만들었습니다.
• 미래: 앞으로 그림을 그리는 것이 '말하기'에서 '프로그래밍'처럼 변할 수 있습니다. "여기에 이 물건을 이 색으로 배치해"라고 숫자로 지시하면, AI 가 그대로 실행하는 시대가 온 것입니다.

한 줄 요약:
BBQ 는 그림을 그릴 때 "감"에 의존하지 않고, 숫자 (위치와 색상) 로 정밀하게 제어할 수 있게 해주는, 레고처럼 조립하고 수정하기 쉬운 새로운 AI입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 최근 텍스트 - 이미지 생성 모델 (Text-to-Image) 은 사실성과 제어 가능성 측면에서 급격히 발전했습니다. 특히 긴 구조화된 캡션 (Structured Captions) 을 활용하여 세부적인 시각적 속성을 제어하는 방식 (예: FIBO, Hunyuan 3.0, FLUX.2 등) 이 등장했습니다.
• 파라미터적 격차 (Parametric Gap): 그러나 기존 모델들은 여전히 서술적인 언어 (Descriptive Language) 에 의존합니다. 예를 들어, "빨간색 (red)"이나 "오른쪽 아래 (bottom-right)"와 같은 주관적이고 모호한 표현을 사용합니다.
• 전문가 워크플로우의 요구: 전문적인 이미지 생성 및 편집 워크플로우에서는 정확한 수치적 제어 (Numeric Control) 가 필수적입니다.
  • 위치/크기: 픽셀 단위의 정확한 바운딩 박스 (Bounding Box) 좌표.
  • 색상: 명시적인 RGB 값.
• 기존 접근법의 단점: 기존에 공간적 제어를 수행하는 방법들 (GLIGEN, ControlNet 등) 은 모델 아키텍처를 수정하거나, 특수한 토큰을 추가하거나, 추론 시 (Inference-time) 복잡한 최적화 과정을 필요로 하여 확장성과 사용 편의성이 떨어집니다.

2. 제안 방법론 (Methodology)

이 논문은 BBQ (Bounding Boxes and Qolors) 라는 새로운 대규모 텍스트 - 이미지 모델을 제안합니다. BBQ 는 아키텍처 변경 없이 구조화된 텍스트 프레임워크 내에서 수치적 파라미터를 직접 조건 (Conditioning) 으로 받아들이는 방식을 채택합니다.

핵심 기술 요소

1. 수치적 조건부 입력 (Numeric Conditioning):

   • 바운딩 박스: 객체의 위치를 $(x_0, y_0, x_1, y_1)$ 형태의 정규화된 좌표로 명시.
   • 색상: 객체의 색상을 RGB 삼중항 $(R, G, B)$ 으로 명시.
   • 이러한 수치 정보는 자연어 캡션에 통합되어 모델의 입력으로 사용됩니다.

2. 데이터 증강 및 학습 (Data Augmentation & Training):

   • 데이터 생성: 기존 FIBO 스타일의 구조화된 캡션에 SAM2(바운딩 박스 추출), Depth Anything V2(깊이 추정), Pylette(주요 색상 추출) 등을 활용하여 수치적 파라미터를 자동 추출하고 캡션에 주입합니다.
   • 모델 학습: 기존 8B 파라미터 FIBO 백본을 기반으로, 수치 파라미터가 포함된 25M 개의 이미지 - 캡션 쌍으로 대규모 파인튜닝을 수행합니다.
   • 아키텍처 보존: 별도의 어텐션 메커니즘 추가, 특수 토큰 도입, 추론 시 최적화 없이 단순한 데이터 증강과 대규모 학습만으로 수치적 제어를 가능하게 합니다.

3. 파라미터 브리지 (Parametric Bridge - VLM):

   • 사용자가 직접 JSON 형식의 복잡한 수치 캡션을 작성하는 것은 비현실적입니다.
   • 이를 해결하기 위해 Qwen-3 VL 4B 와 같은 비전 - 언어 모델 (VLM) 을 '브리지'로 활용합니다.
   • VLM 의 역할:
     • Generate: 짧은 자연어 프롬프트를 수치 파라미터가 포함된 구조화된 JSON 으로 변환.
     • Refine: 기존 JSON 의 특정 필드 (박스 위치 변경, 색상 수정 등) 만 수정하여 재생성 지시.
     • Inspire: 참조 이미지에서 파라미터를 추출하여 템플릿 생성.

4. 해리 (Disentanglement) 및 정밀한 제어:

   • BBQ 는 구조화된 조건부 입력을 통해 네이티브 해리 (Native Disentanglement) 를 구현합니다.
   • 하나의 객체의 위치나 색상만 수정하고 재생성 (Re-generation) 할 때, 다른 객체나 장면의 나머지 부분은 그대로 유지됩니다. 이는 사용자가 객체를 드래그하거나 색상을 피커로 변경하는 것과 같은 직관적인 인터페이스를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. BBQ 모델 개발: 아키텍처 수정 없이 대규모 학습만으로 수치적 바운딩 박스와 RGB 색상 제어를 가능하게 한 최초의 대규모 텍스트 - 이미지 모델.
2. 구조화된 중간 언어 패러다임: 사용자의 의도를 자연어에서 수치 파라미터가 포함된 구조화된 언어 (Intermediate Structured Language) 로 변환한 후, 이를 렌더러가 처리하는 새로운 생성 패러다임 제시.
3. 직관적인 상호작용: 객체 드래그, 크기 조절, 색상 피커 등 전문적인 편집 도구를 텍스트 기반 생성 모델에 통합 가능하게 함.
4. 간단하고 확장 가능한 솔루션: 복잡한 어드APTER 나 추론 최적화 없이 데이터 중심 접근법으로 전문 워크플로우 요구사항을 충족.

4. 실험 결과 (Results)

BBQ 는 다양한 벤치마크에서 기존 SOTA 모델 (FIBO, Flux.2 Pro, Nano Banana Pro, GLIGEN, InstanceDiffusion 등) 과 비교 평가되었습니다.

• 텍스트 - 병목 재구성 (TaBR, Text-as-a-Bottleneck Reconstruction):

  • 원본 이미지를 캡션으로 변환하고 다시 생성하는 과정에서 BBQ 는 FIBO, Flux.2 Pro, Nano Banana Pro 보다 압도적으로 높은 선호도 (Win Rate) 를 보였습니다 (Flux.2 Pro 대비 93.3% 승리).
  • 장면의 레이아웃, 객체 관계, 세부 속성을 더 정확하게 보존함을 입증.

• 바운딩 박스 정확도 (Bounding-box Accuracy):

  • COCO 및 LVIS 데이터셋에서 객체 위치 정확도를 평가 (YOLO 기반 검출).
  • BBQ 는 일반 텍스트 - 이미지 모델 (Flux.2, Nano Banana) 과 전용 바운딩 모델 (GLIGEN) 을 모두 능가했습니다.
  • 아키텍처를 수정한 InstanceDiffusion 에는 약간 뒤처졌으나, 일반적인 대규모 모델로서 뛰어난 공간 제어 능력을 입증했습니다.

• 색상 충실도 (Color Fidelity):

  • 명시적인 RGB 값 조건부 생성 시 색상 정확도를 평가 (CIELab 공간에서의 $\Delta E_{00}$ 및 a-b 거리).
  • BBQ 는 모든 통계치 (평균, 중앙값, 90 백분위수) 에서 가장 낮은 오차를 기록하여 가장 정확한 색상 제어를 수행했습니다.
  • 특히 명도 (Lightness) 차이와 무관하게 색상 (Hue/Saturation) 을 정밀하게 제어하는 능력이 뛰어났습니다.

• 정성적 결과:

  • 객체 위치 변경, 색상 수정 시 장면의 다른 부분은 일관되게 유지되는 강력한 파라미터적 해리 (Parametric Disentanglement) 를 시각적으로 입증했습니다.

5. 의의 및 결론 (Significance)

• 전문가용 생성 모델의 진화: BBQ 는 텍스트 - 이미지 생성 모델을 단순한 창의적 도구를 넘어, 정밀한 수치 제어가 가능한 전문가용 시스템으로 격상시켰습니다.
• 새로운 패러다임 제시: "자연어 프롬프트 $\rightarrow$ 구조화된 파라미터 언어 $\rightarrow$ 렌더링"이라는 흐름은 향후 더 많은 정밀한 속성 (깊이, 조명, 질감 등) 을 수치적으로 제어하는 프로그래밍 가능한 생성 모델의 길을 열었습니다.
• 실용성: 복잡한 프롬프트 엔지니어링을 대체하여, 직관적인 UI(드래그 앤 드롭, 색상 선택기) 와 결합함으로써 실제 산업 현장에서의 활용도를 극대화했습니다.

요약하자면, BBQ 는 구조화된 데이터 학습의 힘을 통해 대규모 모델이 아키텍처 변경 없이도 정밀한 수치적 제어를 가능하게 함으로써, 텍스트 기반 생성 모델의 한계를 극복하고 새로운 차원의 제어 가능성을 제시한 획기적인 연구입니다.