NumColor: Precise Numeric Color Control in Text-to-Image Generation

1. 문제 정의 (Problem Statement)

현재 대규모 텍스트 - 이미지 (T2I) 확산 모델 (Diffusion Models) 은 자연어 설명을 통해 고품질의 이미지를 생성하는 데 탁월하지만, 정확한 수치 색상 (Numerical Color) 제어에는 심각한 한계가 있습니다.

• 수치 색상 인식 실패: 모델은 "빨간색 (red)"과 같은 기본 색상 이름에는 잘 반응하지만, Hex 코드 (#FF5733) 나 RGB 값 (rgb(255,87,51)) 과 같은 정밀한 수치 지시를 해석하지 못합니다.
• 토크나이저 분할 (Tokenization Fragmentation) 의 한계: CLIP, T5 와 같은 표준 텍스트 인코더는 수치 코드를 의미 있는 단위로 처리하지 않고, 하위 단어 (subword) 단위로 분할합니다. 예를 들어 #FF5733은 #, FF, 57, 33과 같은 무의미한 토큰으로 쪼개집니다.
  • 이로 인해 생성 과정에서 각 토큰 조각이 임의의 이미지 영역에 주의를 기울이게 되어 (Cross-attention disruption), 색상과 객체 간의 결합이 깨지고 잘못된 색상이 생성됩니다.
• 학습 데이터 부족: 대규모 T2I 학습 데이터셋의 캡션은 대부분 색상 이름에 의존하며, 수치 코드가 명시적으로 포함된 데이터는 거의 없습니다.

2. 제안 방법: NumColor (Methodology)

저자들은 토큰 분할 문제를 해결하고 수치 색상을 텍스트 임베딩 공간에 정밀하게 매핑하기 위해 NumColor라는 프레임워크를 제안합니다. 이는 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. 컬러 토큰 어그리게이터 (Color Token Aggregator, CTA)

• 목적: 다양한 토크나이저 (CLIP, T5 등) 에서 어떻게 분할되든 상관없이 수치 색상 스펙을 감지하고 단일 의미 있는 토큰으로 통합합니다.
• 구조:
  • Character-level Sequence Labeler: 각 토큰을 고정 길이의 문자 시퀀스로 변환하고, 1D CNN 과 Transformer Encoder 를 통해 문맥을 파악합니다.
  • BIO Tagging: 각 토큰을 B(Begin), I(Inside), O(Outside) 태그로 분류하여 색상 코드의 범위를 식별합니다.
  • CRF (Conditional Random Field): 태그 시퀀스의 유효성을 보장하여 색상 코드를 하나의 통합된 단위로 인식하도록 합니다.
  • 결과: 분할된 토큰들을 하나의 논리적 색상 토큰으로 재구성합니다.

나. 컬러북 (ColorBook)

• 목적: 통합된 수치 색상을 텍스트 인코더의 임베딩 공간에 매핑하는 학습 가능한 코드북입니다.
• 구현:
  • CIE Lab 공간 기반: RGB 공간 대신 지각적으로 균일한 (perceptually uniform) CIE Lab 색상 공간을 사용합니다. sRGB gamut 내에서 5 단위 간격으로 **6,707 개의 앵커 색상 (Anchor Colors)**을 샘플링하여 코드북을 구성합니다.
  • 임베딩 매핑: 각 Lab 앵커는 T5 은닉 차원 (4096 차원) 에 맞는 학습 가능한 임베딩으로 매핑됩니다.
  • 소프트 인터폴레이션 (Soft Interpolation): 입력된 색상이 앵커와 정확히 일치하지 않을 경우, 가장 가까운 8 개 (k=8) 앵커의 임베딩을 가중치 합 (Softmax 기반) 으로 계산하여 부드러운 색조 전환을 가능하게 합니다.
  • 초기화 전략: T5 의 기존 색상 어휘 (ISCC-NBS, CSS3/X11) 를 활용하여 초기화하되, 객체와 연관된 의미 (예: '토마토'는 빨간색이지만 과일 의미도 강함) 를 배제하고 순수 색상 의미만 가진 단어를 선별하여 초기화합니다.
  • 주입 (Injection) 시점: 색상 임베딩을 T5 의 자기 주의 (Self-attention) 레이어 이전에 주입합니다. 이를 통해 색상 토큰과 객체 토큰 (예: 'car') 이 상호 작용하여 정확한 색상 - 객체 결합을 이루도록 합니다.

다. 학습 데이터 및 목적 함수

• NumColor-Data: 실제 사진 데이터의 조명/재질 노이즈를 제거하기 위해 50 만 개의 합성 렌더링 이미지를 생성했습니다. 3D 객체에 균일한 람베르트 (Lambertian) 재질과 정확한 Lab 색상을 적용하여 색상과 픽셀 간의 모호함 없는 대응 관계를 확보했습니다.
• 손실 함수 (Loss Functions):
  1. Flow Matching Loss: 기본 확산 모델의 재구성 손실.
  2. Directional Alignment Loss: Lab 공간에서의 색상 이동 방향이 임베딩 공간의 이동 방향과 일치하도록 강제합니다.
  3. Interpolation Consistency Loss: Lab 공간의 중간 색상이 임베딩 공간에서도 두 색상 임베딩의 중간에 위치하도록 하여 부드러운 보간을 보장합니다.

3. 주요 기여 (Key Contributions)

1. NumColor 프레임워크: 토크나이저에 구애받지 않는 CTA 와 지각적 균일성을 가진 CIE Lab 기반 ColorBook 을 통해 T2I 모델에 정밀한 수치 색상 조건부 생성을 가능하게 함.
2. NumColor-Data: 수치 색상 제어 학습을 위한 첫 번째 대규모 합성 데이터셋 (50 만 개 이미지) 구축.
3. 제로샷 전이 (Zero-shot Transfer): FLUX 모델로만 학습된 ColorBook 이 SD3, SD3.5, PixArt-α, PixArt-Σ 등 다른 아키텍처의 모델에서도 별도의 추가 학습 없이 즉시 적용 가능함을 증명.

4. 실험 결과 (Results)

• 정량적 평가 (GenColorBench):
  • 색상 정확도: 기존 모델 대비 4 배에서 9 배 향상 (Hex 및 RGB 정확도).
  • 색상 조화 (Color Harmony): 10 배에서 30 배 향상. 잘못된 색상으로 인한 비일관적인 팔레트 문제가 해결됨.
  • 다양한 모델 (FLUX, SD3, PixArt 등) 에서 일관된 성능 개선을 보임.
• 정성적 평가:
  • 기본 색상부터 미세한 그라데이션 (회색조, 청록색 등) 까지 정확한 색상 재현.
  • 앵커에 없는 색상도 인터폴레이션을 통해 자연스럽게 생성.
  • Cross-attention 시각화를 통해 색상 토큰이 분산되지 않고 대상 객체에 집중됨을 확인.
• 임베딩 공간 분석: 학습 후 ColorBook 임베딩이 Lab 공간의 지각적 구조를 잘 보존하며, 색상 이름과 유사한 일관성을 가짐을 확인.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 디자인, 광고, 브랜드 콘텐츠 제작 등 **엄격한 색상 충실도 (Color Fidelity)**가 요구되는 분야에서 T2I 모델의 실용성을 크게 높였습니다.
  • 기존 모델의 토크나이저 구조적 한계를 우회하는 효율적인 아키텍처를 제시했습니다.
  • 단일 학습으로 다양한 모델에 적용 가능한 범용 솔루션을 제공했습니다.
• 한계:
  • 색상 누출 (Color Leakage): 객체 주변의 배경이나 다른 요소로 색상이 번지는 현상이 발생할 수 있음 (Cross-attention 의 공간적 제약).
  • 기억된 색상 편향 (Memory Color Bias): '바나나', '당근' 등 특정 객체와 강하게 연관된 고유의 색상 (예: 노란색) 을 가진 경우, 모델이 학습된 사전 지식 (Prior) 을 우선시하여 사용자가 지정한 색상 (예: 녹색) 을 무시할 수 있음.

결론

NumColor 는 텍스트 - 이미지 생성 모델이 수치 코드를 통해 정밀한 색상을 제어할 수 있게 하는 획기적인 방법론입니다. 토큰 분할 문제를 해결하고 지각적으로 균일한 색상 공간을 임베딩에 통합함으로써, 기존 모델의 색상 제어 한계를 극복하고 산업적 적용 가능성을 크게 확장했습니다.