기술 요약: 멀티모달 이미지 채색 (Multimodal Image Colorization)

문제 정의

자동 흑백-컬러 이미지 변환은 컴퓨터 비전 분야의 근본적인 과제인데, 이는 해당 작업이 '부적정(ill-posed)'하기 때문이다. 즉, 단일한 회색조 강도 값이 원래의 색상을 유일하게 결정하지 못한다. 결과적으로, 하나의 입력값은 객체의 정체성, 장면의 맥락 또는 예술적 의도에 따라 여러 가지 유효한 채색 결과로 이어질 수 있다. 현대의 딥러닝 접근 방식은 이러한 모호성을 해결하기 위해 확률적 모델과 시맨틱 특징 추출을 활용하지만, 문제에 내재된 멀티모달성(multimodality)은 여전히 핵심적인 장애물로 남아 있다.

이러한 모호성을 해결하기 위한 유망한 전략은 자연어 설명을 조건부 신호(conditioning signals)로 통합하는 것이다. 텍스트는 흑백 상태에서는 구별할 수 없는 속성(예: "빨간색 자동차" vs "파란색 자동차")을 명시적으로 정의할 수 있다. 그러나 텍스트 컨디셔닝을 통합하는 기존 연구들(예: TIC, DiffColor, Diffusing Colors)은 수정된 백본, 새로운 손실 함수, 또는 확산 프레임워크와 같은 다양한 아키텍처 변경을 동시에 도입한다. 이는 결과가 혼재되게 만들어, 텍물의 기여도를 다른 아키텍처 개선 사항으로부터 분리하여 정량적으로 고립시키는 것을 불가능하게 만든다.

방법론

본 연구는 텍스트 컨디셔닝의 영향을 격리하기 위해 두 가지 서로 다른 아키텍처 계층을 비교하는 통제된 절제 연구(ablation study)를 수행한다. 두 계층 모두에서 변경되는 유일한 변수는 텍스트 컨디셔닝의 존재 여부이며, 그 외의 모든 하이퍼파라미터, 데이터셋 및 훈련 절차는 동일하게 유지된다.

데이터셋:
실험에는 Open Image Preferences v1 데이터셋(7,459개의 프롬프트-이미지 쌍)을 사용한다. 결정론적 분할(deterministic split)을 통해 90%는 훈련에, 10%는 평가에 할당하여 테스트 세트 누수(leakage)가 없도록 보장한다.

아키텍처 계층 1: U-Net

• 기본 모델 (UN-NP): 흑백 입력을 통해 RGB 출력을 예측하도록 처음부터 학습된 커스텀 U-Net이다. MSE 손실을 사용하며 약 1,340만 개의 파라미터를 포함한다.
• 텍스트 조건부 모델 (UN-P): 특정 인코더/디코더 깊이에 크로스 어텐션(cross-attention) 레이어가 추가된 동일한 백본이다. 이 레이어들은 동결된 CLIP ViT-B/32 인코더로부터의 임베딩에 어텐션을 수행한다. 이 모델은 약 1,640만 개의 파라미터를 포함한다.
• 훈련: 두 모델 모두 Adam 옵티마이저를 사용한다. UN-P는 텍스트에 대한 과적합을 방지하기 위해 10%의 빈 프롬프트 드롭아웃(empty prompt dropout)을 적용하여 훈련된다.

아키텍처 계층 2: Stable Diffusion 1.5

• 기본 모델 (SD-NP): 모든 캡션을 빈 문자열로 대체하여 효과적으로 무조건부(unconditional) 모델로 훈련된 미세 조정된 Stable Diffusion 1.5 체크포인트이다.
• 텍스트 조건부 모델 (SD-P): 실제 캡션을 사용하여 미세 조정된 동일한 체크포인트이다.
• 설정: 두 변형 모두 CIELAB 공간(ab 채널 예측)에서 작동한다. 결정적으로, 두 모델 모두 가이던스 스케일(guidance scale) 1.0을 사용한다(Classifier-Free Guidance 증폭 없음). 이 설계 선택은 텍스트 신호가 회색조 컨디셔닝을 압도할 위험을 피함으로써, 크로스 어텐션만을 통해 텍스트 컨디셔닝의 효과를 격리한다. 이는 이전의 높은 스케일 실험에서 관찰되었던 현상을 방지하기 위함이다.

평가 지표:
성능은 다음 지표를 사용하여 홀드아웃(held-out) 테스트 세트 745개 이미지에 대해 측정된다:

1. PSNR & SSIM: 픽셀 수준 및 구조적 충실도.
2. LPIPS: 지각적 유사도(낮을수록 좋음).
3. Colorfulness: Hasler–Süsstrunk 지수(높을수록 더 생생함).
   모든 지표는 512×512 해상도에서 계산된다(U-Net 예측값은 공정한 비교를 위해 바이리니어 업샘플링된다).

주요 기여

1. 통제된 절제 연구: 약 1,300만 개의 파라미터를 가진 U-Net과 약 8억 5,900만 개의 파라미터를 가진 Stable Diffusion이라는 두 가지 매우 다른 아키텍처 규모에 걸쳐 모든 변수를 일정하게 유지함으로써, 텍스트 컨디셔닝이 컬러레이션에 미치는 영향을 정량화한 최초의 연구이다.
2. 정량적 평가: 개별 이미지 지표에 대한 대응 표본 t-검정(paired t-tests)을 사용하여 개선의 유의성을 결정하는 엄격한 통계 분석을 수행하였다.
3. 정성적 분석: 텍스트 컨디셔닝이 가장 큰 이점을 제공하는 특정 시나리오(모호한 객체의 구별)와 이점이 제한적인 시나리오(전형적인 장면)에 대한 검토를 수행하였다.

결과

연구 결과, 텍스트 컨별은 두 아키텍처 규모 모두에서 일관되고 측정 가능한 개선을 제공함을 보여준다.

U-Net 계층 (UN-NP vs. UN-P):

• PSNR: +5.6% 개선 (19.13 → 20.21).
• SSIM: +1.2% 개선.
• LPIPS: -7.6% 감소 (개선).
• Colorfulness: +36.6% 증가.
• 유의성: 모든 개선 사항은 매우 통계적으로 유의미하다 ($p < 10^{-13}$) (중간 정도의 효과 크기).

Stable Diffusion 계층 (SD-NP vs. SD-P):

• PSNR: +5.8% 개선 (19.65 → 20.79).
• SSIM: +1.5% 개선.
• LPIPS: -11.3% 감소 (개선).
• Colorfulness: +0.6% 증가 (통계적으로 유의미하지 않음, $p=0.71$).
• 유의성: PSNR, SSIM, LPIPS 개선은 매우 유의미하다.

비교 분석:
PSNR 이득은 두 계층 간에 비슷하지만(~5.6–5.8%), 개선의 성격은 다르다. U-Net 계층은 Colorfulness의 극적인 증가를 보이는데, 이는 처음부터 학습된 모델에게 텍스트가 중요한 외부 시맨틱 정보원임을 시사한다. 반면, 수십억 개의 텍스트-이미지 쌍으로부터 풍부한 사전 학습된 시각적 사전 지식(visual priors)을 보유한 Stable Diffusion 계층은 지각적 오차(LPIPS)의 더 큰 감소를 보이지만, 이미 강력한 색상 연관성을 인코딩하고 있기 때문에 Colorfulness의 이득은 미미하다.

의의 및 주장

본 논문은 텍스트 컨디셔닝이 아키텍처에 독립적인 메커니즘으로서 컬러레이션 품질을 향상시킨다고 결론짓는다. 파라미터 수의 50배 차이에도 불구하고 PSNR과 LPIPS 개선이 일관되게 나타나는 것은, 이 이득이 단순히 모델 용량의 함수가 아니라 문제의 부적정성을 해결하는 근본적인 데서 기인함을 시사한다.

저자들은 처음부터 학습된 모델(U-Net과 같은)의 경우, 텍스트 컨디셔닝이 회색조 픽셀만으로는 제공할 수 없는 색상 모호성을 해결하기 위한 필수적인 신호로서 작로서, 이는 정보 병목(information bottleneck)이 아닌 용량 병목(capacity bottleneck)을 깨뜨리는 역할을 한다고 주장한다. 대규모 사전 학습 모델(Stable Diffusion)의 경우, 텍스트 컨디셔닝은 출력을 더욱 시맨틱하게 정확하고 지각적으로 실제 값(ground truth)에 가깝게 정교화하지만, 색상의 생생함에 대한 한계 이득은 더 낮다.

본 연구는 텍스트 가이드의 우월성에 대한 이전의 주장들이 아키텍처 변경과 동시에 발생했기 때문에 텍스트만의 기여로 돌리기 어려웠음을 강조한다. 변수를 격리함으로써, 본 연구는 자연어 가이드가 자동 이미지 컬러레이션의 독특하고 강력한 기여자임을 확인한다.