기술 요약: 풍경 이미지 생성을 위한 앵커 조건부 구성 제어 (Anchor-Conditioned Compositional Control)

문제 정의

이미지 생성 모델은 강력한 창의적 도구 역할을 하고 있지만, 사진가와 시각 예술가들에게 근본적인 요소인 **구성(composition)**에 대한 정밀한 제어 능력은 현재 결여되어 있다. 콘텐츠 명시와 달리, 구성적 의도는 지평선 배치, 프레임 분할, 관찰자의 시선 집중과 같은 결정 사항을 포함한다. 표준 확산 모델(예: Ho et al. 2020; Rombach et al. 2022)은 사전 학습 과정에서 흡수된 통계적 패턴에 의존하며, 사용자가 공간적 결과나 구성적 레이아웃을 직접 지시할 수 있는 명시적인 메커니가 없다. ControlNet(Zhang et al. 2023)이나 GLIGEN(Li et al. 2023)과 같은 기존의 공간 제어 방식은 깊이 맵(depth maps), 에지 맵(edge maps), 또는 바운딩 박스와 같은 구조적 입력을 요구하는 경우가 많으며, 이는 고차원적인 구성적 방향 설정을 위해 항상 가용하거나 바람직한 것은 아니다.

방법론

1. 구성적 앵커 벡터 추출 (Compositional Anchor Vector Extraction)

핵심 혁신은 수동 주석 없이 학습 이미지로부터 4차원 앵커 벡터를 자동으로 추출하는 것이다. 이 벡터는 다음을 인코딩한다:

• 지평선 위치 ($y$): 이미지 상단 60% 영역의 Canny 에지 맵에 허프 변환(Hough line transform)을 적용하여 추정하며, $[0, 1]$ 범위로 정규화된다.
• 지평선 신뢰도 (Horizon Confidence): 검출된 가장 긴 수평선의 이미지 너비 대비 분율적 커버리지.
• 평균 돌출도 (Average Saliency): 상위 돌출 영역 전반에 걸친 스펙트럼 잔차 분석(spectral residual analysis)을 통해 계산됨.
• 전경 비율 (Foreground Ratio): 시각적으로 두드나 보이는 전경 콘텐츠에 대한 거친 추정치.

지평선이 검출되지 않을 경우, 정보의 유효성을 보존하기 위해 기본값($y=0.5$, confidence $=0.0$)이 적용된다.

2. 주입 아키텍처: 분리된 교차 주의 집중 (Decoupled Cross-Attention)

앵커 벡터는 텍스트 컨디셔닝 스트림과 구별되는 전용 병렬 어텐션 경로를 통해 미세 조정된 잠재 확산 모델(latent diffusion model)에 주입된다.

• 푸리에 인코딩 (Fourier Encoding): 4D 벡터는 16개의 로그 간격 주파수($2^0$부터 $2^{15}$까지)를 사용하는 푸리에 임베딩 레이어를 통과하여 132차원의 표현을 생성한다. 이는 스칼라 입력으로부터 미세한 공간 관계를 학습할 수 있게 한다(GLIGEN의 절제 실험 결과에서 영감을 받음).
• 앵커 투영 (Anchor Projection): 경량 네트워크(Linear $\to$ GELU $\to$ LayerNorm $\to$ Linear $\to$ LayerNorm)가 132D 벡터를 $[B, 1, 768]$ 형태의 단일 앵커 토큰으로 투영한다.
• 분리된 주의 집중 (Decoupled Attention): UNet의 각 16개 교차 주의 집중 레이어에서 앵커를 위한 별도의 Key 및 Value 투영 행렬(저계수 분해, rank 8)이 도입된다. 출력은 텍스트와 앵커의 주의 집중을 결합한다:
  $$out = Attn(Q, K_{text}, V_{text}) + \lambda \cdot Attn(Q, K_{anchor}, V_{anchor})$$
  이 설계는 앵커 토큰(전체 어텐션 예산의 약 1.3%를 차지)이 77개의 텍스트 토큰에 의해 묻혀버리는 현상(앵커를 단순히 텍스트 시퀀스에 결합했을 때 관찰된 실패 모드)을 방지한다.

3. 학습 전략

• 데이터셋: 1949$\times$1024로 표준화된 Cropped-1901 Landscape Dataset (4,713장)을 사용하며, 학습을 위해 768$\times$400으로 리사이즈되었다.
• 삼방향 분류기 없는 가이던스(Classifier-Free Guidance, CFG) 드롭아웃: 학습 중 특정 드롭아웃 스킴이 적용된다: 5%는 텍스트와 앵커 모두 드롭, 5%는 텍스트만 드롭, 5%는 앵커만 드롭, 85%는 둘 다 유지한다. 이를 통해 추론 시 수동 공간 마스크 없이도 앵커를 지정할 수 있는 조건부 생성이 가능해진다.
• 미세 조정: 모델은 어텐션 투영에 LoRA 어댑터(rank 16)를 사용하며, 10,000 스텝 동안 학습된다.

주요 결과

정량적 성능

평가는 네 가지 모델 구성에 대해 수행되었다: 베이스라인(미세 조정 없음), LoRA-only(앵커 없음), 결합(Concatenation, 텍스트에 앵커 추가), 그리고 제안된 방식(Decoupled Cross-Attention).

• 지평선 검출률: 제안된 모델은 베이스라인(0.766) 및 LoRA-only(0.766), 결합 변형(0.766)에 비해 가장 높은 비율(0.850)을 달아냈다.
• 삼분할 법칙 일치도 (Rule-of-Thirds Alignment): 제안된 모델은 0.817을 기록하여, 베이스라인(0.500)과 LoRA-only(0.636)를 크게 상회했다.
• 지평선 편차 (Horizon Deviation): 제안된 모델은 구성 오류를 0.062로 줄였으며, 이는 베이스라인(0.073) 대비 15% 감소한 수치이다.
• 결합 방식에 대한 절제 실험: 결합 변형 모델은 모든 지표에서 수정되지 않은 베이스라인과 동일한 성능을 보였으며, 이는 단일 추가 토큰이 77개의 텍스트 토큰에 맞서 공간적 레이아웃에 영향을 미치기에 불충분함을 확인시켜 준다.

카테고리별 절제 실험

저자들은 구성적으로 균질한 하위 집합에 대해 학습하는 것이 정밀도를 향상시키는지 조사하였다. 세 가지 카테고리별 모델(Mountain, Forest, Desert)이 데이터 하위 집합을 통해 학습되었다.

• 정밀도 이득: 모든 카테고리별 모델은 100% 지평선 검출을 달성하였고, 혼합 학습 모델보다 유의미하게 낮은 편차를 보였다.
• Forest 모델: 가장 낮은 편차(0.029)를 달성하였으며, 이는 혼합 학습 모델 대비 40%, 베이스라인 대비 60% 개선된 수치이다.
• 결론: 특정 장면 하위 집합에 대한 학습은 구성 제어 정밀도를 안정적으로 높여주며, 이는 구성 제어가 카테로리 의존적임을 시사한다.

의의 및 주장

본 논문은 다음을 입증하는 초기 결과를 제시한다:

1. 분리된 주의 집중의 필요성: 스칼라 기술자를 통한 효과적인 구성 제어에는 독립적인 Key/Value 투영을 가진 전용 어텐션 경로가 필요하며, 단순한 토큰 결합은 실패한다.
2. 카테고리 의존성: 구성 제어 정밀도는 모든 장면에 대해 균일하지 않다. 혼합 학습보다 균질한 하위 집합을 통한 학습이 더 우수한 결과를 낳는다.
3. 스칼라 조건부 지정의 타당성: 구조적 마스크 없이도 압축된 4D 벡터를 사용하여 추론 시 구성적 의도(지평선 위치, 돌출도, 전경 비율)를 지정하는 것이 가능하다.

저자들은 앵커 벡터가 풍경 이미지(지평선/하늘 관계에 의해 지배됨)에 특화되어 있어 인물이나 건축물에는 재정의가 필요할 수 있다는 한계를 인정하였다. 또한 현재의 평가는 인간의 주관적 판단보다는 자동화된 지표(지평선 검출, 삼분할 법칙)에 의존하고 있으며, 향후 사용자 연구를 계획 중이라고 밝혔다. 본 연구는 모든 구성 문제를 해결한다고 주장하는 것이 아니라, 풍경 특화 구성 제어를 위한 실행 가능한 프레임워크를 보여주는 데 목적이 있다.