기술 요약: 예술 작품 및 사진의 구도 분석을 위한 시각적 표현 학습

1. 문제 정의

시각적 구도(visual composition)—시각적 요소들의 의도적인 배치—는 예술 작품과 사진에서 의미, 감정, 미적 품질을 전달하는 데 있어 근본적인 역할을 한다. 그러나 이는 시각적 이해의 영역 중 가장 공식화되지 않은 차원 중 하나로 남아 있다. 현재의 계산적 접근 방식은 두 가지 주요 과제에 직면해 있다:

1. 의미론적 편향(Semantic Bias): 기존 모델들은 종종 구도적 구조를 의미론적 콘텐츠(예: '사람'을 인식하는 것이 아니라 사람의 '공간적 배치'를 인식하는 것)와 혼동한다. 이는 표현을 해석하기 어렵게 만들고, 도메인 간(예: 사진에서 예술 작품으로) 일반화 성능을 저하시킨다.
2. 인간과의 정렬 부족(Lack of Human Alignment): 많은 방법론이 딥 뉴럴 네트워크의 추상적인 특징 표현이나 자연 이미지로 학습된 객체 탐지기에서 유도된 바운딩 박스에 의존한다. 이러한 방식은 시각 시스템이 장면을 일관된 영역으로 조직하고 공간적 관계를 추론하는 인간의 지각적 그룹화(perceptual grouping)를 모사하는 데 실패한다. 또한, 기존의 접근 방식은 해석 가능성이 떨어지고 많은 양의 주석 데이터(annotation)를 필요로 하는데, 예술 작품의 구도를 위한 데이터는 매우 희소하다.

2. 방법론

본 논문은 구도적 표현을 학습하기 위한 두 가지 패러다임인 인간 중심적 접근 방식과 파인튜닝된 파운데이션 모델에 대한 비교 연구를 제안한다.

A. 인간 중심적 접근 방식 (객체 중심 학습 + 그래프 어텐션)

이 패러다임은 지각적 그룹화의 원리를 명시적으로 모델링한다:

1. 객체 중심 분해 (Object-Centric Decomposition, OCL): 이 방법은 **슬롯 어텐션(Slot Attention)**을 활용하여 이미지를 고정된 수의 "슬롯"으로 분해하며, 각 슬롯은 의미론적으로 유의미한 영역에 대응한다. 바운딩 박스 방식과 달리, 이 비지도 학습 방식은 태스크별 객체 탐지기나 세그멘테이션 라벨 없이도 도메인(사진 및 예술 작품) 전반에 걸쳐 일반화된다.
2. 관계 모델링 (GAT): 영역 수준의 슬롯들 사이의 관계를 모델링하기 위해 **그래프 어텐션 네트워크(Graph Attention Network, GAT)**를 채택한다. 각 슬롯은 노드 역할을 하며, GAT는 노드 간의 엣지(관계)에 대한 중요도 가중치를 학습한다. 이를 통해 모델은 공간적 배치를 포착하고, 관계적 영향력에 기반하여 핵심적인 요소를 식별할 수 있다.
3. 아키텍처: 최종적인 구도 임베딩은 슬롯 표현을 GAT의 출력과 결합하여 형성된다. 이 아키텍처는 그래프 구조가 영역 간의 관계를 명시적으로 나타내므로 해석 가능하다는 장점이 있다.

B. 파인튜닝된 파운데이션 모델

두 번째 패러다임은 대규모 자기지도 학습 파운데이션 모델(특히 Dinov2 변형 모델)을 대규모 구도 데이터셋에 대해 파인튜닝하는 것을 포함한다. 이 접근 방식은 사전 학습된 모델의 표현력을 활용하지만, 이들을 지각적 그룹화 원리를 내재적으로 따르지 않는 "블랙박스"로 취급한다.

데이터셋

본 연구는 다음의 데이터셋을 통해 두 패러다임을 평가한다:

• PICD: 24개의 구도 카테리가 포함된 49,000장의 사진 데이터셋.
• APDDv2: 구도 및 레이아웃 점수를 포함한 속성 수준의 점수가 부여된 10,000장의 회화 데이터셋.

3. 주요 기여

• 비교 분석: 명시적인 인간 중심적 구도 모델링(OCL + GAT)과 데이터 기반의 파운데이션 모델 파인튜닝 간의 체계적인 비교를 제공한다.
• 해석 가능한 표현: 객체 중심 학습이 표준 파운데이션 모델의 추상적 특징과 달리, 인간의 지각적 추론과 일치하는 구조적이고 해석 가능한 구도 임베딩을 생성할 수 있음을 입증한다.
• 교차 도메인 일반화: 비지도 학습 기반의 OCL 모델이 도메인 특화된 재학습 없이도 자연 이미지에서 예술 작품으로 일반화될 수 있는 능력을 보여준다.
• 통합 프레임워크: 제안된 아키텍처는 추가적인 감독이나 특화된 아키텍처 없이도 단일 프레임워크 내에서 다양한 다운스트림 태스크(구도 예측, 이미지 검색, 살리언시 검출)를 지원한다.

4. 결과

실험은 성능, 해석 가능성 및 데이터 효율성에 관한 미묘한 결과들을 도출한다:

• 동결된 인코더 (Frozen Encoders): 특징 인코더가 동결되었을 때, 인간 중심적 방식인 OCL + GAT는 구도 카테고리 예측 및 구도 검색, 시각적 살리언시 검출과 같은 다운스트림 태스크에서 동결된 파운데이션 모델(Dinov2)보다 유의미하게 높은 성능을 보인다. 이는 데이터가 제한적이거나 의미론적 편향을 최소화해야 할 때, 영역 간의 관계를 명시적으로 모델링하는 것이 매우 중요하다는 것을 시사한다.
• 파인튜닝 (Fine-Tuning): 충분한 라벨링 데이터가 확보될 경우, 파인튜닝된 Dinov2 모델은 동결된 인간 중심적 접근 방식보다 정확도 및 점수 예측(PLCC/SRCC) 측면에서 우수한 성능을 달성한다. 그러나 이는 해석 가능성의 희생과 훨씬 더 많은 학습 가능한 파라미터(OCL + GAT의 990K 대비 86M)를 요구한다는 비용이 따른다.
• 태스크 특이성:
  • 카테고리 예측: 영역 간의 관계를 명시적으로 모델링하는 것만으로도 높은 정확도의 구도 카테고리 분류가 가능하다.
  • 점수 예측: 전역적인 구도 점수(연속적인 값)를 예측하기 위해서는 단순히 영역 간 관계를 넘어 더 넓은 이미지 특성(예: 색상, 대비)을 포착하는 풍부한 표현이 필요하다. 이 태스크에서는 일반적으로 파인튜닝된 모델이 구조적 접근 방식보다 우세하다.
• 다운스트림 태스크:
  • 구도 검색 (Compositional Retrieval): OCL + GAT 모델은 구도 카테고리에 따라 높은 정밀도로 이미지를 검색하는 반면, 동결된 파운데이션 모델은 의미론적 콘텐츠에 크게 편향되어 있다. 파인튜닝된 모델은 검색 성능을 개선하지만 여전히 특정 학습 목적 함수에 의존한다.
  • 시각적 살리언시 (Visual Saliency): GAT 구조를 통해 나가는 엣지 가중치의 합을 구함으로써 살리언시 맵을 직접 도출할 수 있으며, 이는 인간의 안구 추적 데이터와 일치하는 핵심 영역을 식별한다. 이는 블랙박스 모델이 제공할 수 없는 수준의 해석력(특정 영역이 왜 중요한지에 대한 설명)을 제공한다.

5. 의의 및 주장

본 논문은 대규모 파운데이션 모델이 충분한 데이터와 잘 정의된 목적 함수가 주어질 때 최첨단 성능을 달 수 있지만, 이들이 구도의 구조적 논리를 내재적으로 포착하지는 못한다고 주장한다. 본 연구의 의의는 다음과 같다:

1. 해석 가능성 대 성능의 트레이드오프: 인간 중심 모델의 해석 가능성 및 데이터 효율성과 파인튜닝된 파운데이션 모델의 순수 성능 사이에는 명확한 상충 관계가 존재한다.
2. 명시적 모델링의 필요성: 교차 도메인 일반화(예: 사진으로 학습된 모델을 예술에 적용)나 해석 가능성(예: 왜 특정 이미지가 그러한 구도를 갖는지 설명)이 필요한 태스크의 경우, 유의미한 영역과 그 관계를 명시적으로 모델링하는 것이 더 우수하다.
3. 데이터 효율성: 인간 중심적 접근 방식은 훨씬 적은 수의 학습 파라미터로 경쟁력 있는 결과를 달성하므로, 주석이 달린 대규모 데이터셋을 사용할 수 없는 상황에서 유효한 대안이 될 수 있다.

저자들은 "잘 정의된 구도의 개념과 충분한 훈련 데이터"가 기존 대규모 모델의 잠재력을 끌어올릴 수는 있지만, 견고성, 해석 가능성 및 일반화 능력을 보장하기 위해 구도적 요소를 명시적으로 모델링하는 아키텍처를 대체할 수는 없다고 결론짓는다.