기술 요약: 제어 가능한 조명 변화 하에서의 조명 인지적 표현 학습

문제 정의

조명 변화는 컴퓨터 비전의 근본적인 도전 과제로, 외관의 상당한 변화를 유발하여 시각적 표현 학습의 강건성과 일반화 능력을 저해한다. 인간의 시각은 조명을 추정하고 조명 조건에 대한 내부 모델을 구축함으로써 지각적 항등성을 달성하는 반면, 표준적인 인공 시각 시스템은 일반적으로 조명을 방해 요소(nuisance factor)로 취급한다. 기존의 접근 방식은 주로 데이터 증강(예: 밝기, 대비, 색조 조정)에 의존하여 모델이 조명 변화에 불변하도록 유도한다. 그러나 이러한 전략은 조명 정보를 명시적으로 모델링하기보다는 조명 정보를 억제하는 데 중점을 두며, 이로 인해 인간 시각의 적응성을 모방하거나 실제 세계의 시각 신호를 정의하는 기하학, 재질, 빛 사이의 복잡한 상호작용을 포착하는 데 실패하는 경우가 많다.

방법론

저자들은 조명 변화를 노이즈가 아닌 명시적인 학습 신호로 포함하는 **조명 인지적 표현 학습 프레임워크(Lighting-Aware Representation Learning Framework)**를 제안한다. 핵심 방법론은 이중 헤드 학습(Dual-Head Training) 구조를 통해 대조 학습(contrastive learning)을 확장한다.

1. 이론적 기초

이 접근 방식은 관찰된 이미지 $I$가 두 가지 기저 요인, 즉 고유한 장면 콘텐츠 $C$(기하학, 배치, 의미론)와 조명 조건 $L$로부터 생성된다는 전제에 근거한다. 목표는 조명 변화에 대해 의미론적 일관성을 유지하면서도 조명 의존적인 시각적 구조에는 민감하게 반응하는 표현을 학습하는 것이다.

2. 아키텍처 및 학습 목적 함수

프레임워크는 전역 평균 풀링(global average pooling) 이후 두 개의 별도 헤드로 분기되는 공유 ResNet-50 백본을 활용한다:

• 콘텐츠 헤드 (대조적): 조명은 다르지만 동일한 의미론적 콘텐츠를 공유하는 이미지들에 대해 일관성을 강제한다. 이는 의미론적으로 유사한 이미지를 그룹화하기 위해 표준 대조 학습 목적 함수(MoCo V2 및 ESS-MB 기반)를 사용한다.
• 조명 헤드 (대조적): 콘텐츠는 다르지만 동일한 조명 구성(예: 가상 환경 내의 동일한 "스카이박스")을 공유하는 이미지들에 대해 일관성을 강제한다. 이 헤드는 조명 조건을 기준으로 표현을 클러스터링하는 법을 학습한다.

전체 손실 함수는 콘텐츠 대조 손실($L_{Con.}$)과 조명 대조 손실($L_{Light}$)의 가중 합이다:
$$L = L_{Con.} + \alpha L_{Light}$$
여기서 $\alpha$는 두 목적 함수의 기여도를 조절한다.

3. 표현 분해 (Representation Factorization)

조명과 콘텐츠 사이의 통계적 의존성(예: 그림자 및 반사)을 해결하기 위해, 저자들은 표현 공간을 세 가지 구성 요소로 유연하게 분해하는 방식을 도입한다:

• 조명 구성 요소 (Lighting Component): 주로 조명에 의해 결정되는 특징을 포착한다.
• 콘텐츠 구성 요소 (Content Component): 조명에 불변하는 장면 고유의 정보를 인코딩한다.
• 결합 구성 요소 (Joint Component): 조명과 콘텐츠 사이의 명확히 분리될 수 없는 상호작용을 포착한다.

표현 차원의 할당은 비율 $(L:J:C)$로 표기된다. 예를 들어, $(1:0:7)$은 차원의 1/8을 조명에 할당하고, 결합 요소에는 할당하지 않으며, 7/8을 콘텐츠에 할당함을 의미한다.

4. 데이터 및 실험 설정

이 방법은 가상 레이 트레이싱 환경(ThreeDWorld)에서 수집되어 장면 콘텐츠를 유지하면서 조명 조건을 정밀하게 조작할 수 있는 House100KLighting 데이터셋을 사용하여 평가되었다. 베이스라인에는 표준 대조 학습(MoCo V2/ESS-MB)과 두 목적 함수를 모두 사용하는 단일 표현 모델이 포함되었다. 다운스트림 태스크로는 이미지 분류(ImageNet), 객체 및 조명 분류(ExDark), 객체 탐지(PASCAL VOC)가 포함되었다.

주요 결과

• 우수한 다운스트림 성능: 이중 헤드 조명 인지 프레임워크(특히 $1:0:7$ 구성)로 학습된 모델은 ImageNet 분류, ExDark 객체/조명 분류, PASCAL VOC 탐지에서 표준 대조 학습 베이스라인보다 일관되게 우수한 성능을 보였다. 콘텐츠와 조명 특징을 결합(concatenate)한 통합 표현이 가장 좋은 결과를 냈다.
• 상보적 표현: 콘텐츠 헤드는 표준 객체 분류(ImageNet) 성능을 주도한 반면, 조명 헤드는 저조도 데이터셋(ExDark) 성능에 크게 기여하였으며, 때로는 콘텐츠 헤드를 능가하기도 했다. 이는 두 헤드가 상보적인 정보를 포착하고 있음을 확인시켜 준다.
• 결합 구성 요소의 중요성: 결합 구성 요소를 포함하는 구성(예: $1:1:6$)이 훨씬 더 큰 성능 향상을 보여주었으며, 이는 의미론적 특징과 조명 특징 사이의 제한적인 상호작용을 유지하는 것이 다운스트림 인식에 도움이 됨을 시사한다.
• 단순 증강의 한계: 조명 변화를 근사하기 위해 단순한 이미지 수준의 변환(밝기, 감마 등)을 사용한 경우(House100K-AugLighting), 표준 대조 학습에 비해 미미한 개선만을 보였다. 이는 물리 기반 레이 트레이싱 조명이 단순한 변환으로는 재현할 수 없는 복잡한 상호작용을 제공함을 나타낸다.
• 지도 학습 확장: 본 프레임워크는 ImageNet100K-AugLighting에서 성공적으로 지도 학습 환경으로 확장되었으며, 이중 헤드 방식은 각 특정 태스크를 위해 축소된 표현 차원을 사용했음에도 불구하고 향상된 테스트 정확도를 달데서 다중 요인 감독을 통한 향상된 일반화 능력을 입증했다.
• 계층별 분석: 프로빙(probing) 태스크 결과, 조명 인지 표현은 네트워크 전체에 분포되어 있으나, 콘텐츠와 조명 정보를 혼합하는 경향이 있는 표준 대조 학습 하에서는 마지막 레이어로 갈수록 조명에 대한 민감도가 낮아지는 것으로 나타났다. 이중 헤드 방식은 계층 전반에 걸쳐 조명 관련 구조를 더 잘 보존한다.

의의 및 주장

본 논문은 조명이 단순히 증강을 통해 억제해야 할 노이즈 원천으로만 취급되어서는 안 된다고 주장한다. 대신, 조명을 제어 가능한 요인으로 명시적으로 모델링함으로써 더 강력하고 적응력 있는 시각적 표현을 학습할 수 있다.

저자들은 이 연구를 더 넓은 "요인 인지적 표현 학습(factor-aware representation learning)" 패러다임의 사례 연구로 제시한다. 제어 가능한 환경적 변화(조명, 시점, 날씨 등)를 명시적인 감독 신호로 활용함으로써, 모델은 의미론적 콘텐츠를 환경 조건으로부터 분리하는 동시에 그 상호작용을 포착할 수 있다. 결과는 이 접근 방식이 복잡한 시각 환경에서 모델의 강건성을 높이고 전통적인 이미지 처리 작업의 성능을 개선하며, 인공 시스템이 더욱 인간과 유사한 지각적 항등성을 갖도록 하는 경로를 제공함을 시사한다.

논문은 내부 신호 전파에 대한 추가 조사가 필요하다는 점, 실험이 실행 가능성을 위해 상대적으로 작은 데이터셋에서 수행되었다는 점, 그리고 단순한 이미지 변환이 실제 물리적 조명의 충분한 대리물이 될 수 없다는 점을 언급하며 한계를 겸허히 인정한다. 향후 연구 과제로 이 프레임워크를 다른 제어 가능한 요인으로 확장하고, 생성 모델을 사용하여 현실적인 훈련 데이터셋을 생성하는 효율적인 방법을 탐구하는 것을 제안한다.