The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

기술 요약: 신경 표현에서 위상(Phase)의 중요성

문제 제기
자연 이미지는 푸리에 표현(Fourier representation)에서 근본적인 비대칭성을 보입니다. 즉, 위상 스펙트럼(phase spectrum)은 에지, 윤곽선, 공간적 배치(정체성/identity)를 인코딩하는 반면, 크기 스펙트럼(magnitude spectrum)은 내용과 무관한 에너지 프로필을 인코딩합니다. Oppenheim과 Lim(1981)의 고전적 연구는 위상만으로 이미지를 재구성하면 인식 가능한 결과가 나오지만, 크기만으로는 그렇지 않음을 입증했습니다. 현대의 이미지 분류기들은 명시적인 푸리에 제약 없이 픽셀 단위로 엔드 투 엔드(end-to-end) 학습되지만, 이러한 위상-크기 비대칭성이 이들의 잠재 표현(latent representations) 내에 회복되는지는 여전히 불분명합니다. 기존 연구들은 데이터 증강이나 도메인 적응에서 위상과 크기를 각각 "콘텐츠"와 "스타일"로 취급해 왔으나, 이러한 접근 방식은 엄격하게 픽셀 공간 내에서 작동합니다. 본 논문은 훈련된 이미지 분류기가 내부적으로 위상과 유사한 성분의 요소에 클래스 정체성을 인코딩하는지, 그리고 이 인코딩이 최종 예측에 인과적인지를 묻습니다.

방법론
저자들은 훈련된 신경망의 은닉층(hidden layers)에 적용되는 인과적 개입(causal intervention) 프레임워크로 Oppenheim–Lim 실험을 변형하여 적용합니다. 핵심 절차는 다음과 같습니다:

1. 키메라 구축(Chimera Construction): 서로 다른 클래스의 두 이미지 $A$와 $B$가 주어졌을 때, 저자들은 특정 레이어 $\ell$에서 "키메라" 은닉 상태를 구축합니다. 이 상태는 이미지 $A$의 크기($|h_A|$)는 유지하되, 이미지 $B$의 위상 유사 성분($\phi(h_B)$)을 채택합니다.
2. 위상의 정의: "위상"의 정의는 아키텍처의 표현 공간에 따라 다음과 같이 적응합니다:
   • 복소수 스트림(Complex Stream): 복소수 값 네트워크(PRISM2D)의 경우, 위상은 채널별 복소 각도($h/|h|$)입니다.
   • 실수 특징 맵(Real Feature Maps): 실수 값 네트워크의 경우, 위상은 2D 푸리에 변환을 통해 정의됩니다(공간-스펙트럼 위상).
   • 실수 스칼라(Real Scalars): 표준 실수 활성화 함수의 경우, 위상은 부호(sign)($\text{sign}(h)$)로 퇴화하며, 이는 모든 아키텍처를 관통하는 보편적인 프로브 역할을 합니다.
3. 개입(Intervention): 키메라 상태를 네트워크에 주입하고 순전파(forward pass)를 완료합니다. 모델이 "크기 제공자"($A$)를 따르는지, 아니면 "위상/부호 제공자"($B$)를 따르는지 기록하여 예측을 결정합니다 선별합니다.
4. 평가된 모델: 일반성을 테스트하기 위해 네 가지 아키텍처를 조사합니다:
   • PRISM2D: 위상을 보존하는 활성화 함수를 가진 복소수 모델.
   • GFNet-Ti: 푸리에 영역에서 필터링하는 실수 값 스펙트럼 모델.
   • ViT-B/16: 표준 비전 트랜스포머.
   • ResNet-50: 표준 합성곱 네트워크.
5. 대조군(Controls): (예: 깊이가 깊어짐에 따라 크기가 무의미해지는 현상 등) 단순한 설명을 배제하기 위해 저자들은 다음을 포함한 대조군을 사용합니다:
   • 크기 치환(Magnitude Substitution): 모든 이미지별 크기를 배치 평균 크기로 교체합니다.
   • 위상 파괴(Phase Destruction): 크기는 유지한 채 위상을 무작위화합니다.
   • DC-전용 스왑(DC-Only Swaps): 공간 구조로부터 글로벌 평균(DC 항)만을 분리합니다.
   • 기하학적 검사(Geometry Checks): 키메라가 제공자의 상태를 단순히 재구성하는 것이 아님을 보장하기 위해 코사인 유사도를 측정합니다.

주요 결과

1. 위상/부호 지배성(Phase/Sign Dominance): 네 가지 아키텍처 모두에서, 판독 시점까지 예측은 위상(또는 부호) 제공자를 높은 확률로 따릅니다.
   • ViT-B/16: 매우 첫 번째 블록에서 부호 기반 정체성 코드를 확립하며, 최종 레이어에 도달할 때 약 91%의 위상 추종율을 보입니다.
   • PRISM2D & GFNet: 초기에서 중간 깊이 사이에 위상 의존성을 구축하며, 약 75~76%에 도달합니다.
   • ResNet-50: 초기에는 패턴이 깨지는 것처럼 보입니다(ReLU 이후에 부호를 바꾸는 것은 효과가 없는데, 이는 ReLU가 부호 정보를 제거하기 때문입니다). 그러나 잔차 블록(residual blocks)의 마지막 ReLU 이전에 개입하면, ViT와 유사하게 후기 블록에서 강력한 잠재 부호 코드(~88%)가 나타납니다.
2. 크기 불변성(Magnitude Invariance): 모든 이미지별 크기 정보를 삭제(배치 평균 크기로 교체)했을 때, 스펙트럼 모델과 ViT의 정확도는 베이스라인 근처에 머뭅니다. 반대로, 위상을 파괴하면 정확도가 거의 무작위 수준(chance)으로 급락합니다.
3. 메커니즘적 차이:
   • ViT는 정체성 코드를 조기에 표현하고 이를 지속적으로 유지합니다.
   • 스펙트럼 모델은 초기에서 중간 단계에 걸쳐 정체성을 위상으로 응축합니다.
   • ResNet은 초기 레이어의 분산된 공간 구조로부터 최종 풀링 레이더블 채널 코드(특히 DC 항)로 정체성을 전달합니다. CNN과 어텐션 모델 사이의 "질감-형태(texture-shape)" 격차는 범주적인 위상 대 크기의 분리가 아니라, 위상/부호 코드가 표현되는 시기와 *기저(basis)*의 차이로 재정의됩니다.

의의 및 주장
본 논문은 다양한 이미지 분류기가 어떻게 위상/부호 지배적인 정체성 코드로 수렴하는지에 대한 통합적이고 판독 가능한(readout-aware) 설명을 제공한다고 주장합니다.

• 인과적 증거: 증강 기반의 기존 연구들과 달리, 본 연구는 네트워크 내부의 위상/부호 조작을 통해 정체성을 이미지 간에 "이식"할 수 있음을 보여줌으로써 인과성을 확립했습니다.
• 질감-형태 격차의 재구성: 질감 편향적인 CNN과 형태 정렬된 어텐션 모델 사이의 행동적 차이는 정체성 코드의 타이밍과 기하학으로 설명됩니다. CNN(ResNet과 같은)은 정류(rectification) 뒤에 부호 코드를 숨기고 신호를 위해 크기에 의존하다가 최종 풀링 레이어에 도달하는 반면, 어텐션 및 스펙트럼 모델은 위상/부호에 더 일찍 전념합니다.
• 기하학적 해석: 이 결과는 선형 분류기가 특징 벡터의 "길이(magnitude)"보다는 "각도(angle, 위상/부호)"를 읽는다는 것을 시사합니다. 이는 신경망의 주기적 및 각도 표현에 관한 메카니즘적 해석 가능성(mechanistic interpretability) 분야의 다른 발견들과 일맥상통합니다.

한계점
저자들은 연구 범위가 시각 모델로 제한되어 있음을 언급합니다. 이식 방법 자체는 모달리티에 무관하게 적용 가능하지만, 이미지에서 가장 깔끔한 테스트가 가능합니다. 또한, ImageNet-100(PRISM2D, GFNet)으로 훈련된 모델과 ImageNet-1k 가중치를 사용하는 모델(ViT, ResNet) 간의 훈련 규모 차이가 존재하지만, 저자들은 모델 내의 깊이 추세는 여전히 유효하다고 주장합니다. "위상"의 정의가 아키텍처에 따라 다르게 나타나는 것(복소 각도, 스펙트럼 위상, 또는 스칼라 부호)은 단일한 통합된 양이라기보다 서로 관련된 코드들의 패밀리를 나타냅니다.