기술 요약: 심리시각적 이미지 표현

문제 제기

현재 딥러닝 기반 비전 모델, 특히 합성곱 신경망 (CNN) 은 특징을 추출하고 집계하기 위해 깊은 동질적 공간 레이어 스택에 의존합니다. 이 과정은 대부분 암시적이어서 의사결정 메커니즘이 불투명하며, 중간 표현은 종종 임의적이고 명시적 구조가 부족합니다. 반면, 인간의 시지에 대한 심리시각적 모델은 뇌가 명시적인 중간 추상화 (예: 객체, 관계, 범주) 를 형성함으로써 저수준 특징 추출과 고수준 인지를 분리한다고 시사합니다. 1990 년대 심리시각적 부호화 방식은 이미지 압축을 위해 지각적으로 두드러진 주파수 선택을 성공적으로 활용했으나, 이러한 원칙들은 현대 딥러닝 프레임워크의 고수준 표현 학습에 효과적으로 적용되지 못했습니다. 딥러닝의 기존 주파수 영역 접근법은 주로 계산 효율성 (합성곱 가속화) 이나 저수준 특징 학습에 초점을 맞추어 왔으며, 의미적 추상을 위한 명시적 표현 공간으로서의 주파수 영역은 제대로 활용되지 못하고 있습니다.

방법론

저자들은 **심리시각적 부호화 방식의 데이터 기반 적응인 심층 시각 부호화 (Deep Visual Coding, DVC)**를 제안하며, 이를 PsychoNet이라는 새로운 프레임워크에 통합했습니다. 이 방법론은 주파수 영역 처리를 통해 중간 추상화를 형성하는 심리시각적 과정을 모방하도록 설계되었습니다.

핵심 구성 요소

1. Phasor 블록:

   • 기능: 실수형 공간 특징을 풍부한 복소수형 표현으로 변환합니다.
   • 메커니즘: 경량 심층 합성곱 (depthwise convolution) 블록을 사용하여 기존 실수 특징에서 보완적인 허수 성분을 생성합니다. 이 설계는 실수 신호의 푸리에 변환에 내재된 켤레 대칭성을 깨뜨려, 모델이 더 구체적이고 중복되지 않는 서브밴드를 학습할 수 있게 합니다.
   • 역할: 개체 부분의 특징적인 형태학적 위치 (예: 개의 귀, 자동차 바퀴) 를 국소화하여 후속 추상화에 필요한 부분 수준의 특징을 제공합니다.

2. 심층 시각 부호화 (DVC):

   • 기능: 추상화 단계를 수행하는 학습 가능한 주파수 필터링 모듈입니다.
   • 메커니즘:
     • 스펙트럼 분기 (Spectral Branches): DropCrop 블록을 사용하여 입력 주파수 스펙트럼을 불연속적인 직사각형 서브밴드 (관상 서브밴드) 로 분해하며, 이는 하한 및 상한 주파수 경계를 설정합니다.
     • 하다마드 블록 (Hadamard Blocks): 각 서브밴드 내에서 요소별 곱 (Hadamard product) 을 통해 학습 가능한 필터가 적용됩니다. 채널별 소프트맥스 (softmax) 는 중요한 주파수 선택을 증폭하고 중요하지 않은 것을 억제하여 전통적인 심리시각적 부호화의 양자화 단계를 모방합니다.
     • 정규화: 1×1 합성곱 레이어가 정규화 및 채널 혼합을 수행합니다.
   • 역할: DVC 는 Phasor 블록이 추출한 공간 특징을 의미 있는 개체 부분에 대응하는 희소하고 구조화된 주파수 영역 표현으로 인코딩하여, 깊은 공간 레이어의 역할을 효과적으로 대체합니다.

PsychoNet 프레임워크

완전한 파이프라인은 이중 영역 시스템으로 작동합니다:

1. 초기 추출: 표준 ResNet 스타일의 잔여 블록 (Residual Blocks) 이 저수준 공간 특징을 추출합니다.
2. 복소수 변환: Phasor 블록이 이러한 특징을 복소수형 표현으로 변환합니다.
3. 주파수 변환: 2D 고속 푸리에 변환 (FFT) 이 특징을 주파수 영역으로 변환한 후, 스펙트럼 균형을 맞추기 위해 컴패딩 (companding) 연산이 수행됩니다.
4. 추상화: DVC 가 주파수 영역 특징에 적용됩니다. 각 주파수 대역의 출력은 집계되고, 공간적으로 풀링되며, 분류를 위해 복소수 선형 레이어를 통과합니다.

주요 기여

• 심층 시각 부호화 (DVC): 딥러닝에 인간 시지 유사 추상화를 도입하도록 설계된 심리시각적 부호화의 첫 번째 데이터 기반 적응입니다. 이는 이산 푸리에 변환 (DFT) 에서 관상 주파수 서브밴드의 희소 선택으로 나타나는 학습 가능한 대역 제한 주파수 필터를 사용합니다.
• Phasor 블록: 위상 정보를 생성하여 실수 신호에서 복소수형 특징을 학습할 수 있는 새로운 모듈로, 푸리에 영역에서의 효과적인 처리를 용이하게 합니다.
• 심리시각적 프레임워크: DVC 와 Phasor 블록을 통합하여 분류 벤치마크에서 성능을 유지하거나 향상시키면서 해석 가능하고 심리시각적 유사 처리를 가능하게 하는 일관된 프레임워크 (PsychoNet) 입니다.
• 깊이 독립성: 복소수형 표현과 학습된 추상화가 깊은 공간 레이어의 역할을 대체할 수 있음을 보여줌으로써, 기존 CNN 에 비해 모델의 확장에 있어 깊이에 대한 의존도를 낮췄습니다.

실험 결과

저자들은 CIFAR-10, CIFAR-100, ImageNet-100, ImageNet-1K 에 대한 자연 이미지 분류 작업에서 PsychoNet 을 평가했습니다.

• 성능: PsychoNet 모델은 비교 대상 ResNet 베이스라인 (예: Psycho-B 대 ResNet101) 과 현대적 아키텍처인 ConvNeXt-S(PsychoDW 를 통해) 의 성능과 일치하거나 초과했습니다.
• 확장 효율성: 용량을 확장하기 위해 깊이를 증가시켜야 하는 ResNet 과 달리, PsychoNet 은 훨씬 적은 레이어로 동등하거나 우수한 성능을 달성합니다. 예를 들어, Psycho-Eff-B 와 Psycho-Eff-L 은 각각 ResNet-101 과 ResNet-152 보다 38% 와 45.5% 적은 레이어를 사용하면서도 파라미터 수와 FLOPs 를 일치시킵니다.
• 해석 가능성 (주요성 분석):
  • Phasor 블록: KPCA-CAM 을 사용한 시각화는 Phasor 블록이 확산된 활성화를 생성하는 대신 특정 형태학적 개체 부분 (예: 엄니, 바퀴) 을 국소화하는 데 특화되어 있음을 보여줍니다.
  • DVC 필터: 충분한 학습 데이터 (ImageNet-1K) 를 통해 DVC 는 수동으로 제작된 심리시각적 부호화와 매우 유사한 구조화된 희소 주파수 패턴을 학습합니다.
  • 상호작용: HiResCAM 분석은 DVC 가 객체 부분을 크기에 따라 서로 다른 주파수 서브밴드 (광범위한 주제에는 저주파, 특정 부분에는 중 - 고주파) 에 분배하여 인간 시지의 추상화 역할을 반영함을 보여줍니다.

중요성 및 주장

이 논문은 비전의 고수준 표현 학습을 위한 주파수 영역의 데이터 기반 탐구를 최초로 제공한다고 주장합니다. 저자들은 심리시각적 부호화가 신경 메커니즘을 직접 모델링하지 않고도 비전 모델에 추상화를 도입하기 위한 기능적 대리 역할을 한다고 봅니다.

주요 중요성은 심리시각적 부호화가 해석 가능한 표현 학습을 위한 원칙적이고 실현 가능한 기초임을 입증한 데 있습니다. Phasor 블록이 의미 있는 객체 부분을 분리하고 DVC 가 이를 해석 가능한 주파수 영역 표현으로 조직화하는 구조적 분리를 강제함으로써, 이 프레임워크는 내부 추론이 설계 단계에서부터 투명한 비전 모델로의 길을 제시합니다. 저자들은 이 프레임워크가 결정적인 최첨단 아키텍처라기보다는 개념 증명 (proof-of-concept) 이지만, 표준 심층 공간 스택과 구별되는 방식으로 저수준 특징 추출과 고수준 의미 추론 사이의 간극을 성공적으로 연결한다고 지적합니다.

한계 및 향후 작업:
저자들은 DVC 가 객체 부분을 조직화하지만, 이러한 추상화가 더 넓은 추론 개념과 관련하여 갖는 더 깊은 의미는 추가 조사가 필요하다고 인정합니다. 향후 작업은 PsychoNet 을 밀집 예측 작업으로 확장하고, 주파수 영역 표현에 대한 앨리어싱 (aliasing) 의 영향을 평가하는 것을 목표로 합니다.