Efficient coding along the visual hierarchy

기술적 요약: 시각 계층을 따른 효율적 부호화

문제 제기
현재 딥러닝 모델은 시각 피질 표현과 시각 행동을 예측하는 데 높은 성능을 달성하고 있으나, 생물학적 시각의 정의적 특성인 제한된 데이터로부터 유용한 표현을 학습하는 능력을 포착하지는 못합니다. 생물학적 시스템은 제한된 경험으로부터 학습하는 반면, 현대 딥러닝은 수백만에서 수십억 개의 훈련 샘플에 대한 지도 학습 또는 자기 지도 학습 업데이트에 의존합니다. 이러한 불일치는 생물학적 시각이 근본적으로 다른 학습 원리에 의해 형성되었을 가능성을 시사합니다. 저자들은 효율적 부호화(자연 입력의 통계적 구조를 신경 표현이 포착한다는 가설) 가 작업 레이블이나 전역 역전파에 의존하지 않고 제한된 데이터로부터 인간과 정렬된 시각 특징의 계층을 구축하는 데 사용될 수 있는지 조사합니다.

방법론
저자들은 계층별 효율적 부호화에 기반한 심층 비지도 학습 절차를 개발하였으며, 이는 스캐터링 네트워크 아키텍처를 사용합니다. 방법론의 핵심 구성 요소는 다음과 같습니다:

• 아키텍처: 각 층이 두 가지 연산으로 구성된 11 층 합성곱 네트워크입니다:
  1. 고정 공간 필터링: 9 개의 모를레트 웨이블릿 필터 (8 개의 다양한 방향 대역 통과 필터와 1 개의 저역 통과 필터) 로 고정된 집합과 합성곱합니다. 이는 엣지 감지와 방향성 특징에 대한 강력한 귀납적 편향을 제공합니다.
  2. 학습된 채널 혼합: 채널 간 정보를 혼합하는 학습 가능한 $1 \times 1$ 합성곱입니다.
  • 네트워크는 웨이블릿 필터를 통한 확장 (expansion) 과 채널 혼합을 통한 압축 (compression) 사이를 교차합니다. 스트라이드 합성곱은 교번하는 층에서 공간 차원을 축소합니다.
• 비지도 학습 프로토콜:
  • 모델은 레이블, 작업, 또는 역전파 없이 학습합니다.
  • 각 층에 대해 알고리즘은 자연 이미지 (ImageNet 훈련 세트) 로부터 공간적으로 풀링된 활성화의 공분산 행렬을 계산합니다.
  • 주성분 분석 (PCA) 이 자연 이미지의 분산 지배 모드를 포착하는 상위 $K$ 개의 고유벡터를 추출하는 데 적용됩니다.
  • 이러한 고유벡터는 $1 \times 1$ 합성곱의 가중치로 작용하여 입력을 자연 이미지 통계와 정렬된 $K$ 차원 부분 공간으로 압축합니다.
  • 이 과정은 순차적이고 층별이므로, 각 층은 즉각적인 입력의 국소 통계에 기반하여 최적화됩니다.
• 하이브리드 학습: 이 비지도 초기화의 유용성을 테스트하기 위해 저자들은 효율적 부호화 단계를 이미지 분류 작업 (ImageNet 및 miniImageNet) 에 대한 지도 미세 조정과 결합했습니다. 이는 다음과 같은 것들과 비교되었습니다:
  • 기존 지도 학습 (무작위 초기화).
  • 순수 비지도 학습.
  • 훈련되지 않은 네트워크.
• 평가 지표:
  • 행동적 관련성: 인간 관찰자가 특정 네트워크 채널이 인코딩한 특징을 인식할 수 있는지 판단하는 유사성 판단 작업을 수행했습니다.
  • 뇌 정렬: 정규화된 선형 회귀를 사용하여 자연 장면 데이터세트 (NSD) 의 fMRI 반응을 예측하도록 인코딩 모델을 적합시켰습니다.
  • 하류 성능: 초기 층을 고정하여 비지도 특징의 전이 가능성을 테스트하는 실험을 포함한 miniImageNet 의 분류 정확도입니다.

주요 기여 및 결과

1. 비지도 부호화를 통한 복잡 특징의 출현:

   • 레이블 없이 10,000 개의 이미지만으로 훈련된 심층 효율적 부호화 모델은 초기 층의 단순한 엣지와 색상에서 후기 층의 복잡한 질감, 모양, 객체에 이르는 특징의 계층을 성공적으로 학습했습니다.
   • 행동적 검증: 인간 관찰자는 네트워크 채널이 표현하는 특징을 신뢰할 수 있게 식별할 수 있었으며 (정확도 $M=0.87$), 훈련되지 않은 네트워크 ($M=0.68$) 보다 현저히 우수했고, 100 만 개의 이미지로 훈련된 완전 지도 모델의 성능 ($M=0.96$) 에 근접했습니다.
   • 반응 시간 상관관계: 특징을 식별하는 반응 시간은 채널 분산 순위와 유의하게 상관관계가 있었습니다 ($\rho = 0.37$). 이는 효율적 부호화에 의해 우선시되는 고분산 특징이 더 지각적으로 현저함을 나타냅니다.

2. 극단적 데이터 제한 하의 뇌 정렬:

   • 매우 제한된 데이터세트 (1,000 개 이미지, 즉 ImageNet 카테고리당 하나) 로 훈련되었을 때, 하이브리드 모델(효율적 부호화 + 지도 미세 조정) 은 인간 복측 시각 피질 반응을 예측하는 데 기존 지도 학습보다 현저히 우수했습니다.
   • 순수 비지도 학습만으로도 훈련되지 않은 기준선보다 상당한 개선을 제공했습니다.
   • 하이브리드 접근법은 저데이터 조건에서 기존 학습보다 특히 후기 네트워크 층 (6 층 이상) 에서 더 높은 인코딩 점수를 산출했습니다. 데이터가 10,000 개 이미지로 증가하면 하이브리드 학습과 기존 학습 간의 성능 격차는 축소되었습니다.

3. 데이터 효율적 카테고리 학습:

   • 심층 효율적 부호화로 초기화된 네트워크는 무작위 초기화 네트워크와 동일한 분류 정확도에 도달하는 데 더 적은 지도 훈련 샘플이 필요했습니다.
   • 층 고정 견고성: 비지도 사전 훈련 후 초기부터 중간 층 (5 층까지) 을 고정했을 때, 하이브리드 모델은 높은 분류 정확도를 유지했습니다. 반면, 무작위 초기화 네트워크에서 동일한 층을 고정하면 성능이 급격히 저하되었습니다.
   • 저데이터 영역: 비지도 사전 훈련의 이점은 카테고리 수와 카테고리당 이미지 수 모두 제한될 때 가장 두드러졌습니다.

의의 및 주장
본 논문은 효율적 부호화 원리가 저수준 처리 (예: 망막, V1) 뿐만 아니라 전체 시각 계층에 걸쳐 표현을 형성할 수 있다고 주장합니다. 연구 결과는 다음과 같은 점을 시사합니다:

• 생물학적 시각의 데이터 효율성은 신경 시스템이 먼저 비지도 국소 학습 규칙 (특히 분산 최대화/효율적 부호화) 을 통해 자연 자극의 통계적 구조에 적응하는 학습 메커니즘으로 설명될 수 있습니다.
• 이 비지도 단계는 재사용 가능하고 행동적으로 관련 있는 특징의 기반을 조성하여 하류 학습을 촉진합니다.
• 제안된 프레임워크는 지배적인 엔드 - 투 - 엔드 지도 또는 자기 지도 학습 패러다임에 대한 대안을 제시합니다. 이는 복측 시각 흐름의 표현이 하향 효율적 부호화(자연 통계에 대한 비지도 적응) 와 상향 목표 주도 학습(지도 미세 조정) 의 결합에 의해 형성된다고 가정합니다.
• 이 연구는 단순하고 국소적인 비지도 알고리즘이 신경적으로 정렬되고 작업에 유용한 계층적 표현을 신속하게 구축할 수 있음을 보여주며, "비지도 사전 훈련"이 레이블이나 보상 없이도 핵심 생물학적 학습 원리일 수 있음을 시사합니다.

저자들은 구현이 계산적 발판으로 PCA 와 고정 공간 필터를 사용하지만, 핵심 발견은 고분산 방향을 우선시하는 계층적 국소 훈련 시스템이 전이 가능하고 뇌와 유사한 특징을 개발할 수 있다는 점이라고 지적합니다. 그들은 강력한 분류 성능을 위해서는 여전히 지도 학습이 필요하며, 효율적 부호화와 작업 주도 학습은 상호 배타적이 아니라 상호 보완적임을 인정합니다.