기술 요약: 시각적 계층 구조를 따른 효율적 코딩

문제 정의

딥러닝 모델은 현재 시각 피질의 표현과 시각적 행동을 예측하는 데 있어 최첨단 성능을 달ico하고 있다. 그러나 이들은 생물학적 시각의 근본적인 특성인 '제한된 데이터로부터 유용한 표현을 학습하는 능력'을 포착하는 데 실패한다. 생물학적 체계는 최소한의 경험만으로도 감각 자극의 잠재적 통계 구조에 적응하는 반면, 현대의 딥러닝은 수백만에서 수십억 개의 훈련 샘플에 대한 지도 학습 또는 자기 지도 학습 업데이트에 의존한다. 이러한 차이는 생물학적 시각이 근본적으로 다른 학습 원리에 의해 형성되었을 가능성을 시사한다. 저자들은 효율적 코딩(efficient coding)—즉, 신경 표현이 생물학적 제약 조건 내에서 자연스러운 자극에 대해 최대한의 정보를 전달하도록 형성된다는 이론—이 레이블이나 역전파 없이도 제한된 데이터로부터 인간과 정렬된 시각적 특징의 깊은 계층을 구축하는 데 사용될 수 있는지 조사한다.

방법론

모델 아키텍처

저자들은 산란 네트워크(scattering network) 아키텍처(Guth et al., 2024)를 기반으로 한 11개 층의 합성곱 신경망을 개발하였다. 이 아키텍처는 가중치를 공간적 성분과 채널 성분으로 분해한다:

1. 고정된 공간 필터링: 각 층은 고정된 $N$개의 웨이브릿 필터(구체적으로 하나의 저역 통과 $\phi$ 필터와 다양한 방향을 가진 8개의 모렛(Morlet) 대역 통과 $\psi$ 필터)로 시작한다. 이 필터들은 방향성이 있는 대역 통과 특징과 거친 구조를 탐지한다.
2. 학습된 채널 혼합: 공간 필터링과 정류(rectification)를 거친 후, 학습 가능한 $1\times1$ 합성곱이 채널 간의 정보를 혼합한다.
3. 서브샘플링: 매 두 번째 층마다 스트라이드 합성곱(strided convolution)을 사용하여 공간 차원을 2배로 줄임으로써, 더 깊은 층에서의 유효 수용장(receptive field)을 확장한다.
4. 정규화: 출력의 평균을 0, 분산을 1로 보장하고 크기 지배 현상을 방지하기 위해 배치 정규화(Batch normalization)와 공간 $L_2$ 정규화를 적용한다.

비지도 학습 프로토콜 (심층 효율적 코딩)

핵심 혁신은 전역적 목적 함수, 레이블, 또는 역전파를 필요로 하지 않는 층별 비지도 학습 절차이다:

• 국소 통계: 각 층에 대해, 웨이브릿 필터링, 정류, 그리고 전역 평균 풀링(global average pooling)을 거친 후의 활성화 값을 수집한다.
• 주성분 분석 (PCA): 자연 이미지(ImageNet) 세트에 대해 이러한 공간적으로 풀링된 활성화 값들의 공분산 행렬을 계산한다. 가장 지배적인 분산 모드를 나타내는 상위 $K$개의 고유벡터를 추출한다.
• 가중치 최적화: 이 고유벡터들은 층의 $1\times1$ 합성곱을 위한 가중치 역할을 하며, 효과적으로 입력을 자연 이미지 통계와 정렬된 $K$차원 부분 공간으로 압축한다.
• 확장: 다음 층에서는 고정된 웨이브릿 필터가 이 압축된 표현을 $N$배로 확장한다.
• 근거: 저자들은 독립 성분 분석(ICA)이나 화이트닝(whitening) 대신 PCA를 선택했는데, 이는 PCA가 최대 변이 특징(높은 수준의 처리 과정에서 샘플링이 제한된 환경과 관련됨)을 직접 최적화하며 고유하고 전역적으로 최적화된 솔루션을 제공하기 때문이다.

하이브리드 학습 및 평가

연구는 세 가지 학습 패러다임을 평가한다:

1. 비지도 효율적 코딩: 네트워크가 오직 층별 PCA 절차를 통해서만 학습된다.
2. 전통적 지도 학습: 네트워크가 이미지 분류 작업을 수행하기 위해 무작위 초기화 상태에서 지도 역전파를 통해 학습된다.
3. 하이브리드 학습: 네트워크가 먼저 비지도 효율적 코딩 단계를 거친 후, 분류 작업을 위한 지도 미세 조정(fine-tuning)을 수행한다.

평가 지표:

• 행동적 해석 가능성: 인간 참가자들이 매칭 작업(높은 활성화 클러스터와 낮은 활성화 클러스터 중 타겟 클러스터와 일치하는 것을 선택)을 수행하여, 네트워크 채널이 지각적으로 의미 있는 특징을 인코딩하는지 평가한다.
• 뇌 정렬(Brain Alignment): 네트워크 층의 활성화를 기반으로 fMRI 반응을 예측하기 위해 정규화된 선형 회귀를 사용하여 인코딩 모델을 적합시킨다(7T 해상도, 8명의 피험자, NSD 데이터셋 사용). 성능은 예측된 피질 반응과 실제 반응 사이의 상관관계로 측정된다.
• 데이터 효율성: miniImageNet에 대한 분류 정확도를 훈련 샘플 수의 함수로서 측정하며, 여기에는 비지도 특징의 전이 가능성을 테스트하기 위해 초기 층을 고정하는 실험이 포함된다.

주요 결과

1. 계층적 특징의 출현

비지도 심층 효율적 코딩 모델은 레이블 없이도 계층적 특징을 성공적으로 학습했다.

• 저수준 층: 에지(edge), 방향성, 색상과 같은 단순한 특징에 대한 선택성을 보였다.
• 고수준 층: 질감(texture), 형태(shape), 객체(object)를 포함한 복잡한 특징에 대한 선택성을 보였다.
• 이러한 진행은 순수하게 효율적 코딩 원리의 계층적 적용을 통해 발생했다.

2. 행동적 관련성

• 인간 인식: 참가자들은 특정 네트워크 채널이 나타내는 특징을 안정적으로 식별할 수 있었다. 10,000장의 이미지만으로 학습된 비지도 모델은 학습되지 않은 아키텍처($M=0.68$)에 비해 유의미하게 높은 매칭 정확도($M=0.87$)를 기록했으며, 이는 100만 장의 이미지로 학습된 완전 지도 모델($M=0.96$)의 성능에 근접했다.
• 반응 시간: 반응 시간은 채널 분산 순위와 유의미한 상관관계($\rho = 0.37$)를 보였다. 참가자들은 분산이 높은 채널의 특징을 더 빠르게 식별했는데, 이는 효율적 코딩이 통계적으로 두드러진 차원이 지각적으로도 돌출되도록 표현을 조직함을 시사한다.
• 계층의 필요성: 최종 층에만 PCA를 적용하고 다른 층은 학습시키지 않은 제어 모델은 성능이 유의미하게 낮았으며, 이는 계층적 구조가 결정적임을 확인시켜 준다.

3. 데이터 제한 하에서의 뇌 정렬

• 저데이터 성능: 1,000장의 이미지(ImageNet 카테고리당 하나)로 학습했을 때, 하이브리드 학습(비지도 사전 학습 + 지도 미세 조정) 방식은 특히 더 깊은 층(layer 6+)에서 복측 시각 경로(ventral visual stream)의 fMRI 반응을 예측하는 데 있어 전통적인 지도 학습보다 우수한 성능을 보였다.
• 데이터 스케일링: 훈련 데이터가 10,000장으로 증가함에 따라 하이브리드 학습과 전통적 학습 사이의 격차가 줄어들었으나, 하이브리드 학습은 비지도 전용 베이스라인에 대해서도 우위를 유지했다.
• 공간적 분포: 하이브리드 학습의 성능 이점은 특정 영역에 국한되지 않고 시각 피질 전반에 걸쳐 넓게 분포되어 있었다.

4. 데이터 효율적 카테고리 학습

• 빠른 수렴: 하이브리드 모델은 miniImageNet에서 전통적으로 학습된 모델과 동일한 분류 정확도에 도달하기 위해 더 적은 수의 지도 학습 샘플을 필요로 했다.
• 고정(Freezing)에 대한 강건성: 비지도 사전 학습 후 초기 및 중간 층(layer 5까지)을 고정했을 때, 하이브리드 모델은 높은 분류 정확도를 유지했다. 반면, 무작위 초기화된 네트워크에서 동일한 층을 고정하면 성능이 급격히 저하되었다.
• 제한된 카테고리: 비지도 사전 학습의 이점은 카테고리와 샘플 수가 적은 설정에서 가장 두드러졌으며, 이는 빠른 카테고리 학습을 용이하게 한다.

의의 및 주장

저자들은 이러한 발견이 효율적 코딩 원리가 저수준 처리(예: V1)뿐만 아니라 전체 시각 계층 구조 전반에 걸쳐 표현을 형성할 수 있음을 시사한다고 주장한다. 본 연구는 생물학적 시각이 다음과 같은 조합에 의해 최적화된다는 새로운 이론적 관점을 제시한다:

1. 상향식(Bottom-up) 효율적 코딩: 자연스러운 이미지의 통계적 구조에 대한 비지도 적응을 통해, 재사용 가능하고 행동적으로 관련 있는 특징의 토대를 구축한다.
2. 하향식(Top-down) 목표 지향 학습: 특정 행동 과제를 위해 이러한 표현을 지도 방식으로 정교화한다.

이 논문은 이러한 하이브리드 메커니즘이 생물학적 시각의 데이터 효율성을 설명하며, 이를 통해 제한된 경험으로부터 유용한 표현을 빠르게 학습할 수 있게 한다고 주장한다. 엔드 투 엔드(end-to-end) 역전파에 의존하는 기존의 목표 지향적 모델과 달리, 이 프레임워크는 국소적인 비지도 학습 규칙이 어떻게 신경학적으로 정렬되고 과제와 관련된 계층적 표현을 만들어낼 수 있는지를 보여준다. 저자들은 효율적 코딩이 지도 학습을 위한 강력한 초기화 도구 역할을 하며, 레이블이 있는 데이터가 부족한 컴퓨터 비전 작업에 대한 잠재적인 해결책을 제공한다고 결론짓는다.