기술 요약: 뇌에서 영감을 받은 확률적 공동 임베딩 표현 학습 (PhiNet v2)

문제 정의

자기지도 학습(Self-supervised learning, SSL)은 SimCLR, MoCo, DINO, 그리고 Masked Autoencoders (MAE)와 같은 프레임워크를 통해 컴퓨터 비전에 혁명을 일으켰습니다. 그러나 이러한 접근 방식들은 강력한 데이터 증강(data augmentation)에 의존하지 않고도 연속적인 시각 정보 스트림으로부터 강건한 표현을 학습하는 인간 뇌의 능력, 즉 생물학적 시각 처리 시스템의 통찰력을 상당 부분 간과하고 있습니다.

기존의 뇌 모사 모델인 PhiNet v1은 시간적 차이를 정적 이미지에 대한 데이터 증강을 통해 시뮬레이션함으로써 시간적 예측 가설과 상보적 학습 시스템(Complementary Learning Systems, CLS) 이론을 결结合하여 진전을 이루었으나, 다음과 같은 세 가지 주요 한계점을 가집니다:

1. 순차적 처리의 부재: 비디오와 같은 순차적 시각 입력을 네이티브하게 처리하지 못합니다.
2. 아키텍처: 현대 신경과학이 트랜스포머(Transformer)가 해마 모델을 더 잘 모사한다고 제안함에도 불구하고, ResNet 백본에 의존합니다.
3. 증강 의존성: 많은 SSL 방법과 마찬가지로 강력한 데이터 증강에 의존하며, 이는 순차적 입력으로부터 학습할 때 효과적인 증강을 정의하기 어렵게 만들어 일반화 능력을 제한합니다.

본 논문은 확률적 학습(variational inference)과 트랜스포머 아키텍처를 활용하여, 강력한 데이터 증강 없이도 순차적 입력(비디오)으로부터 강건한 시각적 표현을 학습할 수 있는 모델의 필요성을 다룹니다.

방법론: PhiNet v2

PhiNet v2는 내측 측두엽(entorhinal cortex, EC), 해마(CA3 및 CA1), 그리고 신피질(neocortex)에서 발견되는 생물학적 회로와 일치하도록 설계된 트랜스포머 기반 아키텍처입니다.

1. 생물학적 해석 및 아키텍처

모델은 각 구성 요소를 특정 뇌 영역에 매핑합니다:

• 내측 측두엽 (EC) / 인코더 $f$: 시각적 입력(비디오 프레임 $x_t$)을 저차원 표현($Z_t$)으로 인코딩합니다. PhiNet v2는 인코더로 Vision Transformer (ViT)를 사용합니다.
• CA3 영역 / 예측기 $h$: 시간적 예측 가설에 기반하여, 이 모듈은 미래의 신경 활동을 예측합니다. 현재 프레임($Z_t$)으로부터 미래 프레임의 표현($\hat{Z}_{t+k}$)을 예측합니다.
• CA1 영역 / 예측기 $g$ 및 손실 함수:
  • Sim-1 (예측 오차): CA1은 예측된 신호 $\hat{Z}_{t+k}$와 실제 미래 신호(노이즈 $\epsilon$이 포함된 상태)를 비교합니다. 이 불일치는 사전 분포(prior)와 근사 사후 분포(approximate posterior) 사이의 확률적 발산(KL divergence)으로 모델링되어 빠른 가소성(rapid plasticity)을 유도합니다.
  • Sim-2 (느린 학습): CA1은 신피질로 신호를 보냅니다. 두 번째 예측기 $g$는 예측값과 잠재 무작위 변수 $r$을 바탕으로 타겟 표현 $Y_{t+k}$를 생성합니다.
• 신피질 / 느린 인코더 $f_{long}$: 느리게 학습하는 신피질 시스템을 모사합니다. 이 파라미터는 메인 인코더 파라미터의 지수 이동 평균(Exponential Moving Average, EMA)을 통해 업데이트되어, 장기적인 일관성을 보장하고 표현 붕괴(representational collapse)를 방지합니다.

2. 확률적 유도

학습 목적 함수는 변분 추론(variational inference)으로부터 유도됩니다. 저자들은 인코딩된 비디오 프레임의 가능도(likelihood)를 최대화하고자 합니다. 체인 규칙(chain rule)을 적용하고, 확률적 특성을 포착하기 위해 잠재 변수 $r$을 포함하는 균등 혼합 모델(uniform mixture model)을 도입함으로써 증거 하한(Evidence Lower Bound, ELBO)을 도출합니다.

• Sim-1 손실은 근사 사후 분포 $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$와 사전 분포 $p(r|\hat{Z}_{t+k})$ 사이의 KL 발산에 해당합니다.
• Sim-2 손실은 예측된 표현 $Y_{t+k}$와 타겟 표현 $f_{long}(x_{t+k})$ 사이의 재구성 오차에 해당합니다.
• 전체 목적 함수는 양방향 시간적 일관성을 촉진하기 위해 연대순 및 역연대순 손실의 대칭적 합으로 구성됩니다.

3. 학습 역학 및 안정화

표현 붕락을 방지하고 강력한 데이터 증강 없이 안정적인 학습을 보장하기 위해 PhiNet v2는 다음과 같은 메커니즘을 채택합니다:

• 스톱 그래디언트 (Stop-Gradients, SG): 사전 경로(SG-prior)와 느린 인코더(SG-2)에 대해 직접적인 그래디언트를 차단하여, 모델이 빠른 경로의 오차 기반 업데이트를 통해서만 학습하도록 강제합니다.
• KL 밸런싱 (KL Balancing): KL 발산 계산 시 사전 항과 사후 항 사이에 편향(bias)을 적용합니다.
• EMA: 느린 인코더 $f_{long}$은 EMA를 통해 업데이트되어, 메인 인코더와 학습 역학을 분리합니다.
• 노이즈 주입: 픽셀 복사(copying pixels)와 같은 지름길 학습(shortcut learning)을 방지하기 위해 미래 프레임에 가우시안 노이즈 $\epsilon$을 추가합니다. 단, 모델은 픽셀 재구성이 아닌 표현을 학습합니다.

주요 기여

1. PhiNet v2 아키텍처: 순차적 시각 입력을 처리할 수 있는 트랜스포머 기반의 최초의 뇌 모사 시각 표현 학습 모델입니다.
2. 증강 없는 학습 (Augmentation-Free Learning): 기존의 파운데이션 모델(예: MAE, DINO)에서 요구되는 강력한 데이터 증강이나 마스킹 없이도 순차적 입력으로부터 강건한 표현을 학습합니다.
3. 변분적 정식화 (Variational Formulation): 뇌 모사 모델링(시간적 예측 및 CLS)과 변분 추론을 연결하는 공식적인 확률적 유도를 통해 원칙적인 수학적 토대를 제공합니다.
4. 성능: PhiNet v2는 더 단순한 아키텍처(보조 MAE 모듈 없음)를 유지하면서도 강력한 사전 학습 방법들(DINO, SiamMAE, CropMAE, RSP)과 대등하거나 우수한 성능을 달amino합니다.

실험 결과

저자들은 Kinetics-400 데이터셋에서 PhiNet v2를 사전 학습시킨 후, 다양한 비디오 라벨 전파 작업(DAVIS, VIP, JHMDB)에서 평가를 수행했습니다.

• 벤치마크 성능: PhiNet v2는 테스트된 모든 데이터셋에서 RSP, CropMAE, 그리고 JEPA 유사 베이스라인을 능가합니다.
  • DAVIS (비디오 세그멘테이션)에서 PhiNet v2는 J&Fm 점수 60.1을 달성하였으며, 이는 RSP(58.4)와 CropMAE(57.0)보다 높은 수치입니다.
  • VIP (부분 세그멘테이션) 및 JHMDB (포즈 트래킹)에서도 PhiNet v2는 가장 높은 점수(각각 33.1 mIoU 및 73.6 PCK@0.2)를 기록했습니다.
• 노이즈에 대한 강건성: 입력 프레임에 가우시안 노이즈를 추가하는 실험에서, PhiNet v2는 특히 DAVIS 데이터셋에서 RSP보다 더 높은 강건성을 보여주었습니다. 이는 표현 공간 학습이 픽셀 재구성 방식보다 픽셀 수준의 노이즈에 덜 민감하다는 가설을 입증합니다.
• 절제 연구 (Ablation Studies):
  • EMA: EMA를 제거하면 표현 붕괴가 발생하여 성능이 급격히 저하됩니다 (26.8 vs 60.1).
  • 대칭 손실 (Symmetric Loss): 대칭 손실을 사용하면 성능이 0.4~0.9 포인트 향상됩니다.
  • 예측기 $h$: 붕괴를 피하기 위해서는 예측기 $h$ (CA3)를 포함하는 것이 필수적입니다.
  • 배치 크기: 모델은 다양한 배치 크기(192 ~ 1536)에서도 안정적으로 유지되어, 제한된 하드웨어(예: V100 GPU)에서도 학습이 가능합니다.
  • 아키텍처: PhiNet v1의 ResNet을 단순히 트랜스포머로 교체하고 PhiNet v2의 특정 구조적 변경을 적용하지 않으면 성능이 낮게 나타납니다 (22.2). 이는 특정 설계의 필요성을 강조합니다.

의의 및 주장

본 논문은 PhiNet v2를 더욱 생물학적으로 타당한 컴퓨터 비전 시스템을 향한 단계로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 생물학적 타당성: 시간적 예측 가설과 CLS 이론을 현대적인 트랜스포머 프레임워크에 성공적으로 통합하여, 정적 이미지 처리에 머물렀던 PhiNet v1을 넘어섰습니다.
• 효율성 및 단순성: 보조적인 성능 향상을 위해 MAE 모듈이 필요한 RSP와 달리, PhiNet v2는 표현 정렬(representation alignment)만으로 우수한 결과를 얻으며 복잡한 보조 구성 요소나 광범한 하이퍼파라미터 튜닝의 필요성을 제거했습니다.
• 확장성: 현재 실험은 공정한 비교를 위해 작은 규모로 진행되었으나, 저자들은 이 아키텍처가 본질적으로 JEPA 및 DINO 프레임워크와 연관되어 있어, V-JEPA나 DINOv3와 같은 대규모 모델과 경쟁할 수 있는 확장성을 갖추고 있다고 언급합니다.

이 연구는 뇌 과학에서 영감을 받은 메커니즘과 확률적 학습 목적 함수를 결结合하는 것이, 현재의 SSL 패러다임에서 전형적으로 나타나는 과도한 데이터 증강에 의존하지 않고도 어떻게 강건한 최첨단 비디오 표현을 생성할 수 있는지를 보여줍니다.