기술 요약: 메타-표상 예측 코딩 (Meta-Representational Predictive Coding, MPC)

문제 정의

자기 지도 학습(Self-supervised learning, SSL)은 기계 지능의 지배적인 패러다임이 되었으나, 현재의 접근 방식들은 생물학적으로 불가능한 메커니즘, 구체적으로는 신용 할당(credit assignment)을 위한 오차 역전파(backpropagation)와 피드백(feedforward) 추론에 의존하고 있습니다. 예측 코딩(Predictive Coding, PC)은 국소적 가소성 규칙과 메시지 전달을 통해 생물학적으로 타당한 대안을 제시하지만, 기존의 PC 공식은 다음과 같은 이분법적 한계에 직면해 있습니다:

1. 비지도 PC (Unsupervised PC): 원시 감각 입력(예: 픽셀 값)의 생성 모델을 학습하며, 이는 계산 비용이 많이 들고 "생성형 AI"와 유사한 성격을 띱니다.
2. 지도 PC (Supervised PC): 입력을 타겟 레이블로 매핑하는 법을 학습하며, 인간의 주석(annotation)이 필요하고 지도 학습의 단점을 그대로 가집니다.

따라서 역전파를 피하고, 고차원의 원시 입력을 재구성할 필요가 없으며, 인간의 레이블이나 대조적 부정 샘플링(contrastive negative sampling)에 의존하지 않는 신경과학 기반 자기 지도 학습(NeuroSSL) 프레임워크에 대한 공백이 존재합니다.

방법론: 메타-표상 예측 코딩 (MPC)

저자들은 자유 에너지 원리(Free Energy Principle)에 근거한 인코더 전용 학습 체계인 **메타-표상 예측 코딩(MPC)**을 제안합니다. MPC는 원시 감양 데이터를 예측하는 대신, 병렬적인 신경 스트림 간의 **잠재 표상(latent representations)**을 예측하는 법을 학습합니다.

핵심 아키텍처 원칙

1. 인코더 전용 아키텍처 (Encoder-Only Architecture): MPC는 표준적인 예측 처리 전제를 뒤집습니다. 하향식 생성 디코더가 감각 입력을 예측하는 대신, 시스템은 상향식 표상 습득에 집중합니다. 즉, 원시 픽셀을 위한 디코더 없이 잠재 상태의 생성기(인코더)를 학습합니다.
2. 다중 스트림 처리 (중심와/파라중심와/주변부 - Foveal/Parafoveal/Peripheral): 시각 체계의 기능적 해부학에서 영감을 얻은 이 아키텍처는 다음과 같은 여러 병렬 스트림으로 구성됩니다:
   • 중심와 스트림 (Foveal Streams): 고해상도의 상세 패치(예: 8x8 픽셀)를 처리합니다.
   • 파라중심와 스트림 (Parafoveal Streams): 중간 해상도의 패치(예: 16x16 측)를 처리합니다.
   • 주변부 스트림 (Peripheral Streams): 저해상도의 거친 패치(예: 24x24 픽셀)를 처리합니다.
   • 이 스트림들은 **교차 스트림 예측(cross-stream prediction)**을 통해 상호작용하며, 각 스트림은 다른 스트림의 활동 역학을 예측하려고 시도합니다. 이는 보완적인 입력 패턴들이 서로 공명하는 임베딩을 생성해야 하는 "메타-표상적" 내러티브를 형성합니다.
3. 능동적 추론을 통한 안구 운동 (Active Inference via Saccades): 모델은 인식적 탐색 계획(epistemic glimpse planning) 메커니즘을 채택합니다. 전체 이미지를 한 번에 처리하는 대신, 모델은 입력의 "글림스(glimpses, 짧은 시선)"를 샘플링하기 위해 일련의 안구 운동(saccades)을 수행합니다.
   • 입력 필터링: 원시 입력은 대비 불변 특징을 추출하기 위해 외측슬상핵(LGN)에서 영감을 얻은 필터(Difference-of-Gaussians)에 의해 전처리됩니다.
   • 안구 운동 플래너 (Saccade Planner): 반사 기반 플래너는 포커스 맵을 최적화하여 다음 고정 지점을 선택합니다. 이 맵은 상향식 돌출성(bottom-up saliency)(국소적 구조 에너지)과 하향식 인식적 불확실성(이전 글림스의 예측 오차) 사이의 균형을 맞춥니다. 플래너는 장기적인 자유 에너지를 줄이기 위해 높은 불확실성을 가진 영역을 능동적으로 찾습니다.
4. 학습 역학 (Learning Dynamics):
   • 자유 에너지 최소화: 시스템은 잠재 상태에 대해 정의된 변분 자유 에너지(Variational Free Energy, VFE)를 최소화합니다. 에너지 함수에는 교차 표상 예측(스트림 간), 잔차 에너지(스트림 내), 그리고 시냅스 사전 확률(synaptic priors) 항이 포함됩니다.
   • 신경 역학: 신경 활동은 스트림 내 및 스트림 간 예측 오차에 의해 구동되는 자유 에너지의 경사 흐름(gradient flows)을 따릅니다.
   • 시냅스 가소성: 학습은 국소적 헤브 법칙(Hebbian rules)을 통해 일어납니다. 시냅스 가중치는 전시냅스 활동과 후시냅스 예측 오차 사이의 상관관계에 따라 업데이트됩니다. 전역적 오차 역전파는 사용되지 않습니다.
   • 잠재 글림스 경로 통합: 전역적인 자극 표상을 형성하기 위해, 모델은 격자 세포(grid cells)의 공간 매핑에서 영감을 얻어 순차적인 글림스로부터의 잠재 코드를 반복적으로 통합하며, 이를 통해 시선 경로의 전체 이력을 저장할 필요 없이 정보를 통합합니다.

주요 기여

1. 생물학적으로 타당한 SSL 프레임워크: 본 논문은 역전파 없이 국소적 신경 통계와 층별 병렬 추론에 의l한 자기 지도 학습 체계를 공식화했습니다.
2. 인코더 전용 예측 코딩: 원시 감각 데이터를 예측하지 않고도 잠재 상태의 생성 모델을 학습할 수 있음을 보여줍니다. 다양한 스트림 간의 잠재 활동을 예측함으로써, 모델은 대조 학습 메커니즘(긍정/부정 쌍)을 불필요하게 만듭/합니다.
3. 능동적 지각의 통합: 모델의 "시선"(안구 운동) 좌표가 신경 단위의 역학에 영향을 미치는 인게이티드(enactive) 관점을 통합합니다. 이는 정보가 풍부한 센서리움(sensorium)의 부분을 샘플링하기 위한 결정 시퀀스를 통해 표상 습득을 유도합니다.
4. 확장성: 이 체계는 데이터의 차원에 구애받지 않으며, 전체 고차원 입력을 동시에 처리하는 대신 변수의 부분 집합(글림스)을 처리합니다.

실험 결과

저자들은 MNIST, Kuzushiji-MNIST (K-MNIST), NYU NORB (자연스러운 3D 객체), ETH-80의 네 가지 데이터셋에서 MPC를 평가했습니다.

• 다운스트림 분류: MPC 표상은 K-최근접 이웃(KNN) 분류기를 통해 평가되었습니다. MPC는 경쟁력 있는 성능을 보였으며, 종종 완전히 지도된 MLP 및 I-JEPA나 표준 생성형 PC(GPC)와 같은 다른 자기 지도 학습 베이스라인을 능가했습니다. MNIST에서 MPC-epi는 약 98.1%의 정확도를 달성하여 지도 학습 CNN과 대등한 수준을 보였습니다.
• 재구성: MPC는 인코더 전용이지만, 동결된 잠재 코드에 별도의 디코더를 결합하여 테스트했습니다. MPC는 효과적인 디코더 학습을 촉진하였으며, 자연 이미지(NORB)에 대해 우수한 구조적 유사도(SSIM) 점수를 기록하여, 전체 이미지 GPC 모델보다 더 선명하고 일관된 재구성을 생성했습니다.
• 제로샷 일반화: 교차 데이터셋 실험(K-MNIST에서 학습하고 MNIST에서 테스트)에서 MPC는 강력한 제로샷 일반화 능력을 보여주었으며, 이는 모델이 데이터셋 특유의 아티팩트가 아닌 보편적인 기하학적 프리미티브(획, 가장자리 등)를 학습했음을 시사합니다.
• 샘플 효율성: MPC는 역전파 기반의 지도 학습 모델보다 우수한 샘플 효율성을 보였으며, 안구 운동 샘플링을 통해 각 데이터 포인트를 하나의 "미니 센서리움"으로 취급함으로써 매우 작은 훈련 세트(예: 100개 샘플)에서도 일관된 성능을 유지했습니다.
• 수용 영역 (Receptive Fields): 학습된 수용 영역의 시각화 결과, 중심와 단위는 고전적인 희소 코딩 필터(획)와 유사한 형태를 보였고, 주변부 단위는 더 큰 객체 덩어리를 인코딩하여 생물학적 시각 계층 구조와 일치함을 보여주었습니다.

의의 및 주장

본 논문은 MPC가 다음과 같은 이유로 NeuroAI와 생체 모방 지능을 향한 중요한 진전이라고 주장합니다:

• 예측 처리의 역전: 원시 감각 데이터를 재구성하는 것에서 벗어나, 전문화된 스트림 간의 상호 예측을 통해 분산된 잠재 표상을 획득하는 것으로 목표를 전환했습니다.
• 신용 할당 문제 해결: 국소적 가소성 규칙과 메시지 전달만을 사용하여 분산된 표상을 학습하는 메커방식을 제공함으로써, 생물학적으로 불가능한 역전파 문제를 우회했습니다.
• 능동적 시각과 학습의 연결: 능동적 감지(안구 운동)가 명시적인 감독이나 대조적 부정 샘플링 없이도 견고한 표상 습득을 어떻게 주도하는지 입증했습니다.
• 확장성 및 효율성: 조명이나 관점에 불변하는 복잡한 표상을 학습하고, 고차원 픽셀 공간을 모델링하는 계산적 부담 없이 새로운 물리적 구조로 일반화할 수 있는 경로를 제시했습니다.

저자들은 MPC가 생물학적 회로의 느슨한 영감이긴 하지만, 신경과학에 기반한 자기 지도 학습의 계산적으로 실행 가능한 구현체라고 결론짓습니다. 이는 보완적인 감각 스트림 간의 예측과 예측 오차만으로도 추상적인 인코딩이 순수하게 창발될 수 있음을 시사합니다.