기술 요약: 단순하게 항해하고, 깊게 정렬하라

문제 정의

본 논문은 인공 에이전트의 "강건성 격차(robustness gap)" 문제를 다룹니다. 이는 생물학적 시스템(특히 생쥐)이 다양한 조건에서도 안정적인 탐색 능력을 유지하는 것과 달리, 딥 강화 학습(RL) 시스템은 훈련 분포를 벗어난 시각적 섭동(perturbations)을 마주했을 때 종종 실패하는 현상을 의미합니다. 저자들은 다음 두 가지 구별되면서도 상호 보완적인 트랙을 평가하는 NeurIPS 2025 Mouse vs. AI: Robust Visual Foraging Competition에 참여했습니다.

1. 트랙 1 (시각적 강건성): 홀드아웃 시각적 섭동(예: 안개, 조명 변화)에 대한 일반화 성능을 측정하며, 평균 성공률(ASR)과 수정된 성공률(MSR)의 가중 평균을 사용합니다.
2. 트랙 2 (신경 정렬): 에이전트의 내부 시각 표현이 동일한 과업을 수행하는 동안 기록된 19,000개 이상의 뉴런(생쥐 시각 피질)의 신경 활동을 얼마나 잘 예측하는지를 선형 판독 $R^2$ 지표를 통해 평가합니다.

핵심 과제는 이러한 목표 사이의 긴장 관계에 있습니다. 행동적 강건성은 저수준 통계로부터의 추상화를 선호하는 반면, 신경 정렬은 상세한 자극 구조를 보존해야 할 수도 있습니다.

방법론

저자들인 팀 HCMUS_TheFangs는 복잡한 시각적 과업에 그에 상응하는 복잡한 아키텍처가 필요하다는 전통적인 통념을 버렸습니다. 대신, 각 트랙의 특정 요구 사항에 최적화된 별도의 아키텍처를 개발하는 이중 전략 접근 방식을 취했습니다.

트랙 1: 강건성을 위한 경량 아키텍처

시각적 강건성을 위해, 팀은 과적합을 방지하기 위해 단순함을 우선시하는 SimpleCNN 아키텍처를 개발했습니다.

• 아키텍처: 공격적인 공간 다운샘플링(8×8 커널, 스트라이드 4; 이어서 4×4 커널, 스트라이드 2)을 적용한 2층 컨볼루션 백본을 사용합니다.
• 강화 요소:
  • Gated Linear Units (GLU): 특징 변환을 위한 Swish 활성화 함수와 게이팅을 위한 Sigmoid를 사용하는 모듈로, 노이즈에 민감한 구성 요소를 억제하여 선택적인 정보 흐름을 가능하게 합니다.
  • 관측 정규화(Observation Normalization): 전역 조명 변화에 대한 불변성을 보장하기 위해 입력값에 실행 통계(지수 이동 평균)를 적용합니다.
• 훈련: 백본을 먼저 훈련한 후 GLU 모듈을 추가하는 2단계 전략을 사용합니다.

트랙 2: 신경 정렬을 위한 심층 아키텍처

신경 정렬을 위해, 팀은 생물학적 시각 피질을 모방하는 계층적 표현을 포착하도록 설계된 Deep ResNet 스타일의 아키텍처를 채택했습니다.

• 아키텍처: 점진적인 채널 확장(64 → 128 → 256 → 512)을 포함하는 잔차 블록(residual blocks)으로 구성된 16개의 컨볼루션 레이어입니다.
• 메커니즘: 적응형 특징 라우팅을 위한 GLU 기반 게이팅을 포함합니다. 이 모델은 트랙 1 모델(1.4M)보다 훨씬 큰 1,780만 개의 파라미터를 보유하고 있습니다.
• 훈련: 60K에서 1.14M 스텝에 이르는 광범위한 훈련 기간 실험을 수행하였으며, 훈련 시간과 성능 사이의 관계를 분석하기 위해 20K 스텝마다 체크포인트를 저장했습니다.

실패한 접근 방식들

본 논문은 성과가 저조했던 여러 접근 방식을 체계적으로 기록합니다:

• InceptionNet: 수렴에 완전히 실패했습니다.
• Deep ResNet (24 레이어): 높은 훈련 성능을 달성했으나, 심각한 과적합으로 인해 섭동 발생 시 성능이 35% 하락했습니다.
• LSTM 통합: 2D 공간 구조를 파괴하여 훈련 불안정성과 성능 붕괴를 초래했습니다.
• 단순 데이터 증강(Naive Data Augmentation): 분포 불일치를 유발하여 성능을 오히려 감소시켰습니다(87.7%에서 59.8%로).

주요 결과

트랙 1: 시각적 강건성

GLU와 정규화가 적용된 경량 SimpleCNN은 95.4%의 최종 점수를 기록하며 1위를 차지했습니다.

• 절제 연구(Ablation): 관측 정규화가 가장 큰 이득(+3.8%)을 제공했으며, 그 다음은 GLU(+0.2%)였습니다.
• 비교: 24레이어 ResNet 베이스라인은 65.98%를 기록했는데, 이는 증가된 깊이가 이 문맥에서 일반화 성능을 해친다는 점을 강조합니다. SimpleCNN은 ASR(96.80%)과 MSR(94.00%) 사이의 간격을 최소화한 반면, 딥 ResNet은 30포인트의 격차를 보였습니다.

트랙 2: 신경 정렬

딥 ResNet 아키텍처는 신경 정렬 지표에서 Top-1 성능(점수: 0.1517)을 달성했습니다.

• 용량(Capacity): 1,780만 파라미터 모델은 경량 SimpleCNN(순위 13, 점수 0.1451)을 크게 앞질렀으며, 이는 생물학적 표현을 포착하기 위해서는 상당한 모델 용량이 필요함을 입증합니다.
• 비단조적 훈련(Non-Monotonic Training): 훈련 기간과 성능 사이의 비단조적 관계가 핵심적인 발견이었습니다. 최적의 체크포인트는 약 200K 스텝 부근에서 나타났으며(순위 2), 이는 1.14M 스텝까지 훈련된 모델(순위 1)과 거의 대등한 성능을 보였습니다. 중간 정도의 기간(예: 520K 스텝) 동안 훈련된 모델은 매우 짧은 기간(80K 스텝) 동안 훈련된 모델보다 성능이 낮았는데, 이는 장기 훈련이 신경 정렬 과업에서도 과적합이나 파괴적 망각을 초래할 수 있음을 시사합니다.

주요 기여

1. 강건성을 위한 아키텍처 단순성: 타겟팅된 강화 요소(GLU, 정규화)를 갖춘 경량 2층 CNN이 복잡한 딥 네트워크보다 시각적 강건성에서 훨씬 뛰어남을 입증하여, 시각-운동 과업에 대한 모델 요구 사항에 대한 통념에 도전했습니다.
2. 신경 정렬을 위한 용량: 더 단순한 모델이 행동적 강건성에는 탁월하지만, 우수한 신경 정렬을 달究하기 위해서는 더 깊은 아키텍처와 증가된 용량이 필요함을 보여주었으며, 이는 계층적 생물학적 시각 처리 과정을 반영합니다.
3. 실패 사례의 문서화: 실패한 접근 방식(InceptionNet, Deep ResNet, LSTM, 단순 증강)에 대한 종합적인 분석을 제공하여, 강건한 시각 RL에서 흔히 발생하는 함정을 피하기 위한 실질적인 가이드를 제시했습니다.
4. 훈련 역학 분석: 훈련 기간과 성능 사이의 비단조적 관계를 밝혀내어, 최적의 체크포인트가 수렴 훨씬 전(약 200K 스텝)에 나타날 수 있음을 확인했습니다.

의의 및 주장

본 논문은 모델 복잡성에 대한 전통적인 가설에 도전함으로써, 강건한 생물학적 영감을 받은 시각 에이전트를 개발하기 위한 실질적인 지침을 제공한다고 주장합니다. 저자들은 행동적 유능함이 반드시 생물학적 타당성을 의미하는 것은 아님을 강조하며, 시각적 섭동에서 살아남기에 최적인 아키텍처와 신경 활동을 모방하기에 최적인 아키텍처는 근본적으로 다르다고 주장합니다.

"강건성을 위해서는 단순한 것이 더 낫고, 정렬을 위해서는 깊은 것이 더 낫다"는 것을 보여줌으로써, 본 연구는 강건성과 생물학적 타당성이라는 두 목표가 서로 충돌할 수 있으며, 이를 위해 서로 다른 아키텍처 선택이 필요함을 시사합니다. 이러한 결과는 과업에 적합한 귀납적 편향(inductive bias)의 중요성과 수렴까지의 훈련보다 체계적인 체크포인트 분석의 가치를 강조합니다.