A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

기술 요약: 대화형 VR 실험에 기반한 정신 회전 (Mental Rotation) 심층 학습 모델

문제 제기
정신 회전 (다른 시점에서 본 객체를 비교하는 능력) 은 인간의 근본적인 인지 과정입니다. Shepard 와 Metzler(1971) 의 선구적인 연구는 인간의 반응 시간이 각도 차이 (angular disparity) 에 비례하여 선형적으로 증가함을 밝혀내어 내부적인 "공간 엔진"의 존재를 시사했으나, 정신 회전 과제를 해결하면서도 뇌가 이 과정을 어떻게 실행하는지에 대한 기작적 설명을 동시에 제공하는 성공적인 계산 모델은 아직 존재하지 않습니다. 현재의 심층 학습 시스템은 공간 추론과 새로운 3D 방향에 대한 일반화에서 어려움을 겪으며, 평면 회전과 깊이 회전 모두에서 인간 수행의 견고함을 재현하지 못합니다.

방법론
저자들은 심층 학습, 등가 표현 (equivariant representations), 그리고 신경 - 심볼릭 추론을 통합하는 3 단계 기작 모델을 제안합니다. 이 모델의 설계는 기존 문헌과 조이스틱을 통해 객체를 조작한 인간 피험자를 대상으로 한 새로운 가상 현실 (VR) 실험 세트를 기반으로 합니다.

1. VR 실험 설계: 저자들은 Shepard-Metzler 객체를 사용하여 VR 환경에서 19 명의 참가자를 대상으로 실험을 수행했습니다. 기존의 2D 설정과 달리, "행동 (Action)" 설정은 피험자가 엄지스틱을 사용하여 객체를 회전시킬 수 있게 했습니다. 주요 행동적 발견 사항은 다음과 같습니다:

   • 피험자들은 결정을 내리기 전에 객체를 대략적인 "사분면 (quadrant)"으로 정렬하기 위해 놀라울 정도로 적은 수의 "탄도적 (ballistic)" 행동 (보통 1 회) 을 수행했습니다.
   • 피험자들은 완벽한 정렬을 추구하기보다는 객체들을 서로에 대해 $\pm 45^\circ$ 범위 내에 배치했습니다.
   • 반응 시간은 큰 각도 차이에서 높은 변이를 보였으며, 이는 엄격하게 고정된 연속 회전 속도 가설에 도전했습니다.

2. 계산 모델: 이러한 발견에 기반하여 저자들은 인간이 연속적인 회전 공간을 4 개의 이산적인 사분면으로 축소한다는 **사분면 의존 심볼릭 표현 가설 (Quadrant-Dependent Symbolic Representation Hypothesis)**을 제시했습니다. 이 모델은 세 개의 적층된 모듈로 구성됩니다:

   • 모듈 I (등가 신경 인코더): 3D 객체의 2D 이미지로 훈련된 등가 신경 렌더러 (EqNR) 입니다. 이는 명시적인 3D 지도 없이도 모델이 내부 아날로그 표현을 조작할 수 있도록 $SO(3)$ 회전에 등가적인 3D 공간 잠재 표현을 생성합니다.
   • 모듈 II (신경 - 심볼릭 객체 인코더): Vision Transformer(ViT) 인코더와 자기회귀 (autoregressive) Transformer 디코더로 구성된 비전 심볼릭 모델 (VSM) 입니다. 이는 3D 공간 잠재 표현을 시퀀스 심볼릭 설명 (큐브 간의 방향 전환 시퀀스) 으로 매핑합니다. 핵심적으로, 이 모듈은 심볼릭 수준에서 등가성을 강제하여 객체가 사분면 경계를 넘을 때 설명이 예측 가능하게 변화하도록 합니다.
   • 모듈 III (신경 의사결정 에이전트): 심볼릭 설명 쌍을 입력으로 받는 다층 퍼셉트론 (MLP) 입니다. 이 에이전트는 두 가지 기능을 수행합니다: (a) 객체가 동일한 사분면에 있는 경우 유사성 (일치/불일치) 을 판단하거나, (b) 객체가 다른 사분면에 있는 경우 정렬을 위해 필요한 회전 행동 (예: 시계 방향으로 90° 회전) 을 예측합니다. 이 에이전트는 예측된 회전을 모듈 I 의 공간 표현에 적용하고 유사성 판단에 도달할 때까지 반복적으로 재평가하며 작동합니다.

주요 기여

• 최초의 기작 모델: 이 논문은 정신 회전 과제를 해결할 뿐만 아니라 공간 조작과 심볼릭 의사결정 간의 간극을 메우는 인지 과정에 대한 기작적 설명을 제공하는 최초의 신경 모델을 제시합니다.
• 표현의 통합: 이 연구는 조작을 위한 구조적으로 동형인 공간 표현과 의사결정 및 행동 선택을 위한 추상적 심볼릭 설명을 결합하는 필요성을 입증합니다.
• VR 을 통한 검증: 이 모델은 저자들의 VR 실험에서 도출된 표준 행동 지표 (정확도, 반응 시간 추세) 와 새로운 상호작용 데이터 (수동 행동 횟수) 모두에 대해 검증되었습니다.
• 절제 연구 (Ablation Studies): 체계적인 절제 실험은 등가 인코더, 심볼릭 인코더, 행동 수행 에이전트 중 어떤 단일 구성 요소를 제거하더라도 새로운 객체에 대한 일반화 실패나 인간과 유사한 행동 시퀀스 재현 실패로 이어짐을 확인했습니다.

결과

• 성능: 전체 모델은 정신 회전 과제에서 96.13% 의 정확도를 달성하여 VR 설정에서의 인간 수행 (91~95%) 과 유사한 수준을 보였습니다.
• 행동 충실도: 이 모델은 과제를 해결하기 위해 최소한의 행동 (주로 0 또는 1 회 행동) 을 사용하려는 인간의 경향을 재현합니다. 이는 $0^\circ$에서 $120^\circ$까지의 각도 차이에 대한 반응 시간의 선형 추세를 성공적으로 포착하지만, 각도 의존적 신경 구현 비용을 가정하지 않는 한 $120^\circ$와 $180^\circ$ 사이의 특정 반응 시간 증가를 설명하는 데는 어려움을 겪습니다.
• 구성 요소의 필요성:
  • 표준 시아미즈 네트워크 (순수 피드포워드) 는 새로운 3D 회전에 대한 일반화에 실패하여 등가 공간 표현의 필요성을 확인시켜 주었습니다.
  • 심볼릭 인코더를 제거하면 모델이 과제를 해결하지 못하게 되어 행동을 안내하기 위한 추상적 설명의 필요성이 부각됩니다.
  • 행동 수행 에이전트를 제거하면 모델은 높은 정확도로 과제를 해결할 수 있지만, 인간에서 관찰된 순차적이고 행동 기반의 행동을 재현하지는 못합니다.

의의 및 주장
저자들은 이 연구가 정신 회전 인지 과정에 대한 새로운 통찰을 제공하며, 특히 회전이 공간 표현에 적용되지만 의사결정은 심볼릭 기반의 사분면 추상에 의해 안내되는 하이브리드 관점을 지지한다고 주장합니다. 이 논문은 인간 마음이 연속적인 아날로그 과정이 아니라 회전 공간에서의 "불연속 점프"를 활용할 수 있다고 논증합니다.

기계 학습 관점에서 이 연구는 규모에만 의존하는 것보다 표현적 귀납 편향 (등가성과 신경 - 심볼릭 통합) 을 명시적으로 강제하는 것이 공간 추론에 더 효과적임을 시사합니다. 저자들은 근본적인 질문들 (예: 회전 메커니즘의 생물학적 타당성과 데이터 효율성) 이 여전히 남아있지만, 그들의 모델링 노력은 인간의 공간 추론을 모델링하기 위해 심층, 등가, 심볼릭 표현을 통합하는 개념 증명 (proof-of-concept) 으로 기능한다고 지적합니다. 이 연구는 인간 인지의 모든 측면을 해결한다고 주장하지는 않지만, "내가 만들 수 없는 것은 이해하지 못한다"는 원칙에 따라 행동 데이터와 부합하는 실행 가능한 신경 구현을 제공하고자 합니다.