기술 요약: 자연스러운 게임 플레이에서 추론 및 행동 표현의 뇌 정렬

문제 제기

환경 상호작용을 통한 인간과 인공지능 시스템의 예측 및 계획 방식을 이해하는 것은 신경과학과 머신러닝이 교차하는 지점에서 핵심적인 과제입니다. 기존 뇌 부호화 연구는 수동적인 언어 이해나 시각 처리 동안 인공 모델과 뇌 활동을 성공적으로 정렬해 왔으나, 상호작용적 뇌 정렬 연구는 주로 강화학습 (RL) 에이전트와 이론 기반 모델에 국한되어 있었습니다. 이러한 전통적 모델들은 보상 기반 행동 학습에 최적화되어 있으며 주로 행동 관련 특징을 부호화하므로, 인간이 사물, 관계, 미래 결과를 표현하는 데 사용하는 더 풍부한 지각적, 의미론적, 예측적 구조를 놓칠 가능성이 있습니다.

본 논문은 현대의 기반 모델들, 특히 비전 - 언어 모델 (VLM) 과 대형 행동 모델 (LAM) 이 자연스럽고 상호작용적인 게임 플레이 동안 인간 뇌 활동과 정렬되는 내부 '세계 모델'을 획득하는지 여부를 조사함으로써 이러한 간극을 해소합니다. 본 연구는 행동 중심 및 추론 중심 프롬프트가 모델 표현을 어떻게 형성하는지, 그리고 이러한 표현이 전통적인 RL 기준선보다 인간의 적응적 행동을 뒷받침하는 신경 계산을 더 잘 포착하는지 규명하고자 합니다.

방법론

데이터셋 및 실험 설정

본 연구는 32 명의 건강한 참가자가 6 가지 다른 게임을 플레이하는 동안 fMRI 기록이 포함된 자연스러운 아타리 스타일 비디오 게임 데이터셋을 활용합니다. 데이터는 전처리되어 대뇌 피질 표면 ("fsaverage6") 에 투영되었으며, 분석은 초기 시각 영역, 전두 - 두정 영역, 그리고 운동 계획 영역을 아우르는 11 개의 관심 영역 (ROI) 에 초점을 맞추었습니다.

평가된 모델

저자들은 두 가지 RL 기준선과 함께 두 가지 계열의 기반 모델을 평가했습니다:

1. 비전 - 언어 모델 (VLM): Qwen2.5-VL-7B-Instruct 와 InternVL3-8B. 이러한 모델들은 추론을 수행하기 위해 시각적 게임 프레임과 텍스트 프롬프트를 처리합니다.
2. 대형 행동 모델 (LAM): UI-TARS-7B-DPO 와 OS-Atlas-Pro-7B. 이러한 모델들은 GUI 및 게임 상호작용 궤적을 기반으로 Qwen2-VL 에서 미세 조정되었으며, 특히 행동 계획 및 실행에 최적화되어 있습니다.
3. 기준선: 이론 기반 RL 에이전트인 EMPA 와 심층 Q-네트워크인 D-DQN.

프롬프팅 조건

인지 모드를 탐구하기 위해 모델들을 세 가지 조건에서 테스트했습니다:

• 프롬프트 없음: 모델은 게임 플레이 프레임만 받았습니다.
• 행동 프롬프트: 모델은 간단한 정당화와 함께 다음 행동을 결정하도록 요청받았습니다.
• 추론 프롬프트: 모델은 즉시 행동을 결정할 필요 없이 게임 목표, 공간적 관계, 그리고 목표를 설명하도록 요청받았습니다.

부호화 및 분석

• 특징 추출: fMRI 의 시간 해상도 (TR = 2 초) 에 부합하도록 최근 프레임의 슬라이딩 윈도우를 사용하여 모든 트랜스포머 레이어에서 숨겨진 상태 표현을 추출했습니다.
• 볼륨별 부호화: 부트스트랩 릿지 회귀 모델을 훈련시켜 모델 표현으로부터 fMRI 반응을 예측하도록 했습니다. 성능은 피어슨 상관 계수 (PCC) 를 사용하여 측정했습니다.
• 분산 분할: 설명된 분산 ($R^2$) 을 행동 및 추론 프롬프트 간에 공유되는 구성 요소와 각 프롬프트 유형에 고유한 구성 요소로 분해하기 위해 통계적 접근법을 사용했습니다. 이를 통해 저자들은 유사한 정보를 부호화하는 모델과 질적으로 다른 표현 조직을 가진 모델을 구별할 수 있었습니다.
• 사고 모드 분석: Qwen3.5 에 대한 예비 연구에서 명시적 추론 흔적 (Chain-of-Thought) 과 최종 행동 출력 간의 뇌 정렬을 비교했습니다.

주요 결과

1. 기반 모델이 RL 기준선을 능가함

특징 차원을 일치시켰을 때 (예: 8 차원으로 축소) 도 VLM 과 LAM 모두 볼륨별 뇌 부호화에서 고전적인 RL 기준선 (EMPA 및 D-DQN) 보다 현저히 우수한 성과를 거두었습니다.

• 프롬프트 없음 성능: VLM 은 $r \approx 0.264$, LAM 은 $r \approx 0.271$을 달성한 반면, EMPA 는 $r=0.162$, D-DQN 은 $r=0.097$이었습니다.
• 프롬프트 효과: 명시적 프롬프팅은 두 모델 계열 모두의 정렬을 더욱 개선했으며, 프롬프트가 적용된 VLM 은 $r \approx 0.358$, LAM 은 $r \approx 0.348$에 도달했습니다.

2. 프롬프트 주도 개선의 대뇌 계층 구조

프롬프팅에 의해 주도된 뇌 정렬의 개선은 뇌 전체에 걸쳐 균일하지 않았습니다.

• 전두 - 두정 및 운동 영역: 계획 및 의사결정과 관련된 고차 영역, 구체적으로 중전두이 (MFG), 보조운동영역 (SMA), 하전두이 (IFG), 그리고 각회 (AG) 에서 가장 큰 향상이 관찰되었습니다.
• 시각 피질: 초기 시각 영역은 전두 영역의 약 절반 크기 정도의 향상을 보였습니다.
• 의의: 이러한 계층 구조는 프롬프트가 저수준 시각 처리뿐만 아니라 목표, 계획, 그리고 '다중 요구 (multiple-demand)' 네트워크와 관련된 표현을 주로 향상시킨다는 것을 시사합니다.

3. 분산 분할을 통한 질적 분리

VLM 과 LAM 이 전체 뇌에 걸쳐 통계적으로 동등한 원시 예측 정확도를 달성했음에도 불구하고, 분산 분할은 내부 조직의 근본적인 차이를 드러냈습니다:

• VLM(프롬프트 대칭적): 행동 프롬프트 ($12.5\%$) 와 추론 프롬프트 ($13.6\%$) 가 기여한 고유 분산이 균형을 이루었습니다.
• LAM(행동 비대칭적): 행동 프롬프트가 추론 프롬프트보다 훨씬 더 많은 고유 분산 ($27\%$) 을 기여한 반면, 추론 프롬프트는 전체 뇌와 전두 - 운동 피질에서 음의 고유 분산 ($-5\%$) 을 기여했습니다.
• 해석: LAM 에서 행동 특화 미세 조정은 표현을 재조직하여, 행동 감독이 이미 필요한 정보를 포괄하기 때문에 운동 계획 영역에서 '추론' 신호가 중복되거나 잡음처럼 보이게 만드는 것으로 보입니다. 이러한 분리는 원시 정확도 수준에서는 보이지 않지만 분산 분해에서는 명확합니다.

4. 사고 모드 비대칭성

Qwen3.5 에 대한 예비 분석에서 모델의 최종 행동 출력 ($r=0.355$) 은 명시적 추론 흔적 ($r=0.173$) 보다 훨씬 높은 뇌 정렬을 보였습니다. 이 격차는 읽기 위치를 통제한 후에도 지속되었는데, 이는 현재 사고 모드 모델에서의 명시적 체인 - 오브 - 사고 추론 흔적이 모델의 최종 행동 결정만큼 인간 신경 역학과 밀접하게 정렬되지 않을 수 있음을 시사합니다.

의의 및 주장

본 논문은 수동적 지각에서 상호작용적 게임 플레이로 뇌 정렬 연구를 확장하여, 현대 VLM 과 LAM 에 대한 최초의 체계적 평가를 제공합니다. 주요 기여점은 다음과 같습니다:

1. 우월한 표현의 풍부함: 멀티모달 기반 모델들은 전통적인 작업 최적화 RL 에이전트보다 동적 게임 환경에 대한 더 많은 뇌 관련 정보를 부호화합니다.
2. 프롬프트 조건부 재조직: 본 연구는 프롬프팅이 모델 표현을 변화시켜, 특히 고차 인지 영역에서 인간 뇌 활동과 더 잘 정렬되도록 할 수 있음을 입증합니다.
3. 행동 대 추론 분리: 본 연구는 행동 특화 미세 조정 (LAM) 이 행동 관련 신경 계산을 향해 멀티모달 표현을 근본적으로 재조직하여, 범용 VLM 과 구별되는 프롬프트 비대칭 구조를 생성함을 밝힙니다. 이러한 차이는 원시 정확도가 아닌 분산 분해를 통해서만 감지 가능합니다.
4. 세계 모델 평가: 추론 중심 및 행동 중심 프롬프트를 대비시킴으로써, 본 연구는 '환경 이해'와 '행동 결정' 사이의 분리를 운영화하여, 이 구분이 AI 모델에서 질적으로 다른 표현 구조에 매핑됨을 보여줍니다.

저자들은 이러한 발견이 적응적 행동을 뒷받침하는 구조화된 예측적 표현을 기반 모델이 어떻게 부호화하는지 연구하는 새로운 방향을 열어준다고 결론지으며, 테스트된 특정 모델 계열의 한계와 사고 모드 분석의 예비적 성격에 대해 언급합니다.