기술적 요약: 플레이의 이유: 최첨단 대형 추론 모델 (LRM) 과 인간 게임 학습자 간의 행동 및 뇌 정렬

문제 제기

인간 인지 능력은 새로운 환경에서 추상적 구조를 빠르게 학습하고, 이를 유연하게 활용하여 지능적인 행동을 유도하는 능력으로 구별됩니다. 현대의 AI 시스템, 특히 대형 추론 모델 (LRM) 은 정적 추론 작업에서 놀라운 능력을 입증해 왔으나, 동적 환경에서 인간과 동일한 효율성과 유연성으로 상호작용하며 학습하고 계획할 수 있는지는 여전히 불분명합니다. 기존 벤치마크는 상호작용 학습 중 에이전트의 내부 표현을 포착하는 데 실패하는 경우가 많으며, 전통적인 심층 강화학습 (RL) 에이전트는 특정 도메인에서 성공을 거두었음에도 인간보다 수백 배 많은 데이터를 필요로 하고 전이 가능한 내부 모델을 결여하고 있습니다. 또한, 계산 신경과학은 상호작용 인지 중 인간의 뇌 활동을 예측하는 모델을 찾는 데 어려움을 겪어 왔는데, 특정 작업에 처음부터 훈련된 모델들은 종종 취약한 인코딩 신호를 생성하기 때문입니다.

본 연구는 다음과 같은 질문에 답하고자 합니다: 최첨단 대형 추론 모델 (LRM) 은 새로운 비디오 게임 규칙을 발견하고 실행하는 과정에서 인간의 행동 궤적과 인간 뇌 활동 모두와 정렬되는 방식으로 학습하고 계획할 수 있는가?

방법론

데이터셋 및 작업

저자들은 32 명의 건강한 성인 참가자가 비디오 게임 기술 (VGDL) 로 정의된 12 가지 서로 다른 비디오 게임을 학습하는 동안의 동시 fMRI 기록과 게임 플레이 궤적을 포함하는 VGDL-fMRI 데이터셋을 활용했습니다.

• 작업 구조: 참가자들은 6 개의 스캐너 런 (run) 동안 6 개의 게임을 플레이했습니다. 각 게임은 점진적으로 복잡성이 증가하는 9 개의 레벨로 구성되었으며, 새로운 객체 유형과 상호작용 규칙이 단계적으로 도입되었습니다.
• 환경: 게임은 규칙 발견, 가설 수정, 다단계 계획 (예: 상자 밀기, 위험 요소 회피, 협력적 안내) 을 요구했습니다.
• 입력 제약: 모델은 인간 참가자와 동일한 색상 익명화 심볼 관찰 (그리드 위치, 색상, 인벤토리) 을 받았으며, 특권적인 의미론적 레이블은 제공되지 않았습니다.

모델 클래스

본 연구는 세 가지 패러다임에 걸쳐 일련의 에이전트를 평가했습니다:

1. 최첨단 대형 추론 모델 (LRM): Qwen 3.5 및 DeepSeek 계열의 8 개 모델 (9B~397B 파라미터) 입니다. 이러한 모델들은 관찰을 받고 행동을 생성하는 멀티턴 대화 형식으로 평가되었습니다. 두 가지 조건이 테스트되었습니다:
   • 복제 추론 (Copied-reasoning): 모델의 숨겨진 사고 연쇄 (chain-of-thought) 가 후속 턴을 위한 컨텍스트에 포함되었습니다.
   • 행동 전용 (Action-only): 명시적 추론 흔적의 기여도를 격리하기 위해 행동만 제공되었습니다.
2. 심층 강화학습 (RL) 베이스라인:
   • 모델 프리 (Model-free): 게임별 광범위한 하이퍼파라미터 튜닝과 커리큘럼 기반 훈련을 수행한 Double DQN (DDQN).
   • 모델 기반 (Model-based): 몬테카를로 트리 탐색을 통해 계획하기 위한 잠재 역학 모델을 학습하는 EfficientZeroV2 (EZV2).
3. 심볼릭 베이스라인: 수동으로 코딩된 게임 규칙의 온톨로지에 대해 베이지안 추론을 수행하는 이론 기반 에이전트인 탐색 - 모델 - 계획 에이전트 (EMPA).

평가 지표

1. 행동 정렬:
   • 발견 효율성: 레벨당 첫 번째 승리까지의 누적 단계 수 (인간 분포에 대한 지구 이동 거리, EMD 로 측정).
   • 능력: 고정된 단계 예산 하에 도달한 평균 레벨 (두 번의 연속 승리를 요구하는 차단형 커리큘럼).
2. 뇌 인코딩:
   • 프로토콜: LRM 을 수동 관찰자로 실행하여 인간 참가자가 본 정확한 관찰 스트림을 입력으로 제공하되, 행동이나 추론 흔적 생성은 하지 않았습니다. 숨겨진 상태 특징은 최종 입력 토큰에서 추출되었습니다.
   • 분석: 밴드드 릿지 회귀 (banded ridge regression) 를 사용하여 모델 특징으로부터 혈액 산소 농도 의존성 (BOLD) 반응을 예측했습니다. 성능은 6 개의 해부학적 관심 영역 (ROI: 전두엽, 운동, 두정엽, 시각, 초기 시각, 선조체) 에서 예측된 BOLD 활동과 관찰된 BOLD 활동 간의 피어슨 상관계수 ($r$) 로 측정되었습니다.
   • 통제: 비교에는 무작위 초기화 통제, 궤적 셔플 통제, 그리고 노이즈 회귀 변수 (버튼 누름, 게임 식별, 시간) 가 포함되었습니다.

주요 기여

1. 상호작용 학습에서의 LRM 체계적 평가: 12 개의 게임과 32 명의 인간 참가자를 대상으로 인간과 유사한 상호작용 게임 학습에 대한 최첨단 LRM 의 첫 체계적 평가입니다. 단일 단계 프롬핑이나 이전 LLM 을 사용한 이전 연구와 달리, 본 연구는 명시적 추론 흔적을 포함한 멀티턴 대화를 활용합니다.
2. 인간과의 행동적 동등성: 본 연구는 최첨단 LRM 이 발견 효율성과 능력 진화 측면에서 인간 학습 궤적과 일치함을 보여주며, 반면 심층 RL 베이스라인은 인간보다 수백 배 많은 경험을 필요로 하고 일찍 정체됩니다.
3. 우수한 뇌 정렬: LRM 은 모든 대뇌 및 피하 영역에서 심층 RL 베이스라인 (DDQN, EfficientZero) 과 심볼릭 EMPA 에이전트보다 인간 뇌 활동을 한 자릿수 (order of magnitude) 더 잘 예측합니다. 이 정렬은 치환 통제에 대해 견고하며, 미세 조정이나 도메인별 도구 없이 **오프더셸 (off-the-shelf)**로 달성됩니다.
4. 기작적 통찰: 본 연구는 뇌 정렬 신호가 모델의 하류 계획 또는 추론 과정보다는 게임 상태에 대한 인-컨텍스트 (in-context) 표현을 반영함을 규명했습니다. 이는 모델이 추론 흔적을 생성하지 않고 수동 관찰자로 실행될 때도 인코딩 정확도가 높게 유지된다는 사실로 입증됩니다.
5. 자원 공개: 저자들은 10 만 개 이상의 추론 흔적, 모든 재생 데이터, 추출된 숨겨진 상태 특징, 전체 분석 파이프라인을 포함하는 상호작용 부록 자료를 공개했습니다.

결과

행동 성능

• 발견 효율성: 최첨단 LRM 은 인간이 첫 번째 승리에 도달하기까지 걸린 단계 수 분포 주위에 밀집되어 있었습니다. 가장 우수한 모델인 DeepSeek V4-Pro 는 발견 EMD 가 0.28 이었던 반면, DDQN 은 3.07, EfficientZero 는 3.22 였습니다. 이는 RL 베이스라인 대비 인간 행동과의 거리를 5~11 배 줄인 것입니다.
• 능력: LRM 은 1600 단계 예산 내에서 평균 레벨 46 에 도달하는 등 9 단계 커리큘럼을 인간과 유사한 속도로 진전시켰으나, RL 베이스라인은 거의 12 레벨을 넘지 못했습니다.
• 발견 - 실행 간극: 실행 측면에서 주목할 만한 차이가 발견되었습니다. 인간은 첫 승리 후 단계 수를 크게 단축 (중앙값 32 단계) 하는 반면, LRM 은 더 짧은 경로가 추론에 명시되어 있더라도 첫 승리의 정확한 궤적을 반복 재생하는 '고착화 (perseverate)' 경향을 보였습니다. 이 간극은 모델 규모가 커짐에 따라 감소했으며 DeepSeek 모델에서는 거의 사라졌습니다.

뇌 인코딩

• 정렬의 크기: LRM 은 시각 및 초기 시각 영역에서 피어슨 $r$이 약 0.07~0.10 인 BOLD 활동을 예측했으며, 전두엽, 운동, 선조체 영역에서는 낮지만 유의미한 값을 보였습니다. 이는 최상의 RL 베이스라인 ($r=0.015$ 미만) 보다 약 한 자릿수 더 높은 수치입니다.
• 훈련 대 아키텍처: 훈련된 LRM 은 동일한 아키텍처의 무작위 초기화 버전보다 현저히 우수하여 (6.4~6.9 배 개선), 정렬이 학습된 표현에서 비롯되며 아키텍처 사전 지식에서 비롯된 것이 아님을 확인시켰습니다.
• 규모 대 정렬: 행동 성능이 일반적으로 모델 크기에 따라 스케일링된 것과 달리, 뇌 인코딩 정확도는 파라미터 수에 따라 단조롭게 스케일링되지 않았습니다. Qwen3.5-35B-A3B (MoE) 모델이 가장 높은 인코딩 정확도를 달성하여 DeepSeek V4-Pro 와 같은 더 큰 모델을 능가했습니다.
• 표현 특이성: 인코딩 신호는 게임 플레이의 순간별 시퀀스에 고정되어 있었습니다. 임베딩의 시간적 순서를 치환하거나 컨텍스트 히스토리를 잘라내면 인코딩 정확도가 크게 감소했는데, 이는 신호가 장기 기억 통합보다는 즉각적인 표현 구조를 포착함을 나타냅니다.

중요성 및 주장

본 논문은 복잡하고 자연스러운 환경에서의 인간 학습 및 의사결정에 대한 설득력 있는 계산적 설명으로서의 최첨단 LRM 을 확립한다고 주장합니다.

• 정렬의 신규성: 저자들의 지식 범위 내에서, 이는 상호작용 게임 플레이 중 인간과 LRM 간의 첫 번째 행동 및 신경 정렬입니다.
• 정렬의 기작: 결과는 텍스트에 대한 사전 훈련을 통해 LRM 이 획득한 풍부하고 전이 가능한 표현이 인간과 유사한 '광범위한 사전 지식'을 가지고 새로운 게임에 접근할 수 있게 해준다고 시사합니다. 이는 처음부터 학습해야 하는 심층 RL 에이전트와 대조되며, 이는 인간 뇌 활동과 정렬되지 않는 취약한 표현을 초래합니다.
• 한계: 저자들은 겸손하게도, 모든 인간 궤적이 고유하기 때문에 이 패러다임은 볼트 (voxel) 당 노이즈 천장 추정을 어렵게 만든다고 지적합니다. 또한 LRM 이 훈련 코퍼스로부터 일반적 사전 지식을 유지하며 이를 완전히 통제할 수 없음을 인정합니다.
• 향후 방향: 본 논문은 현재 LRM 이 인간 인지의 표현적 구조는 포착하지만, 능동적 학습 및 계획 자체와 관련된 신호는 놓치고 있다고 가정합니다. 향후 연구는 개별 인간 궤적과 모델을 정렬하기 위해 더 풍부한 인지 아키텍처와 능동적 참여 프로토콜이 필요합니다.

본 연구는 LRM 이 계산 신경과학을 위한 길을 열어주며, 단순히 작업을 해결할 뿐만 아니라 상호작용 학습 중 인간 뇌의 내부 계산 상태를 반영하는 모델을 제공한다고 결론지었습니다.