Small Foundation Models of Human Cognition and Behaviour

기술 요약: 인간 인지 및 행동의 소형 파운데이션 모델

문제 제기
인간의 행동 데이터(예: 700억 개의 파라미터를 가진 Centaur 모델)로 미세 조정된 대규모 언어 모델(LLM)은 범용적인 인지적 대리물(cognitive proxies)로 부상했습니다. 그러나 이러한 패러다임과 관련하여 두 가지 핵심적인 질문이 해결되지 않은 채 남아 있습니다:

1. 규모의 필요성: 예측 정확도를 위해 거대한 파라미터 수(예: 70B)가 반드시 필요한가, 아니면 이는 특정 학습 구성의 산물인가?
2. 학습 메커니즘: 이 모델들이 실제로 과업 구조와 자극을 처리하는가, 아니면 높은 성능을 달ert하기 위해 통계적 지름길(예: 선택 이력이나 프롬프트 템플릿에만 의존하는 것)을 악용하는가?

이전 연구들은 모델이 "지름길"에 의존할 수 있음을 시사했으나, 특정 정보 채널을 격리하기 위해 프롬프트를 체계적으로 분해한 연구는 없었습니다. 또한, 이러한 모델들이 새로운 과업 구조(분포 외, out-of-distribution)로 일반화되는지, 아니면 훈련 분포(분포 내, in-distribution)에 적합되는지에 대해서도 불분명합니다.

방법론
저자들은 네 가지 아키텍처 제품군(Qwen3, Llama-3/3.2, SmolLM2/3, OLMo2/3)에 걸쳐 1억 3,500만 개에서 140억 개의 파라미터 범위를 갖는 14개의 모델을 훈련시켰습니다. 이 모델들은 160개의 심리학 실험에서 추출된 6만 명 이상의 참가자로부터 얻은 1,070만 개의 시행 수준(trial-level) 선택 데이터인 Psych-101로 미세 조정되었습니다.

본 연구는 세 가지 요인을 독립적으로 변화시키는 엄격한 실험 설계를 채택했습니다:

1. 모델 규모: 0.1B에서 14B 파라미터에 이르는 모델 비교.
2. 어댑터 용량: 어댑터 용량이 모델 파라미터를 대체할 수 있는지 확인하기 위해 LoRA 랭크($r$)를 4에서 64까지 스윕(sweep)함.
3. 훈련 데이터: 데이터 양의 효과를 격리하기 위해 Psych-101의 중첩된 실험 계층별 하위 집합 사용.

모델이 무엇을 학습하는지 진단하기 위해, 저자들은 32개 실험에 대해 구조적 절제(structural ablation) 및 순열 테스트(permutation tests)를 수행했습니다:

• 프롬프트 분해: 프롬프트를 네 가지 정보 채널로 분해했습니다: 과업 지침($I$), 실험 자극($S$), 결과 피드백($F$), 그리고 선택 이력($C$).
• 절제 조건: 모델을 네 가지 조건에서 테스트했습니다: 원본(Original), 지침 절제(Instruction-ablated), 콘텐츠 마스킹(특정 자극/피드백을 일반적인 플레이스홀더로 교체), 그리고 이력 전용(History-only).
• 순서 순열: 시행 순서를 순열하여 두 가지 실험을 진행했습니다—독립적 시행(교환 가능한 경우)과 적응적 시행(비교환 가능한 경우)을 통해 순차적 의존성에 대한 민감도를 테스트했습니다.

주요 결과

• 분포 내 성능 (Psych-1-101):

  • 규모는 제한 요인이 아님: 훈련 분포 내에서 모델 규모는 거의 중요하지 않았습니다. 높은 어댑터 랭크(예: $r=32$)를 가진 소형 모델(0.6B ~ 1B 파라미터)은 70B 베이스라인의 성능과 일치하거나 이를 능가했습니다.
  • 어댑터 대체: 어댑터 용량이 파라미터 수를 대체합니다. 0.6B 모델이 랭크 64일 때, 14B 모델이 랭크 4일 때와 동일한 성능을 달성하며, 이는 23배나 적은 파라미터를 보유하고 있음에도 불구하고 가능했습니다.
  • 수익 체감: 훈련 데이터가 증가함에 따라 수익 체감이 나타났습니다. 데이터셋 크기를 두 배로 늘려도 얻을 수 있는 이득은 꾸준히 감소했습니다.

• 분포 외 성능 (Psych-201-RT):

  • 규모의 재등장: 보지 못한 실험에 대해 테스트할 때, 성능 격차가 크게 벌어졌습니다. 더 큰 모델은 새로운 과업 구조로 일반화하는 데 있어 명확한 우위를 보여주었습니다.
  • 전이(Transfer) vs 적합(Fit): 모델 크기는 적합 능력보다는 전이 능력에 관한 선택입니다. 분포 내 과업에 대해서는 소형 모델이 '노이즈 천장(noise ceiling, 최대로 달성 가능한 예측)'에 도달하지만, 이 천장은 더 큰 용량 없이는 분포 외 과업으로 확장되지 않습니다.

• 진단 결과 (프롬프트 분해):

  • 콘텐츠의 결정성: 자극과 피드백의 콘텐츠를 마스킹하면 학습된 정보의 75.7%가 파괴되어 모델의 성능이 우연 수준 이하로 떨어졌습니다. 이는 "이력 전용" 지름길 가설을 반박합니다.
  • 템플릿 vs 콘텐츠: 지침을 제거하는 것은 비용이 적게 들었으나(12.5% 손실), 템플릿의 콘텐츠를 제거하는 것은 거의 모든 것을 앗아갔습니다. 모델은 단순히 구조적 형식이 아니라 참가자에게 제공된 구체적인 정보에 의존합니다.
  • 과업 적응적 민감도: 모델은 독립적 시행(교환 가능) 과업에서는 순서 불변성을 보였으나, 적응적 과업에서는 시행 순서에 민감하게 반응했습니다. 이는 모델이 균일한 순차적 휴리스틱을 적용하는 것이 아니라, 특정 과업의 계산적 구조를 학습함을 나타냅니다.

의의 및 주장
본 논문은 인지적으로 미세 조정된 이러한 소형 모델들의 겸손하지만 구체적인 역할을 다음과 같이 제시합니다:

1. 노이즈 천장 추정치: 이 모델들은 심리학 실험의 경험적 경계(노이즈 천장) 역할을 합니다. 이들은 주어진 패러다임에서 행동이 얼마나 예측 가능한지를 추정함으로써, 현재의 해석 가능한 이론들이 놓치고 있는 "간극"을 식별합니다. 이는 "과학적 후회 최소화(scientific regret minimization)" 개념과 일맥상통합니다.
2. 인지 이론이 아님: 저자들은 이 모델들이 ACT-R이나 Soar와 같은 전통적인 인지 이론이 아님을 명시적으로 밝힙니다. 이들은 어떠한 아키텍처도 상정하지 않으며, 메커니즘을 약속하지도 않고, 선택이 어떻게 생성되는지를 설명하지 않습니다.
3. 도구로서의 타당성: 이 모델들은 실제 참가자가 사용한 정보(자극 및 피드백)에 기반하여 예측을 수행하므로 유효한 도구입니다. 이는 절제 연구를 통해 입증되었습니다. 그러나 이들의 효용은 훈련된 패러다임의 범위 내로 제한되며, Psych-101의 범위를 넘어 상당한 규모 확장 없이는 신뢰할 만하게 일반화되지 않습니다.

결론적으로, 본 연구는 700억 개의 파라미터가 알려진 패러다임 내에서 인간 행동 데이터를 적합시키는 데 필수적인 것은 아니지만, 새로운 구조로의 전이를 위해서는 더 큰 규모가 필요함을 보여줍니다. 결과적으로 도출된 소형 모델들은 그 범위가 메커니즘적 설명이라기보다 예측 가능성의 추정치라는 점을 이해한다면, 프로세스 수준의 인지 이론을 평가하고 개선하기 위한 데이터 기반의 참조점으로서 가치가 있습니다.