Meta-learning ecological priors from large language models explains human learning and decision making

문제 제기
인간의 인지는 그것이 작동하는 환경에 의해 깊은 영향을 받지만, 학습과 의사결정이 실제 세계 과업의 통계적 구조에 대한 원칙적인 적응으로 설명될 수 있는지는 여전히 미해결 과제로 남아 있다. 두 가지 지배적인 프레임워크가 이를 다루고자 시도한다. 하나는 *합리적 분석(rational analysis)*으로, 이는 정형화된 환경 모델로부터 최적의 전략을 도출하지만 복잡하고 정의되지 않은 환경에서는 어려움을 겪는다. 다른 하나는 *생태적 합리성(ecological rationality)*으로, 이는 특정 과업 구조에 맞춰 조정된 수작업 기반의 휴리스틱(heuristics)에 의존하지만, 새로운 영역에서 이러한 휴리스틱을 도출하기 위한 원칙적인 방법을 결여하고 있다. 핵심 과제는 연구자가 환경 분포를 수동으로 지정하거나 특정 휴리스틱을 설계할 필요 없이, 합리적 분석의 규범적 토대와 실제 세계 과업의 생태적 근거를 통합하는 계산 프레임워크를 개발하는 것이다.

방법론: 생태적 합리적 분석 및 ERMI
저자들은 대규모 언어 모델(LLM)과 메타 학습을 활용하여 인간 인지의 계산 모델을 도출하는 프레임워크인 **생태적 합리적 분석(Ecologically Rational Analysis)**을 소개한다. 이 접근 방식은 세 가지 주요 단계로 구성된다:

1. LLM을 통한 확장 가능한 과업 생성: 저자들은 LLM(구체적으로 CLAUDE-V2)을 생태적으로 유효한 인지 과업을 대규모로 생성하는 생성 엔진으로 사용한다. 이는 두 단계 과정이다:

   • 특징 합성(Feature Synthesis): LLM은 그럴듯한 과업 특징과 타겟을 생성한다 (예: "나트륨, 지방, 단백질"을 "건강함/건강하지 않음" 범주로 매핑).
   • 데이터 생성: LLM은 이러한 특징들과 일치하는 대응하는 입력-타겟 쌍을 생성하여, 자연적인 문제 공간의 통계적 규칙성을 근사하는 데이터셋을 만든다.
   • 검증: 생성된 과업은 실세계 데이터셋(예: OpenML-CC18, 실제 세계 회귀 과업)과 통계적으로 비교되어 생태적 타당성을 검증받는다. 지표에는 분류 정확도, 특징 상관관계, 희소성(Gini 계수), 선형성이 포함된다.

2. 인컨텍스트 추론을 위한 메타 학습: 저자들은 이러한 LLM 생성 과업을 사용하여 신경망(구체적으로 트랜스포머 기반 아키텍처)을 메타 학습시킨다. 목표는 생태적 합리적 메타 학습 추론(ERMI) 모델을 도출하는 것이다. 이 모델들은 *인컨텍스트 학습(in-context learning)*을 수행하도록 학습된다: 즉, 파라미터를 업데이트하지 않고 일련의 입출력 예시를 바탕으로 내부 활성화 값을 수정함으로써 새로운 문제의 구조에 적응한다. 이 과정을 통해 모델은 훈련 분포의 "생태적 사전 확률(ecological priors)"(통계적 규칙성)을 내재화하며, 해당 통계에 조건화된 베이즈 최적 추론을 근사한다.

3. 인간 행동에 대한 평가: ERMI의 성능은 함수 학습(Function Learning), 범주 학습(Category Learning), **의사결정(Decision Making)**의 세 가지 인지 영역에 걸친 15가지 실험을 통해 평가된다. 모델은 인간의 특징적인 행동 양식(예: 학습 곡선, 일반화 패턴, 전략 변화)을 재현하는 능력을 테스트받으며, 기존 인지 모델(예: 범주화의 합리적 모델, 일반화된 맥락 모델, 규칙 기반 모델) 및 수작업으로 설계된 사전 확률을 가진 메타 학습 추론 모델(MI)과 비교된다.

주요 기여

• 새로운 프레임워크: 합리적 분석과 생태적 합리성을 결합하여, 자연 환경의 통계적 구조로부터 적응적 전략을 자동화된 방식으로 도출하는 "생태적 합리적 분석"을 제안한다.
• ERMI 모델: LLM 생성 과업을 통한 메타 학습을 통해 생태적 사전 확률을 내재화하여, 추론 과정 중 수작업 기반의 휴리스틱이나 명시적인 파라미터 업데이트 없이도 작동하는 새로운 클래스의 학습 알고리즘(ERMI)을 개발했다.
• 경험적 검증: ERMI가 다양한 영역에서 인간의 행동을 포착하며, 시행별(trial-by-trial) 예측에서 여러 기존 인지 모델보다 뛰어난 성능을 보임을 입증했다.
• 방법론적 혁신: LLM을 직접적인 행동 모델로 사용하는 것이 아니라, 적응적 계산 모델을 훈련하는 데 필요한 생태적 사전 확률을 생성하는 도구로 활용했다.

결과

• 생태적 타당성: LLM 생성 과업은 함수 유형(선형, 지수형 등), 특징 상관관계, 희소성을 포함한 실세계 데이터의 통계적 특성을 성공적으로 반영했다.
• 함수 학습: ERMI는 다섯 가지 핵심적인 인간의 발견 사항을 재현했다: (i) 음의 함수보다 양의 선형 함수를 더 잘 학습함 (ii) 비선형 함수보다 선형 함수를 더 빠르게 학습함 (iii) 비단조 함수보다 단조 함수를 더 잘 학습함 (iv) 순환적 함수보다 비순환적 함수를 더 쉽게 학습함 (v) 외삽(extrapolation)보다 내삽(interpolation)에서 더 우수한 성능을 보임. 또한 ERMI는 외삽 시 값을 과소평가하는 인간의 편향(zero offset을 향한 편향)을 나타냈으며, 수작업으로 설계된 사전 확률을 가진 메타 학습 추론 모델보다 인간 데이터에 더 잘 부합했다.
• 범주 학습: ERMI는 Shepard의 6가지 범주 유형(TYPE 1–6)의 난이도 순서를 포착했으며, 인간의 선택을 설명하는 데 있어 경쟁 모델들보다 뛰어난 성능을 보였다(가장 높은 사후 모델 빈도). 또한 시간 경과에 따른 인간의 전략 변화(원형 기반 학습에서 예시 기반 학습으로의 전환)를 성공적으로 모델링했으며, 보지 못한 입력에 대한 인간의 일반화 패턴을 재현했다.
• 의사결정: 쌍 비교 과업에서 ERMI는 환경의 통계적 구조(순위, 방향 또는 미지 조건)에 따라 의사결정 전략을 적응시켰으며, 각각 one-reason, equal-weighting, 또는 weighted-additive 전략을 구현하여 인간의 행동과 일치하는 모습을 보였다. ERM은 베이스라인 모델들(Single-cue, Equal-weighting, Neural Networks, MI)보다 더 빈번하게 인간의 응답을 설명했다.

의의 및 주장
본 논문은 생태적으로 유효한 환경의 통계적 구조에 대한 적응적 정렬이 광범위한 인간의 학습 및 의사결정 행동을 설명하기에 충분하다고 주장한다.

저자들은 인간의 인지가 연구자가 설계한 복잡하고 도메인 특화된 휴리스틱을 필요로 하는 것이 아니라, 오히려 세상의 통계적 규칙성에 대한 조율(attunement)로부터 발현되는 것일 수 있다고 주장한다. LLM을 사용하여 이러한 규칙성을 훈련 데이터로 추출함으로써, ERMI는 범용 시스템이 어떻게 사람들이 학습하고, 범주화하고, 결정하는지를 모방할 수 있는지 보여준다. 이 연구는 인간 인지의 상당 부분이 자연스러운 과업 구조라는 제약 조건 하에서의 "이상적인 통계적 추론"을 반영하고 있음을 시사한다.

저자들은 자신들의 주장의 범위를 신중하게 다루며, ERMI가 사전 확률을 설계하는 부담을 줄여주기는 하지만 특징 선택에 있어 과학적 판단의 필요성을 제거하는 것은 아니라고 언급했다. 또한, 인간이 이상적 추론에서 벗어나는 경우를 완전히 설명하기 위해 추가적인 요소(예: 작업 기억 제한과 같은 구체적인 인지적 제약 또는 참여자 개인별 요인)가 필요한지 여부를 결정하는 후속 연구가 필요함을 인정했다. 본 논문은 이 프레임워크가 인지의 생태적 뿌리를 이해하기 위한 확장 가능한 경로를 제공하며, 향가적으로 체화된(embodied) 고차원 환경으로까지 확장될 수 있음을 상정하고 있다.