기술 요약: 인간의 의사결정을 설명하기 위한 대규모 언어 모델의 강화 학습 훈련

문제 정의

인지 모델링의 핵심 과제는 인간의 행동을 높은 정확도로 예측할 뿐만 아니라, 그 기저에 깔린 인지 메커니즘에 대한 해석 가능한 통찰력을 제공하는 시스템을 개발하는 것이다. 대규모 행동 데이터로 학습된 신경망 모델은 흔 প 높은 예측 성능을 달성하지만, 대개 "블랙박스"로 기능하여 포착된 인지 과정에 대한 이론적 이해를 제공하는 데 한계가 있다. 최근의 연구(예: Centaur 모델)는 대규모 언어 모델(LLM)이 인간의 행동을 효과적으로 예측하도록 미세 조정될 수 있음을 보여주었으나, 이러한 모델들은 왜 그러한 예측이 이루어지는지에 대한 명시적인 자연어 설명을 생성하는 능력은 부족한 경우가 많다. 본 논문은 예측 정확도와 해석 가능성 사이의 딜레마를 해결하기 위해, LLM이 예측과 설명을 모두 수행할 수 있는 이중 목적의 인지 모델 역할을 할 수 있는지 탐구함으로써 이 문제를 다룬다.

방법론

저자들은 인간의 위험한 선택(risky choices)을 설명하는 명시적인 추론 흔적(Chain-of-Thought, 또는 CoT)을 생성하도록 LLM을 훈련하는 프레임워크를 제안한다. 본 연구는 choices13k 데이터셋(Peterson et al., 2021)을 사용하여 인간의 위험한 선택(안전한 옵션과 위험한 옵션 사이의 결정) 영역에 초점을 맞춘다.

실험 설정

백본 모델로는 Qwen-2.5-7B-Instruct를 사용한다. 저자들은 로우-랭크 적응(Low-Rank Adaptation, LoRA) 모듈에 적용되는 세 가지 뚜렷한 사후 훈련 전략을 비교한다:

1. 지도 미세 조정(Supervised Fine-Tuning, SFT): 인간의 선택 데이터를 JSON 형식으로 구성하여 수행하는 표준 자기회귀 훈련이다.
2. Centaur 스타일 SFT: 인간의 선택 비율에 해당하는 토큰(특수 브래킷 내에 포함됨)에 대해서만 손실(loss)을 계산하고, 훈련 중 추론 토큰은 마스킹 처리하는 변형 방식이다.
3. 강화 학습(Reinforcement Learning, RL): 저자들은 결과 기반 보상을 사용하는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택한다.

RL 접근 방식

RL 설정에서 모델은 주어진 문제에 대해 여러 후보 완성본(CoT 추론 및 최종 JSON 예측 포함)을 생성한다. 보상 함수는 엄격하게 결과 기반이며 인간 행동의 정답(ground truth)과 연결된다:

• 정확도 보상(Correctness Reward): $1 - |o_B - p_B|$로 정의된다. 여기서 $o_B$는 모델이 예측한 옵션 B의 확률이고, $p_B$는 옵션 B를 선택하는 인간의 경험적 비율이다.
• 형식 보상(Format Reward): 예측이 추론 뒤에 따르는 구조적으로 유효한 JSON 출력을 생성할 경우 부여되는 보너스(최대 0.5)이다.
• 일관성 제약(Coherence Constraints): 모델이 예측한 확률의 합이 1이 아니거나 [0, 1] 범위를 벗어날 경우 페널티를 부과한다.

RL 훈련은 프롬프트당 12개의 후보 그룹 크기를 사용하며, 질문 수준의 난이도로 인한 편향을 방지하기 위해 표준 편차에 의한 보상 정규화를 생략하는 "GRPO Done Right" 알고리즘을 사용한다.

대조 실험

추론 흔적의 적응성을 검증하기 위해 저자들은 다음 실험을 수행했다:

• 데이터 대조: 인간 데이터 대신 기대 가치 극대화 모델에 의해 생성된 합성 데이터를 사용하여 CoT가 새로운 데이터 구조에 적응하는지 확인한다.
• 모델 대조: 모델 용량에 대한 의존성을 테스트하기 위해 더 작고 약한 백본 모델(Gemma-2-2B-Instruct)로 실험을 재현한다.

주요 결과

예측 성능

• 유사한 정확도: 최종 체크포인트에서 RL로 훈련된 모델은 표준 SFT 및 Centaur 스타일 SFT와 대등한 예측 정확도(테스트 세트에서의 평균 제곱 오차, $M \approx 0.0148$ for RL vs. $0.0144$ for SFT)를 달eric했다. 통계적 검정 결과, 방법론 간에 유의미한 차이는 발견되지 않았다.
• 학습 효율성: RL은 SFT에 비해 처리된 훈련 예시 수 대비 예측 오차를 더 빠르게 감소시켰으나, 단계마다 여러 후보를 생성해야 하므로 더 높은 계산 비용이 발생했다.
• 모델 용량 의존성: 약한 모델인 Gemma-2-2B에 적용했을 때, RL은 SFT 방식보다 성능이 현저히 떨어졌다. 약한 모델은 핵심적인 인지 메커니즘인 "기대 가치 계산"을 생성하는 데 실패하여 낮은 예측 성능을 보였다.

추론의 질 (CoT)

• 추론의 발현: 추론을 명시적으로 훈련받지 않은 SFT 및 Centaur 모델과 달리, RL 모델은 최종 예측 이전에 상세한 CoT 추론을 일관되게 생성했다.
• 인지 메커니즘: RL이 생성한 CoT 분석 결과, 특히 기대 가치(Expected Value) 계산과 **위험 회피(Risk Aversion)**라는 특정 인지 메커니즘이 발현되었으며, 이는 추론 토큰의 약 29~36%를 차지했다. 식별된 다른 메커니즘으로는 손실 회피(Loss Aversion), 확실성 효과(Certainty Effect), 확률 가중치(Probability Weighting) 등이 있었다.
• 적응성: 데이터 대조 실험에서, 기대 가치 데이터로 훈련되었을 때 RL 모델은 추론의 초점을 기대 가치 계산에 집중하도록 변화시켰으며, 이는 CoT가 정적인 상태로 머물지 않고 훈련 데이터의 구조에 적응함을 보여준다.
• 인과적 영향: "CoT 교체(CoT swapping)" 실험을 통해 RL의 CoT를 사용하여 백본 모델을 가이드하면 예측 오차가 크게 감소하는 반면, 백본의 원래 Co트를 RL 모델에 사용하면 오차가 증가함을 입증했다. 이는 RL이 생성한 추론이 개선된 예측과 인과적으로 연결되어 있음을 시사한다.
• 인간 평가: 소규모 인간 평가에서 전문가들은 RL 모델의 CoT가 백본 모델의 CoT보다 더 합리적이라고 61.5%의 사례에서 평가했다.

의의 및 주장

본 논문은 **결과 기반 보상을 사용하는 강화 학습(RLVR)**이 LLM으로부터 인간의 의사결정에 대한 언어적 이론 역할을 하는 고품질의 해석 가능한 추론 흔적을 이끌어낼 수 있음을 입증한다고 주장한다.

• 이중 목적 모델링: 본 연구는 LLM이 인간의 행동을 예측하는 동시에, 그러한 행동을 구동하는 인지 메커니즘에 대한 자연어 설명을 제공하는 인지 모델로서 기능할 수 있음을 확립한다.
• 합리성 vs. 휴리스틱: 휴리스틱과 편향을 강조하는 일부 문헌과 달리, 이러한 모델의 관점에서 볼 때 합리적 특성화(특히 기대 가치 계산 및 위험 회피)가 인간의 위험한 선택을 설명하는 지배적인 힘이 될 수 있음을 시사한다.
• 도출 가설(Elicitation Hypothesis): 결과는 RL이 반드시 새로운 능력을 가르치는 것이 아니라, 이미 사전 학습된 LLM 내에 존재하는 잠재적 이론 지식을 표면화하고 증폭시킨다는 "도출 가설"을 뒷받침한다. 결과적으로, 이 접근 방식의 성공은 백본 모델의 용량에 크게 의존한다. 약한 모델은 필요한 추론 메커니즘을 도출하는 데 실패한다.
• 확장성: 이 방법은 수동적인 인지 모델링이나 전문가 주도의 모델 발견에 대한 확장 가능한 대안을 제공하며, 명시적인 기호 프로그래밍이나 모든 결정에 대한 인간의 개입 없이도 대규모 행동 데이터로부터 해석 가능한 이론을 자동으로 생성한다.

저자들은 RL 사후 훈련이 SFT보다 계산 비용은 더 많이 들지만, 정량적으로 정확하면서도 정성적으로 해석 가능한 인지 모델을 개발할 수 있는 독특한 경로를 제공한다고 결론짓는다.