Can Large Language Models Simulate Human Cognition Beyond Behavioral Imitation?

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 질문: 현재 대형 언어 모델 (LLM) 은 단순히 인간의 표면적인 행동 (언어 스타일, 특정 방법론) 을 모방하는 수준에 그치는가, 아니면 인간과 유사한 인지 과정 (Cognitive Process) 자체를 내부화하고 시뮬레이션할 수 있는가?
• 기존 연구의 한계:
  • 합성 데이터의 문제: 기존 역할극 (Role-playing) 데이터셋은 LLM 이 생성한 추론 흔적을 사용하므로, 진정한 인간 인지의 외화물 (Externalized artifact) 이라기보다 ontologically(존재론적으로) 구별되는 합성물임.
  • 집단 수준의 집계: 기존 인간 주석 데이터는 다양한 개인의 추론 흔적을 혼합하여 인구 통계학적 평균을 내므로, 개별적인 인지 패턴의 일관성이 파괴됨.
  • 데이터 수집의 어려움: 인간의 인지는 암묵적이며, 자연스러운 환경에서 개인의 내부 사고 과정을 단계별로 기록한 대규모 데이터는 부재함.

2. 제안된 방법론: 인지 벤치마크 프레임워크 (Methodology)

저자들은 217 명의 AI 연구자들의 장기적인 연구 궤적 (Longitudinal Research Trajectories) 을 기반으로 한 새로운 벤치마크를 구축했습니다.

A. 데이터 구축 (Dataset Construction)

• 데이터 소스: 연구자들의 과학적 논문 (특히 서론 부분) 을 개인의 인지 과정이 외부화된 자료로 간주.
• 구축 파이프라인:
  1. 전문가 주석 (Expert Annotation): 10 명의 AI 박사 과정 학생이 논문의 '배경 (Background)', '동기 (Motivation)', '접근법 (Approach)', '해결책 (Solution)'이라는 4 가지 인지 요소를 추출.
  2. 자동 주석 (Automatic Annotation): OCR 및 LLM 을 활용한 확장 가능한 데이터 수집.
• 세분화 프로토콜 (Segmentation Protocol):
  • 각 연구자의 논문을 주제별 클러스터로 분류.
  • 교차 도메인 일반화 설정: 과거의 연구 주제 (Train Set) 를 기반으로 학습하고, 아직 보지 못한 최신 연구 주제 (Test Set) 에서의 문제 해결 능력을 평가. 이는 단순한 스타일 모방을 방지하고 진정한 인지 패턴의 전이 (Transfer) 를 테스트함.

B. 평가 프레임워크 (Evaluation Framework)

단순한 텍스트 유사도가 아닌 3 단계 인지 일치도 (Cognitive Alignment) 를 평가:

1. 어휘적 커버리지 (Lexical Coverage): ROUGE, BertScore 등을 통한 키워드 및 구의 일치도.
2. 의미적 유사성 (Semantic Similarity): LLM-as-a-Judge 를 통한 생성된 추론과 실제 연구자의 의도 일치도.
3. 인지 일관성 (Cognitive Consistency): 인간 인지의 장기적 안정성을 기반으로 한 5 가지 차원 평가:
   • 기초 전제 (Foundational Premise): 문제 정의 및 관점의 일관성.
   • 전략적 선호 (Strategic Preference): 기술적 트레이드오프 시의 의사결정 경향.
   • 논리 매핑 (Logic Mapping): 추론의 논리적 구조 (예: 상징적 형식화 선호 등).
   • 키워드 스타일 (Keyword Style): 고유한 용어 사용 습관.
   • 금기 회피 (Taboo Avoidance): 연구자가 역사적으로 비판해 온 방법론을 피하는지 여부.

3. 주요 실험 결과 (Key Results)

최신 LLM (GPT-5.1, Gemini-2.5, Qwen-3, Llama-3 등) 과 다양한 증강 기법 (프롬프트 엔지니어링, 학습 기반 방법) 을 평가했습니다.

A. 행동 시뮬레이션 (Behavioral Simulation)

• 결과: LLM 은 행동 시뮬레이션에는 성공함.
• 연구자의 과거 논문 (SELF) 을 참조하면 무작위 연구자 (OTHER) 보다 성능이 유의미하게 향상됨.
• 이는 LLM 이 저자의 고유한 행동적 단서 (스타일, 특정 방법론) 에 민감하게 반응하고 이를 모방할 수 있음을 의미.

B. 인지 내부화 (Cognitive Internalization)

• 결과: LLM 은 인지 내부화에는 실패함.
• 도메인 간 전이 실패: 같은 연구자의 최신 도메인 데이터 (SELFAKIN, 인-도메인) 를 제공했을 때보다, 과거의 다른 도메인 데이터 (SELF, 아웃-도메인) 를 제공할 때 성능이 크게 떨어짐. 이는 LLM 이 추상적인 인지 패턴을 학습하기보다 구체적인 도메인 지식이나 스타일을 암기하는 경향이 있음을 시사.
• 오라클 상한선 (LEAKY) 과의 격차: 연구자의 실제 인지 궤적 (Ground Truth) 을 완벽하게 제공받았을 때 (LEAKY) 와 비교하면, 현재 LLM 의 성능은 여전히 인간 수준의 추론과 거리가 멈.
• 휴먼 평가: 생성된 출력의 95% 이상이 '행동 수준의 모방'으로 분류되었으며, 진정한 인지 패턴 전이는 극히 드묾.

C. 증강 기법의 한계

• 프롬프트 기법 (Personality/Cognitive Guide): 인지 이론 기반 프롬프트는 일부 향상을 보이지만, 모델의 기본 인지 능력에 의해 제한됨.
• 학습 기반 방법 (Supervised Learning): 개별 연구자별 학습 (TRAININDIVIDUAL) 이나 통합 모델 학습 (TRAINUNIFIED) 은 어휘적 지표는 향상시키지만, 인지 차원에서는 오히려 성능이 저하되거나 개선되지 않음. 이는 대규모 학습이 개별적인 인지 서명을 '평균화 (Averaging-out)'하여 소거하기 때문임.

4. 주요 기여 (Contributions)

1. 대규모 인지 벤치마크: 실제 연구자들의 장기적 연구 데이터를 기반으로 한, 도메인 간 전이를 요구하는 최초의 인간 인지 시뮬레이션 벤치마크 제안.
2. 다차원 평가 체계: 단순 텍스트 매칭을 넘어, 문제 정의, 전략, 논리, 금기 회피 등 5 가지 인지 차원을 평가하는 새로운 메트릭 개발.
3. 실증적 발견: 현재 LLM 은 인간 행동을 모방할 수는 있으나, 인간과 유사한 인지 구조를 내부화하거나 추상화하는 능력은 여전히 부재함을 체계적으로 증명.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 한계: 현재 LLM 의 발전은 대규모 데이터에 대한 수동적 노출 (Passive Exposure) 과 통계적 패턴 매칭에 의존하고 있음. 이는 행동적 모방에는 효과적이지만, 인지 내부화 (Cognitive Internalization) 에는 근본적인 한계가 있음.
• 미래 방향: 진정한 인간 인지 모델링을 위해서는 단순한 데이터 스케일링을 넘어, 인지 메타러닝 (Cognitive Meta-learning), 추상화 지향적 자기지도 학습, 또는 인간 추론 과정과 정렬된 강화학습 프레임워크와 같은 새로운 학습 목표와 아키텍처가 필요함.
• 결론: "LLM 은 인간을 흉내 낼 수는 있지만, 인간처럼 생각하지는 않는다."는 것이 이 연구의 핵심 결론이며, 향후 AI 연구가 단순한 성능 향상이 아닌 인지 구조의 이해와 모델링으로 방향을 전환해야 함을 시사함.