기술 요약: 언어 모델을 통한 인간 기억 시뮬레이션

문제 정의

대규모 언어 모델 (LLM) 은 많은 벤치마크에서 인간 수준 이상의 성능을 달성했지만, 그 기억 능력은 인간 인지 현상과 크게 괴리되어 있습니다. 최첨단 모델들은 긴 문맥에 대한 거의 완벽한逐字 (verbatim) 회상 능력을 지닌 반면, 인간 기억은 체계적인 한계, 망각, 그리고 재구성 오류를 특징으로 합니다. 이러한 불일치는 인간과 협력하는 AI 어시스턴트 훈련, 교육 도구를 위한 학생 시뮬레이션, 또는 인구 역학 모델링과 같이 현실적인 인간 행동이 필요한 응용 분야에서 표준 LLM 을 효과적인 "사용자 시뮬레이터"로 활용하는 것을 어렵게 만듭니다. 본 연구가 다루는 핵심 문제는 LLM 이 작업 기억 용량과 망각 패턴에서 인간과 유사한 기억 한계를 나타내도록 제약함으로써 시뮬레이터로서의 유용성을 높이는 방법입니다.

방법론

인간 기억 시뮬레이션 벤치마크

저자들은 인지 과학 및 심리학 문헌에 기반한 10 가지 기억 과제로 구성된 벤치마크를 구축했습니다. 이러한 과제는 다양한 기억 차원을 평가합니다:

• 작업 기억 (Working Memory): 숫자 기억 (Digit span), 역순 숫자 기억 (Reverse digit span), N-back, 단어 인식, 변수 매핑.
• 일화/장기 기억 (Episodic/Long-term Memory): 사실 기반 질문 응답 (Factual QA), 내러티브 기반 질문 응답 (Narrative QA), 내러티브 자유 회상 (Narrative free recall).
• 관계/공간 기억 (Relational/Spatial Memory): 지도 과제 (Map task) 및 공예 과제 (Craft task).

인간 데이터는 Prolific 을 통해 $N=50$명의 참가자로부터 수집되었으며, 이들은 표준 심리학 실험과 유사한 시간 제약 하에서 이러한 과제를 수행했습니다.

평가 지표

LLM 이 인간 기억을 얼마나 밀접하게 시뮬레이션하는지 정량화하기 위해, 저자들은 각 과제에 대한 인간 점수 분포와 모델 점수 분포 간의 **워asserstein 거리 (Earth Mover's Distance)**를 사용합니다. 이 지표는 정규화되어 "인간 유사성 (Humanlikeness)" 점수 ($1 - W_1$) 로 변환되며, 높은 값일수록 인간 성능 분포와의 정렬이 더 잘되었음을 의미합니다.

실험 조건

본 연구는 4 가지 서로 다른 조건 하에서 9 개의 LLM(GPT-5.4, Claude Opus 4.6, Llama 3 변형, Qwen3 변형 포함) 을 평가했습니다:

1. TASKPR (작업 프롬프트): 인간 시뮬레이션에 대한 참조 없이 과제를 설명하는 기본 프롬프트.
2. HUMPR (인간 프롬프트): 모델에게 인간 참가자를 시뮬레이션하도록 명시적으로 지시하며, 구체적인 시간 제약을 포함합니다.
3. MEMPR (기억 프롬프트): HUMPR 과 유사하지만, 인간은 제한된 기억력을 가지고 실수를 저지른다는 점을 모델에게 명시적으로 상기시킵니다.
4. COMPACTOR: 인간과 유사한 작업 기억 병목 현상을 구현하는 에이전트 기반 접근법입니다. 이 에이전트는 $K=4$개의 항목으로 제한된 하드 용량을 가진 키 - 값 메모리 저장소를 사용합니다 (인간 단기 기억의 "마법적인 숫자 4"를 반영). 모델은 "인코딩" 단계에서 문맥을 이 4 개의 청크로 요약해야 하며, "회상" 단계에서는 오직 이러한 저장된 청크만을 사용하여 질문에 답변해야 합니다.

제거 분석 및 분석

저자들은 또한 다음을 조사했습니다:

• 문맥 내 학습 (ICL): 인간 성능의 퓨샷 (few-shot) 예시 제공 (도메인 내 vs 도메인 외).
• 오류 패턴: 모델의 오류 (예: 잘라내기 vs 대체) 가 인간 오류 패턴과 일치하는지 분석.
• 하류 응용: 학습 자료의 난이도, 중복성, 방해 요소를 달리하는 문서 변형 중 인간 학습자에게 가장 기억에 남을 것을 순위 매겨야 하는 교육 환경에서의 개념 증명 실험.

주요 결과

1. 기본 모델은 인간과 괴리됨

TASKPR 조건에서 평가된 모든 모델은 10 가지 과제 전반에 걸쳐 거의 천장 (near-ceiling) 성능을 보였으며, 이는 인간 평균을 훨씬 능가했습니다 (예: 인간 평균 약 7 개 대비 20 개 이상의 숫자 기억). 이는 기억력이 우수하기 때문에 출고 상태 (out-of-the-box) 의 LLM 은 적합한 인간 시뮬레이터가 아님을 확인시켜 줍니다.

2. 프롬프트만으로는 부족함

모델에게 인간을 시뮬레이션하도록 명시적으로 프롬프트 (HUMPR) 하거나 기억 한계를 상기시키는 것 (MEMPR) 은 제한적이고 일관성 없는 개선만 가져왔습니다.

• 대부분의 과제에서 인간 유사성 변화 ($\Delta$) 는 거의 0 이거나 음수였습니다.
• MEMPR은 내러티브 자유 회상과 같은 특정 과제에서 일부 개선을 보였으나, 전체 세트를 통해 일관되게 인간과 유사한 망각을 유도하지는 못했습니다.
• 이는 단순한 지시만으로는 모델의 완벽한 회상 능력을 극복하기에 부족함을 시사합니다.

3. 명시적인 기억 제약 (COMPACTOR) 이 정렬을 개선함

4 개의 기억 청크로 구조적 병목 현상을 강제하는 COMPACTOR 에이전트는 프롬프트만 사용하는 것보다 훨씬 더 인간과 유사한 점수 분포를 생성했습니다.

• 작업 기억 과제: COMPACTOR 은 숫자 기억, 역순 숫자 기억, N-back 과 같은 과제에서 가장 큰 개선을 보였습니다. 예를 들어, 숫자 기억 과제에서 COMPACTOR 은 특정 모델의 인간 유사성을 최대 +0.61 까지 향상시켰습니다.
• 장기 기억: 사실 기반 질문 응답과 같은 과제에서는 개선이 더 다양했으나, 여전히 기준선 대비 전반적으로 긍정적이었습니다.
• 제거 분석: COMPACTOR 은 단일 자유 형식 산문 요약을 생성하는 단순한 "요약기" 에이전트보다 우수한 성능을 보였으며, 이는 메모리 모듈의 구조화되고 용량이 제한된 특성이 단순 요약 행위 그 자체보다 중요함을 나타냅니다.

4. 오류 패턴은 여전히 괴리됨

점수 분포가 개선되었음에도 불구하고, 인간과 모델 간의 오류 성격은 달랐습니다.

• 인간은 무작위 오류를 범하거나 특정 항목을 잊는 경향이 있습니다.
• MEMPR 모델은 종종 중간에 하나 또는 두 개의 잘못된 숫자가 포함된 시퀀스를 재현했습니다.
• COMPACTOR 모델은 시퀀스의 잘라진 버전을 자주 예측했습니다.
• 조건부 오류율 ($p(\text{err} | \text{prev wrong})$) 은 유의미하게 달랐으며, 이는 COMPACTOR 이 용량 한계는 모방하지만 인간 망각의 메커니즘을 아직 완전히 복제하지는 못함을 시사합니다.

5. 하류 응용: 교육적 재순위화

개념 증명 교육 과제에서 COMPACTOR 을 적용한 모델은 기준선 모델에 비해 인간이 가장 잘 기억할 문서 변형을 더 잘 예측했습니다.

• 기준선 모델은 문서의 난이도와 관계없이 학생들이 모든 질문에 정확히 답할 것이라고 예측했습니다.
• COMPACTOR 모델은 중복성이 높은 문서가 더 기억하기 쉽고 방해 요인이 있는 문서는 더 어렵다는 점을 더 효과적으로 식별했습니다.
• 그러나 최상의 성능을 보인 모델조차도 쌍별 재순위화에서 70% 미만의 정확도를 달성하여, 상당한 개선의 여지가 있음을 나타냈습니다.

중요성 및 주장

본 논문은 다음과 같이 주장합니다:

1. 현재 LLM 은 기억 분야에서 "초인적"입니다: 그들은 잊지 않기 때문에 인간 사용자를 효과적으로 시뮬레이션하지 못합니다.
2. 프롬프트는 부족합니다: 단순히 모델에게 "인간이 되라"고 요청하는 것만으로는 인간과 유사한 인지 제약을 유도하지 못합니다.
3. 구조적 제약이 필요합니다: 4 청크 COMPACTOR 과 같은 명시적이고 용량이 제한된 메모리 모듈을 구현하는 것이 모델 행동을 인간 기억 분포에 정렬시키는 더 효과적인 전략입니다.
4. 실용적 유용성: 인간과 유사한 기억 제약을 가진 시뮬레이터는 인간 학습자의 인지 부하와 유지 한계를 현실적으로 모델링할 수 있으므로 교육 자료 최적화와 같은 하류 작업에 더 유용합니다.

저자들은 그들의 방법 (COMPACTOR) 이 중요한 진전을 나타내지만 단지 "첫걸음"에 불과하다고 결론지었습니다. 모델의 상세한 오류 패턴은 여전히 인간과 다르며, 진정한 현실적인 사용자 시뮬레이터를 구축하기 위해 압축 메커니즘을 정교화하고 추론과 같은 다른 인지 영역을 탐구하는 후속 연구가 필요합니다. 본 논문은 해당 분야의 추가 연구를 촉진하기 위해 벤치마크 데이터와 코드를 공개합니다.