To model human linguistic prediction, make LLMs less superhuman

기술적 요약: "인간 언어 예측을 모델링하려면 LLM 을 덜 초인적으로 만드십시오"

문제 제기
대형 언어 모델 (LLM) 은 역사적으로 인간의 언어 예측을 계산 모델로 활용되어 왔으며, 이는 upcoming 단어를 예측하는 능력이 인간의 인지 과정을 반영한다는 전제하에 작동합니다. 그러나 역설이 발생했습니다: 주류 LLM 의 다음 단어 예측 정확도가 향상됨에 따라, 인간의 읽기 행동 (특히 읽기 시간과 안구 추적 데이터) 을 설명하는 능력은 오히려 감소했습니다. 해당 논문은 이러한 분리가 현재 LLM 이 인간 독자의 기억 용량을 훨씬 초과하는 기억 용량에 의해 주도되는"초인적"예측 능력을 보유하고 있기 때문에 발생한다고 주장합니다. 구체적으로 LLM 은 방대한 사실적 지식과 학습 예시를 유지하는 뛰어난 장기 기억과, 시간적 감쇠 없이 먼 문맥의 단어를 정확하게 회상하는 거의 완벽한 단기 기억을 보여주어, 평균 인간이 할 수 없는 예측을 수행합니다.

방법론 및 분석
이 논문은 기존 실증 문헌을 종합하고 모델 성능과 인간 데이터 정렬 간의 관계를 재분석합니다.

• 문헌 종합: 저자들은 LLM 을 사용하여 단어 예측 가능성을 추정하는 연구들의 추이를 검토합니다. 초기 연구 결과 (더 나은 예측 정확도가 읽기 시간과의 더 나은 정렬과 상관관계를 보임) 와 대규모 데이터셋으로 학습된 강력한 트랜스포머 기반 모델을 사용한 최근 (2022 년 이후) 연구 결과를 대조합니다.
• 데이터 재평가: 저자들은 자연스러운 이야기 코퍼스 (자율 조절 읽기) 와 던디 코퍼스 (안구 추적) 를 포함한 표준 코퍼스에서 결과를 검토합니다. 초기 모델 정확도 향상은 정렬을 개선했으나, 모델 규모와 학습 데이터 증가로 인한 예측 정확도의 추가 향상은 인간 읽기 시간과의 정렬이 점점 더 악화되는 결과를 초래했다고 관찰합니다.
• 기작 분석: 이 논문은 인간과 LLM 간의 구조적 및 학습적 차이를 해부합니다:
  • 장기 기억: LLM 은 인간 (예: 12 세 아동의 약 1 억 단어) 에 비해 수백 배 많은 데이터 (예: Llama 3 의 15 조 단어) 로 학습되며, 인간이 부족하거나 잊어버린 사실적 지식 (예: 유명인의 출생지) 과 다단어 표현을 유지합니다.
  • 단기 기억: 시간 경과에 따라 감쇠하고 간섭의 영향을 받는 인간 작업 기억과 달리, 트랜스포머 아키텍처는 어텐션 메커니즘을 통해 이전 단어의"감쇠 없는"저장소를 유지합니다. 이는 LLM 이 수천 단어 전에 언급된 엔티티를 완벽하게 회상할 수 있게 하여, 인간이 처리 어려움을 보이는 반복 텍스트에 대해 거의 완벽한 예측을 가능하게 합니다.

주요 기여

1. "초인성"을 장벽으로 식별: 이 논문은 LLM 을 인지 모델로 사용하는 데 있어 주요 장애물이 능력 부족이 아니라 과잉 능력이라고 주장합니다. 그들의"초인적"기억은 지식 격차나 기억 감쇠로 인해 인간에게 본질적으로 어려운 예측 과제를 해결할 수 있게 합니다.
2. 기억 불일치 진단: 저자들은 정렬 불일치를 두 가지 구체적인 기억 실패로 명시적으로 귀인합니다:
   • 친숙도 불일치: LLM 은 평균 인간 독자가 갖지 못하는 사실적 지식과 특정 텍스트 (예: 독립선언문) 에 대한 노출을 보유하고 있습니다.
   • 회상 불일치: LLM 은 인간 단기 기억에 내재된 시간적 감쇠와 간섭 효과를 결여하여, 인간이 어려움을 겪는 문법적 모호성을 해결하고 반복된 엔티티를 완벽하게 회상할 수 있게 합니다.
3. 인간 유사 모델링 제안: 이 논문은 예측 정확도 극대화를 목표로 하는 모델링에서"인간 유사성"극대화를 목표로 하는 모델링으로의 전환을 옹호합니다. 이는 인간 규모의 기억 제약이 있는 LLM 을 개발하는 것을 포함합니다.

결과 및 증거

• 분리 추세: LLM 확률을 인간 읽기 시간에 적합시키는 회귀 모델 분석은 비단조적 관계를 보여줍니다. 초기 모델 정확도 증가는 적합도를 개선하지만, 일정 임계값을 넘어서면 추가적인 정확도 향상은 적합도를 저하시킵니다.
• 기억 조작 연구: 이 논문은 LLM 의 문맥 접근을 제한하면 정렬이 개선된다는 증거를 인용합니다. 예를 들어, 깊이 중첩된 문장에서 고빈도 단어의 가중치를 낮추거나 어텐션 창을 최근 단어로 제한하면 모델 확률과 인간 읽기 시간 간의 불일치가 감소합니다.
• 학습 데이터 효과: 대규모 일반 코퍼스로 학습된 모델보다 작고 선별된 데이터셋 (예: BabyLM 챌린지) 이나 전문 도메인으로 학습된 모델이 인간 읽기 행동과 더 잘 정렬되는 것으로 나타났으며, 이는 데이터 노출을 제한함으로써"초인적"전문성 획득을 방지한다는 것을 시사합니다.

의의 및 향후 방향
이 논문은 LLM 이 인간 언어 이해의 유효한 모델이 되기 위해서는"덜 초인적으로"만들어야 한다고 결론지으며, 이를 달성하기 위한 몇 가지 방향을 제시합니다:

• 학습 데이터 선별: 희귀 사실의 암기를 방지하고 완벽한 단기 기억 메커니즘의 발달을 줄이기 위해 학습 데이터를 인간 규모 (예: 약 1 억 단어) 로 제한합니다.
• 아키텍처 변경: 입력 압축을 강제하고 인간 유사 감쇠를 구현하는 순환 신경망 아키텍처를 탐색하거나, 병목 현상과 감쇠 함수를 도입하기 위해 트랜스포머 어텐션 메커니즘을 수정합니다.
• 학습 목표 변경: 단일 올바른 단어에 높은 확률을 부여하는"어휘적으로 날카로운"예측을 보상하는 목표에서, 의미적으로 유사한 단어에 확률 질량을 할당하여 인간의 불확실성을 더 잘 반영하는"확산된"예측을 장려하는 목표로 전환합니다.
• 사후 개입: 인간이 일반적으로 갖지 않는 특정 사실적 지식을"잊어버리게"하기 위해 모델 편집 기술을 사용합니다.
• 새로운 실험 패러다임: 저자들은 진척도를 벤치마킹하기 위한 표적 인간 실험을 요청합니다. 이러한 실험은 질문지를 통한 장기 지식 조작과 목록 회상 및 중재 텍스트를 통한 단기 기억 부하 조작을 체계적으로 수행하여 기억 제약과 읽기 행동 간의 인과 관계를 확립해야 합니다.

이 논문은 LLM 과 인간 간의 격차를 해소하는 데에는 단순히 더 나은 모델이 필요한 것이 아니라, 기억과 지식 측면에서 인간의 제약에 의해 구속된 모델이 필요하다고 강조합니다.