Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

논문 요약: 자기 인식이 없는 배운 학자 - 세 가지 언어에 걸친 언어 모델의 메타인지 경계 탐구

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 다양한 작업에서 탁월한 능력을 보이지만, 사실과 다른 그럴듯한 텍스트를 생성하는 '할루시네이션 (Hallucination)' 문제는 여전히 해결되지 않은 과제입니다. 현대의 LLM(예: GPT-4) 은 "확실하지 않다"와 같은 불확실성을 표현할 수 있지만, 이는 언어 모델링 자체에서 자연스럽게 습득된 것이 아니라 **인간 피드백을 통한 강화학습 (RLHF)**을 통해 학습된 행동입니다.

이 연구는 다음과 같은 근본적인 질문을 던집니다:

"무지를 인식하고 표현하는 능력은 언어 모델링의 자연스러운 발현 (Emergent Property) 인가, 아니면 명시적인 외부 학습 신호 (RLHF 등) 가 필요한가?"

2. 연구 방법론 (Methodology)

저자들은 RLHF 를 배제한 순수 자기회귀 (Autoregressive) 모델이 내부 지식과 외부 표현 사이에서 어떻게 행동하는지 검증하기 위해 통제된 실험을 설계했습니다.

• 데이터셋 및 모델:

  • 언어: 고전 중국어 (文言文). 현대 중국어 및 다른 언어와의 분포적 경계가 명확하고, 불확실성을 표현하는 어휘 (不知, 未闻 등) 가 풍부하며, 역사적 사실 여부를 검증하기 용이하다는 장점이 있습니다.
  • 코퍼스: 15.6 억 토큰 규모의 순수 고전 중국어 코퍼스 (역사, 유교 경전, 불교 경전 등) 를 사용하며, 영어 문자나 아라비아 숫자는 완전히 배제했습니다.
  • 모델: 318M 파라미터의 Transformer 모델 (24 레이어, 1024 차원) 을 처음부터 (from scratch) 학습시켰습니다.
  • 확장 검증: 고전 중국어 모델 외에도 영어 (GPT-2 시리즈) 와 일본어 (rinna 시리즈) 모델, 그리고 110M~1.56B 파라미터 규모의 다양한 모델로 실험을 재현했습니다.

• 실험 설계:

  • OOD(Out-of-Distribution) 테스트: 실제 역사적 사건, 허구의 역사적 사건 (실제 인물 + 허구 사건), 반허구 사건 (실제 인물 + 허구 행동) 으로 구성된 프롬프트를 사용하여 모델의 내부 지식 (Perplexity) 과 외부 표현 (불확실성 표지어 사용 빈도) 을 측정했습니다.
  • 측정 지표:
    1. 내부 지식: 생성된 텍스트의 Perplexity (PPL) 변화.
    2. 외부 표현: "모른다", "들려온 바 없다" 등의 고전 중국어 인식적 표지어 (Epistemic markers) 사용 빈도.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 내부 지식과 외부 표현의 분리 (Dissociation)

• 내부적 지식 (Perplexity): 모델은 실제 사건과 허구 사건을 명확히 구분했습니다.
  • 실제 사건 vs. 허구 사건: PPL 비율 2.39 배 차이 (p = 8.9×10⁻¹¹).
  • 실제 인물 + 허구 행동 (반허구) 의 경우 PPL 이 가장 높게 나타났음 (4.24 배). 이는 모델이 단순 문법 패턴 매칭을 넘어 사실적 인코딩을 하고 있음을 시사합니다.
• 외부적 표현 (Uncertainty Expression): 내부적으로 불확실성을 인지함에도 불구하고, 모델은 절대 불확실성을 표현하는 법을 배우지 않았습니다.
  • OOD 질문 (알지 못하는 내용) 에 대한 불확실성 표지어 사용률은 3.5% 였으며, 이는 In-distribution 질문 (8.3%) 보다 오히려 낮았습니다.
  • 학습 체크포인트 7 개를 거치며 내부 지식 (PPL 차이) 은 꾸준히 증가했으나, 외부 표현 빈도는 2~4% 로 평탄하게 유지되었습니다.

나. 겸손 역설 (The Humility Paradox)

• 모델은 자신이 아는 주제에 대해 오히려 더 많은 불확실성 표지어 (예: "신은 어리석어 알지 못하나이다") 를 사용했습니다.
• 이는 고전 텍스트에서 불확실성 표현이 실제 인지 상태가 아니라 **화학적 관례 (Rhetorical convention)**로 사용되었기 때문입니다. 모델은 이러한 문장 패턴을 학습하여 익숙한 질문에는 적용하지만, 전혀 새로운 (OOD) 질문에는 패턴이 없어 자신 있게 허구를 생성해냅니다.

다. 다국어 및 다규모 검증

• 영어 (GPT-2): 웹 텍스트 학습 모델은 In-distribution 과 OOD 간 불확실성 표현에 유의미한 차이가 없었습니다.
• 일본어 (rinna): 위키피디아 기반 학습 모델은 거의 불확실성 표지어를 사용하지 않았습니다.
• 결론: 세 언어 (고전 중국어, 영어, 일본어), 세 가지 문자 체계, 다양한 모델 크기에서 메타인지적 표현 (I don't know) 은 언어 모델링만으로는 발현되지 않는다는 점이 확인되었습니다.

4. 논의 및 의의 (Discussion & Significance)

• 창의성과 할루시네이션의 동질성: 외부 보정 메커니즘 (RLHF 등) 이 부재한 상태에서, 모델이 생성하는 '창의적 텍스트'와 '할루시네이션'은 수학적으로 구별 불가능한 과정 (학습된 확률 분포에서의 샘플링) 입니다. 표면적인 텍스트만으로는 이를 구별할 수 없으며, 오직 로그 확률 (Logit) 통계에서만 차이가 나타납니다.
• RLHF 의 역할: 모델이 자신의 한계를 표현하는 능력은 언어 이해의 자연스러운 결과가 아니라, RLHF 를 통해 외부에서 강제된 행동 계층 (Behavioral Layer) 입니다. 모델은 내부적으로 "모른다"를 인지할 수 있는 신호 (높은 PPL) 를 가지고 있지만, 이를 언어 출력으로 매핑하는 '거울 (Mirror)'이 RLHF 에 의해 만들어집니다.
• 안전성 함의: RLHF 없이 학습된 모델은 유창하고 지식이 풍부하지만, 자신의 지식과 허구를 구분하지 못하는 '자기 인식이 없는 배운 학자'와 같습니다. 따라서 AI 안전성을 위해서는 명시적인 학습 신호가 필수적입니다.

5. 결론

이 연구는 메타인지적 표현 (무지를 인정하는 능력) 은 언어 모델링의 자연스러운 발현이 아니며, 이를 위해서는 RLHF 와 같은 명시적인 외부 학습 신호가 필요함을 강력하게 증명했습니다. 모델은 내부적으로는 사실과 허구를 구분할 수 있는 지식을 보유하고 있음에도 불구하고, 학습 데이터의 문체적 관례에 따라 외부적으로는 이를 표현하지 않거나 오히려 잘못된 주제에 대해 더 겸손한 척하는 역설적인 행동을 보입니다. 이는 현재의 LLM 이 가진 근본적인 한계와 RLHF 의 중요성을 재조명하는 중요한 연구입니다.