기술 요약: 대규모 언어 모델의 계층적 암기

문제 제기

대규모 언어 모델 (LLM) 은 학술 인용 생성에서 비실재 참조의 fabrication(조작) 이라는 치명적인 실패 양상을 보입니다. LLM 은 다양한 분야에서 유창함을 보이지만, 구조적으로는 정확해 보이지만 사실적으로 거짓인 문헌 기록을 자주 환각합니다. 본 연구는 환각과逐字적 암기가 별개의 현상이 아니라 동일한 확률적 학습 과정의 반대되는 결과라고 가정합니다. 구체적으로, 이 논문은 사전 학습 코퍼스 내 문헌 기록의 중복성 (인용 횟수로 대리 측정됨) 이 모델의 정확한 회상 능력을 어떻게 결정하는지 조사합니다. 핵심 문제는 이 암기 과정의 내부 구조를 규명하는 것입니다: 이는 이진 상태 (암기됨 vs 환각됨) 인가, 아니면 기록의 서로 다른 구성 요소가 서로 다른 중복성 수준에서 회상되는 점진적이고 계층적인 현상인가?

방법론

본 연구는 외부 검색 도구 접근 없이 GPT-4.1(지식 컷오프: 2024 년 6 월) 을 사용하여 문헌 기록을 생성하는 폐쇄 시스템 실험 설계를 적용했습니다.

• 실험 설계: 모델은 20 개의 서로 다른 컴퓨터 과학 분야(예: 비전 트랜스포머, 확산 모델, LoRA) 에서 최근 학술 논문 5 편을 생성하도록 프롬프트되었으며, 총 100 개의 샘플이 생성되었습니다.
• 데이터 검증: 생성된 기록은 존재 여부 확인 및 인용 횟수 수집을 위해 Google Scholar(2025 년 10 월 기준) 와 대조하여 수동으로 검증되었습니다. Google Scholar 는 사전 출판물, 학회 논문집, 웹 토론을 광범위하게 포괄하여 전통적인 학술 데이터베이스보다 LLM 사전 학습 코퍼스의 다양성을 더 잘 근사하므로 선택되었습니다.
• 평가 지표:
  • 수동 점수화: 기록은 완전히 정확 (점수 2), 부분적 환각 (점수 1), 완전히 환각 (점수 0) 으로 분류되었습니다.
  • 계산적 평가: 기존 기록의 경우, 생성된 메타데이터와 실제 메타데이터 간의 코사인 유사도(Sentence-BERT 임베딩 사용) 를 계산하여 사실적 충실도를 연속적 척도로 측정했습니다.
  • 필드 수준 분석: 부분적으로 환각된 기록 ($n=68$) 에 대해 7 가지 특정 메타데이터 필드 (제목, 첫 번째 저자, 공동 저자, 연도, 저널, 권, 페이지) 의 정확성을 개별적으로 평가하여 암기 궤적을 매핑했습니다.

주요 기여

본 연구는 환각 - 암기 이분법을 점진적이고 계층적으로 층화된 현상으로 재정의함으로써 예비 연구를 확장합니다. 주요 기여는 다음과 같습니다:

1. 로그 - 선형 스케일링: 훈련 데이터 중복성의 대리 지표인 인용 횟수에 따라 사실적 정확도가 로그 - 선형적으로 스케일링됨을 규명했습니다.
2. 암기 임계값: 확률적 합성에서逐字적 회상으로 전환되는 과정에서 경험적으로 구별되는 두 가지 임계값을 식별했습니다.
3. 계층적 암기: 단일 문헌 기록 내에서 서로 다른 메타데이터 필드가 인용 수준에 따라 암기 임계값을 서로 다른 시점에 통과함을 입증했습니다.
4. 기억 간섭: 현대 홉필드 네트워크의 가짜 어트랙터 관점에서 해석되는, 의미적으로 유사한 고인용 기록들이 혼동되는 실패 양상을 규명했습니다.

결과

1. 인용 빈도와 사실적 정확도

로그 변환된 인용 횟수와 코사인 유사도 간에 강한 양의 상관관계 ($r = 0.75, p < .001$) 가 존재합니다. 고인용 논문은 저인용 논문보다 훨씬 높은 사실 점수를 달성합니다 (Cohen's $d = 1.02$). 이 관계는 선형적이지 않고 임계값 행동을 보입니다:

• 변곡점 (~90 인용): 모델이 연관성에 기반한 토큰 합성이라는 순전히 생성적 행동에서 특정 기록을 increasingly 회상하는 기억 기반 행동으로 전환하는 지점입니다.
• 포화 지점 (~1,248 인용): 이 임계값을 넘어서면 문헌 기록은 최소한의 잔류 분산으로 거의逐字적으로 재생산됩니다 (코사인 유사도 $\approx 1.0$), 결정론적 회상을 나타냅니다.

2. 계층적 암기 패턴

부분적으로 환각된 기록에 대한 분석은 암기가 메타데이터 필드 전반에 걸쳐 균일하지 않음을 보여줍니다. 필드는 훈련 코퍼스 내 중복성에 기반하여 특정 순서로 회상됩니다:

• 가장 먼저 암기됨: 제목과 첫 번째 저자는 낮은 인용 횟수부터 꾸준한 정확도 증가를 보입니다.
• 중간 암기: 공동 저자와 저널 이름은 포화 임계값 (~1,000 인용) 부근에서만 정확하게 재생산되기 시작합니다.
• 늦거나 불확실한 암기: 권과 페이지 번호는 높은 인용 횟수에서도 여전히 노이즈가 많습니다.
• 암기되지 않음: 출판 연도는 인용 횟수와 본질적으로 상관관계가 없습니다 ($r = 0.038$). 모델은 기록의 특정 연도를 검색하는 대신, 해당 분야가 활발했던 시기를 기반으로 합리적인 기간을 추정하는 도메인 수준의 사전 지식을 기반으로 연도를 생성하는 것으로 보입니다.

3. 기억 간섭

매우 많이 인용된 논문에서도 유사한 기록들의 혼동으로 인해 오류가 발생할 수 있습니다. 주목할 만한 사례는 2014 년의 획기적인 논문의 저자 목록과 2020 년의 서베이 논문 제목 구문을 결합한 GAN 리뷰 논문에 대한 생성된 인용입니다. 이는 여러 고빈도 패턴 (유사한 제목/저자) 이 겹칠 때 모델의 에너지 지형에서 그들의 "어트랙터"가 병합되어 가짜 어트랙터(합리적이지만 존재하지 않는 복합 기록) 를 생성함을 시사합니다.

중요성과 주장

본 논문은 LLM 의 암기가 이진적인 온/오프 상태가 아니라 사전 학습 코퍼스 내 지식의 불균등한 분포에 의해 형성된 연속체라고 주장합니다.

• 환각의 재정의: 환각은 단순히 지식의 부재가 아니라 저중복성 데이터의 확률적 재구성이며,逐字적 회상은 고중복성 데이터에 대한 과적합의 한 형태입니다.
• 내부 구조: 본 연구는 LLM 의 "기억"이 내부적으로 계층적으로 구조화되어 있음을 증거로 제시합니다. 기록은 제목과 저자는逐字적으로 회상되지만, 저널과 연도는 환각되는 "부분적으로 암기된" 상태가 될 수 있습니다.
• 신뢰성에 대한 함의: 이 발견들은 외부 검색 없이 폐쇄 시스템 시나리오에서 LLM 이 생성한 구조화된 데이터의 신뢰성은 근본적으로 소스 자료의 중복성에 의해 제한됨을 시사합니다. 고인용 기록이라도 다른 고빈도 기록과 의미적 특징을 공유하면 간섭에 취약합니다.
• 이론적 프레임워크: 본 논문은 이러한 간섭 패턴을 현대 홉필드 네트워크 프레임워크를 통해 해석하며, 여기서 어텐션 메커니즘은 겹치는 고빈도 패턴으로 형성된 가짜 어트랙터에 수렴할 수 있는 에너지 최소화 과정으로 작용합니다.

본 연구는 이러한 계층적 임계값과 간섭 패턴을 이해하는 것이 학술 인용, 법적 선례, 특허 참조와 같은 분야에서 생성된 사실적 기록의 신뢰성을 평가하고 LLM 암기의 경계를 규명하는 데 필수적이라고 결론 내립니다.