Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

기술 요약: 예측 가능한 허구 생성

문제 제기
사실적 회상 오류, 즉 허구 생성 (confabulations) 은 대규모 언어 모델 (LLM) 에서 여전히 치명적인 실패 양상으로 남아 있습니다. 기존 연구는 모델 크기, 데이터셋 크기, 연산량과 관련된 모델 성능의 집합적 추세가 확장 법칙을 따른다는 것을 입증했으나, 사실적 회상의 질을 모델 크기와 훈련 데이터의 구성 (특히 주제 빈도) 모두와 연결하는 단일 프레임워크는 존재하지 않았습니다. 기존 연구는 모델 규모와 지식 빈도를 독립적인 동인으로 취급하지만, 이를 통합하는 예측 가능한 함수 형태는 부재합니다.

방법론
저자들은 1B 에서 1.6T 파라미터에 이르는 38 개의 LLM(밀집형, 전문가 혼합형, 폐쇄형 소스 모델을 포함) 을 24 개의 학술 주제를 대상으로 평가했습니다. 해당 주제는 OpenAlex 학술 작품 수 ($S$) 로 측정된 훈련 데이터 표현의 5 개 차수에 걸쳐 선택되었습니다.

• 데이터 생성: 각 모델은 표준화된 프롬프트를 사용하여 주제당 10 개의 학술 참고문헌을 생성하도록 프롬프트되었습니다.
• 검증 파이프라인: SourceVerify 라는 자동화 시스템이 생성된 참고문헌을 OpenAlex, Google Scholar, DOI 등록부에 대해 인증했습니다. 이는 필드 수준 매칭 (제목, 저자, 연도, 발행처, 식별자) 을 기반으로 연속적인 진위 점수를 산출했습니다.
• 품질 지표: 최종 회상 품질은 진위성(SourceVerify 로 검증됨) 과 관련성(자동화 에이전트가 판단하고 인간 평가자가 검증함) 의 곱으로 정의되었습니다.
• 통계 분석: 저자들은 데이터에 시그모이드 함수를 적합시켜, 품질을 모델 파라미터 수 ($P$) 와 주제 표현 빈도 ($S$) 의 로그 - 선형 결합의 함수로 모델링했습니다.

이론적 프레임워크
본 연구는 '중첩 (superposition)'에서 영감을 받은 신호 - 대 - 잡음비 (SNR) 모델을 제안합니다.

• 신호: 개념의 표현 강도는 훈련 데이터 내에서의 빈도 ($S$) 에 비례하여 증가합니다.
• 잡음: 간섭 바닥 (interference floor) 은 모델 용량 ($P$) 에 의해 결정됩니다. 모델이 차원 수보다 더 많은 특징을 인코딩한다는 중첩 이론 하에서, 개념을 회상하는 것은 다른 중첩된 표현들로부터의 간섭을 수반합니다. 모델 용량이 증가함에 따라 이 간섭 바닥은 낮아집니다.
• 시그모이드: 회상은 신호가 잡음 바닥을 초과할 때 발생합니다. 저자들은 회상 품질이 이러한 요소들의 로그 - 합에 대한 시그모이드 함수를 따른다고 가정합니다:
  $$\text{quality} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$$
  여기서 $\sigma$는 로지스틱 함수입니다.

주요 결과

1. 시그모이드 확장: 제안된 시그모이드 모델은 4 개 독립 계열 (Llama, Gemma, Mistral, Qwen) 의 16 개 밀집형 모델에 걸쳐 데이터에 적합되었으며, 결정 계수 ($R^2$) 는 0.599 였습니다. 개별 계열 내에서 분석할 때 적합도는 크게 향상되었습니다 ($R^2$는 0.74 에서 0.94 사이).
2. 독립적 동인: 모델 크기 ($P$) 와 주제 빈도 ($S$) 모두 회상 품질에 독립적으로 기여합니다. 모델 크기만으로도 분산의 42.1% 를 설명하며, 주제 빈도는 추가적으로 17.8% 를 설명합니다.
3. 세 가지 영역: 시그모이드 곡선은 세 가지 뚜렷한 운영 영역을 드러냅니다:
   • 바닥 (Floor): 작은 모델이나 드문 주제는 "템플릿 기반 위조"를 초래하여, 모델이 구체적인 사실을 회상하는 대신 고빈도 성씨나 일반적인 템플릿을 재활용합니다.
   • 경사 (Ramp): 용량이나 빈도를 증가시키면 회상에서 비례적인 개선이 이루어지는 로그 - 선형 개선 영역입니다.
   • 천장 (Ceiling): 용량이 개념 인벤토리를 초과하면 포화 상태에 도달하여 품질이 정체됩니다.
4. 인용도 기울기: 더 큰 모델은 더 작은 모델에 비해 인용 횟수가 적은 참고문헌 (긴 꼬리 지식) 을 회상하는 반면, 더 작은 모델은 인용 횟수가 매우 많은 (고빈도) 논문으로 제한됩니다. 이는 더 큰 모델이 약한 신호를 회상할 수 있을 정도로 잡음 바닥을 낮춘다는 가설을 지지합니다.
5. 계열 오프셋: 모델 계열 간에 체계적인 오프셋이 존재합니다 (예: Llama 모델은 유사한 파라미터 수에서 일반적으로 Gemma 와 Qwen 보다 우수한 성능을 발휘함). 이는 훈련 절차와 데이터 선별이 확장 기울기를 변경하지 않고 절편 ($\gamma$) 을 이동시킨다는 것을 시사합니다.

의의 및 주장
본 논문은 모델 규모와 훈련 데이터 구성을 모두 포함하는 사실적 회상에 대한 최초의 통합 예측 확장 법칙을 제공한다고 주장합니다. 저자들은 허구 생성을 무작위 오류가 아닌, 비균일하게 분포된 지식을 유한한 표현 용량에 압축하는 과정에서 발생하는 예측 가능한 결과로 재정의함으로써, 신뢰성을 추정하기 위한 정량적 프레임워크를 제시합니다.

저자들은 집합적 벤치마크는 종종 체계적인 불균형을 가린다고 강조합니다. 즉, 모델은 고빈도 주제에서는 잘 수행되더라도 긴 꼬리 개념에서는 실패할 수 있습니다. 이 프레임워크는 저빈도 주제로의 신뢰할 수 있는 회상을 확장하려면 모델 용량의 불균형한 증가가 필요하지만, 회상 임계값 근처의 개념에 대해서는 데이터 선별과 표적 사전 훈련이 더 효율적일 수 있음을 시사합니다. 연구는 매우 저빈도 개념의 경우, 매개변수적 회상 대신 검색 증강이 필수적인 대안이라고 결론 내립니다.

한계점
저자들은 몇 가지 제약을 지적합니다: 본 연구는 인과적이지 않고 관찰적 (상관적) 이며, 훈련 데이터 대리 변수 ($S$) 는 간접적입니다. 또한 분석은 영어와 학술 참고문헌으로 제한되며, 특정 확장 파라미터는 상식이나 절차적 지식과 같은 다른 사실적 영역으로 일반화되지 않을 수 있습니다.