1. 문제 정의 (Problem)

• 벤치마크의 편향 (Availability Bias): MMLU 나 TruthfulQA 와 같은 기존 벤치마크는 실험자가 미리 정한 질문에만 답하도록 설계되어 있습니다. 이는 모델이 잘 아는 특정 영역은 높은 점수를 받지만, 벤치마크에 포함되지 않은 광범위한 지식 영역의 사실성 (Factuality) 과 불안정성을 놓치게 만듭니다.
• 지식 구현 (Materialization) 의 평가 부재: LLM 이 스스로 지식을 생성하여 대규모로 구현하는 연구 (예: GPTKB) 는 존재하지만, 이러한 생성물이 사용자와 상호작용하는 자유 텍스트 (Free-text) 형태가 아니거나, 체계적인 사실성 평가가 부족했습니다.
• Capture Trap (포획의 함정): xAI 의 Grokipedia 와 같은 최신 LLM 기반 백과사전은 위키피디아의 문체와 구조를 과도하게 모방하여 (높은 텍스트 유사도), 실제 모델의 지식이 아닌 검색 기반의 재구성 (Retrieval-shaped generation) 일 가능성이 높습니다. 이는 모델의 오류 모드를 숨기고 위키피디아의 편향을 그대로 답습할 위험이 있습니다.
• 투명성 결여: 기존 연구들은 생성 파이프라인, 프롬프트, 평가 결과를 공개하지 않아 검증이 불가능했습니다.

2. 방법론 (Methodology)

LLMpedia 는 검색 (Retrieval) 없이 **순수한 파라메트릭 메모리 (Parametric Memory)**만으로 약 100 만 개의 백과사전 기사를 생성하는 투명하고 오픈소스인 프레임워크입니다.

• 생성 파이프라인 (BFS 기반 확장):

  • 시드 (Seed) 에서 시작: 'Vannevar Bush'와 같은 시드 엔티티에서 시작하여 너비 우선 탐색 (BFS) 방식으로 확장합니다.
  • 동적 개요 생성: 각 엔티티에 맞춰 6~7 개의 섹션 제목을 동적으로 생성한 후, 이에 맞춰 기사를 작성합니다.
  • 자기 정 grounding (Self-Grounding): 선택적 단계로, 사실 확인을 위한 구조화된 사실 시트를 생성하여 콘텐츠의 일관성을 유지합니다.
  • 엔티티 정제 파이프라인 (Sanitization Pipeline): 생성된 기사에서 추출된 위키링크 (Wikilinks) 를 3 단계로 필터링하여 다음 확장 단계에 적합한 엔티티만 선별합니다.
    1. 표준화 (Canonical Normalization): 대소문자, 구두점, 유니코드 변형을 제거하여 중복 제거.
    2. LLM 기반 백과사전 필터링: '엔지니어'나 '발명가'와 같은 일반명사나 순환적인 링크를 제거하고, 독립적인 백과사전 항목이 될 만한 의미 있는 엔티티만 선별.
    3. 임베딩 기반 중복 제거: 의미적으로 동일한 엔티티 (예: 'Germany' vs 'Deutschland') 를 벡터 유사도 (Cosine similarity > 0.90) 로 식별하여 제거.

• 실험 설정:

  • 모델: GPT-5-mini, Llama-3.3-70B-Instruct, DeepSeek-V3.
  • 모드:
    • 일반 도메인 (General-domain): 제한 없이 시드에서 무한히 확장.
    • 주제 중심 (Topic-focused): '고대 바빌로니아', '미국 시민권 운동', '동남아 네덜란드 식민지' 등 3 가지 루트 주제 하에서 확장.
  • 편집자 페르소나 (Editorial Persona): 주제 중심 실험에서 '과학적 중립', '좌파 성향', '보수 성향'의 3 가지 페르소나를 주입하여 편향성을 분석.
  • 평가 프로토콜: 추출된 사실적 주장 (Claims) 을 위키피디아 (Tier 1) 와 큐레이팅된 웹 소스 (Tier 2) 를 기준으로 검증하여 '지지됨', '부정됨', '검증 불가'로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 완전 오픈 소스 파이프라인: 모든 프롬프트, 생성물, 평가 결과를 공개하여 LLM 지식 평가와 지식 구현을 연결하는 최초의 투명하고 검증 가능한 백과사전 프레임워크를 구축했습니다.
2. 벤치마크 vs. 실제 생성의 격차 발견: 벤치마크 점수 (90% 이상) 와 실제 생성된 콘텐츠의 사실성 사이에 큰 차이가 있음을 실증했습니다.
3. Capture Trap 벤치마크 개발: Grokipedia 와 LLMpedia 를 위키피디아와 비교하여, LLM 이 위키피디아와 구조적으로 독립적이면서도 더 높은 사실성을 달성할 수 있음을 보였습니다.
4. 모델별 지식 특성 분석: 서로 다른 모델 가족 (Model Families) 이 생성하는 주제의 겹침이 매우 낮음을 발견하여, LLM 의 지식이 모델마다 고유함을 규명했습니다.

4. 주요 결과 (Key Results)

• 사실성의 하락 (Factuality Gap):

  • GPT-5-mini 의 경우, 벤치마크 기반 평가는 90% 이상의 사실성을 시사하지만, 위키피디아로 커버되는 주제에서 검증 가능한 진실률 (True Rate) 은 **74.7%**에 불과했습니다 (벤치마크 대비 15% 이상 낮음).
  • 위키피디아에 없는 '프런티어 (Frontier)' 주제 (큐레이팅된 웹 증거로만 검증 가능한 주제) 로 가면 진실률은 **63.2%**까지 떨어졌습니다.
  • BFS 깊이가 깊어질수록 (Hop 5+), 위키피디아 커버리지는 60% 로 감소하고 검증 불가 비율은 18.1% 로 급증했습니다.

• 모델 간 겹침의 부재:

  • 3 개의 모델 (GPT, Llama, DeepSeek) 이 생성한 12 만 개의 기사 중, 세 모델 모두에서 공통으로 다루는 주제는 전체의 **7.3%**에 불과했습니다. 이는 LLM 의 지식이 벤치마크가 암시하는 것보다 훨씬 모델 특이적 (Model-specific)임을 보여줍니다.

• Capture Trap 벤치마크 결과:

  • 위키피디아에서 가장 많이 편집된 1,000 개 주제를 대상으로 비교했을 때:
    • LLMpedia: 위키피디아와의 텍스트 유사도 (TF-IDF) 가 낮음 (0.256) 이지만, 사실성 (Precision) 은 높음 (89.8%).
    • Grokipedia: 위키피디아와의 텍스트 유사도가 매우 높음 (0.492) 이지만, 사실성은 낮음 (76.7%), 거짓률 (False Rate) 은 LLMpedia 의 2 배 이상 (20.3%).
  • 결론: Grokipedia 는 위키피디아의 문체를 모방하는 데 집중하여 구조적 독립성은 잃었지만 사실성은 떨어지는 '포획의 함정'에 빠진 반면, LLMpedia 는 구조적으로 독립적이면서도 더 높은 사실성을 유지했습니다.

• 페르소나 영향:

  • '좌파', '보수', '중립' 페르소나를 주입했을 때, 모델의 사실성 순위는 변하지 않았으나 (GPT > DeepSeek > Llama), 콘텐츠의 프레임과 엔티티 선택에 유의미한 차이가 발생했습니다.

5. 의의 및 결론 (Significance)

• 평가 패러다임의 전환: 고정된 질문 기반 벤치마크만으로는 LLM 의 실제 지식 능력을 평가할 수 없으며, 대규모 생성물을 통한 '지식 구현 (Materialization)'과 체계적인 검증이 필수적임을 강조합니다.
• 위키피디아 의존성 경고: LLM 이 위키피디아와 너무 유사한 콘텐츠를 생성할 경우, 모델 고유의 지식과 오류 모드가 가려질 수 있음을 경고하며, 구조적 독립성과 사실성을 동시에 확보하는 것이 중요함을 보여줍니다.
• 투명성과 재현성: 모든 데이터, 코드, 인터페이스를 공개하여 (llmpedia.net), 향후 연구자들이 LLM 의 지식 한계와 편향을 투명하게 분석할 수 있는 기반을 마련했습니다.
• 실용적 함의: LLM 이 위키피디아의 편향 (서구 중심, 성별 편향 등) 을 보완할 수 있는 잠재력이 있지만, 이를 위해서는 생성 과정의 감사 가능성 (Auditability) 과 검증 가능한 사실성이 전제되어야 함을 시사합니다.

이 논문은 LLM 이 단순한 텍스트 생성기를 넘어, 얼마나 신뢰할 수 있는 지식을 보유하고 있는지에 대한 새로운 통찰을 제공하며, 향후 LLM 기반 지식 시스템의 개발 방향에 중요한 기준을 제시합니다.