기술 요약: FactNet

문제 정의

대규모 언어 모델 (LLM) 은 종종 사실적 주장을 환각하며, 검색 가능한 증거에 기반한 출력을 생성하는 데 어려움을 겪습니다. 이는 비영어권 언어에서 더욱 심화되는 한계입니다. 검색 증강 생성 (RAG) 과 지식 기반 시스템이 해결책을 제시하지만, 이들은 구조화된 지식과 원어 텍스트 증거를 동시에 결합하는 학습 데이터를 필요로 합니다. 기존 자원들은 다음과 같은 치명적인 트레이드오프를 강요합니다:

• 구조화된 지식 베이스 (예: Wikidata): 규모와 쿼리 가능한 구조를 제공하지만 텍스트 기반 증거가 부족하여, RAG 시스템이 사실 - 텍스트 검색을 위한 감독 신호를 얻지 못하게 합니다.
• 기반이 된 데이터셋 (예: FEVER, AveriTeC): 고품질 증거를 제공하지만 수동 큐레이션에 의존하여 규모가 제한적 (수천 건) 이고 대부분 단일 언어입니다.
• 정렬 자원 (예: T-REx, KELM): 그래프와 텍스트를 연결하지만 종종 바이트 수준의 정밀도가 부족하거나 영어만 다루거나, 인간이 작성한 문서와의 연결을 끊는 합성 생성에 의존합니다.
• 합성 확장: 기계 번역이나 LLM 생성은 다국어 커버리지를 늘리지만 번역 아티팩트와 순환 의존성을 도입하여, 검증기가 현실에 기반하기보다 생성기 패턴을 학습하게 만듭니다.

십억 규모 커버리지, 광범위한 다국어 지원, 그리고 결정론적 출처를 갖춘 원어 스펀 (span) 수준 증거 기반을 제공하는 자원은 부재합니다.

방법론

저자들은 FactNet을 소개합니다. 이는 17 억 개의 Wikidata 주장과 316 개 원어 위키백과 판에서 추출된 30.1 억 개의 증거 포인터를 결합한 십억 규모의 오픈 자원입니다. 이 구축은 확률적 추론이나 합성 생성을 배제하는 결정론적 파이프라인에 의존하여, 모든 증거 단위가 바이트 수준의 정밀도로 출처를 추적 가능하도록 보장합니다.

데이터 모델 및 아키텍처

FactNet 은 세 가지 결합된 레이어로 구성됩니다:

1. FactStatement: 한정자와 참조를 포함하는 Wikidata 주장 (주어, 속성, 값) 을 나타내는 원자적, 언어 중립적 단위.
2. FactSense: 특정 위키백과 판 내의 기반화된 실현입니다. 이는 FactStatement 를 정규화된 증거 문자열에 대한 바이트 수준 오프셋(유니코드 코드포인트 인덱스) 을 가진 구체적인 텍스트 증거 (문장, 정보상자 필드, 또는 표 셀) 와 연결합니다.
3. FactSynset: 서로 다른 언어와 표면 형태에서 동일한 근본적인 사실을 표현하는 FactStatement 들을 그룹화하는 동치 클래스.

구축 파이프라인

이 파이프라인은 위키미디어 덤프 (Wikidata JSON, Wikipedia XML, SQL 링크 테이블) 를 세 가지 결정론적 단계를 통해 처리합니다:

1. 뷰 생성: 원시 위키텍스트에서 출처가 안정적인 세 가지 뷰를 추출합니다: 문장 뷰(템플릿 스트리핑을 통해), 템플릿 뷰(정보상자 파라미터의 AST 기반 추출), 그리고 표 뷰(구조적 파싱). 노이즈와 오프셋 불안정성을 방지하기 위해 전체 템플릿 확장은 피합니다.
2. 정규화 및 표준화: 정책 주도 표준 키 ($S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$) 를 사용하여 문장들을 FactSynsets 로 집계합니다. 엄격한 동치가 기본값이며, 시맨틱 완화 (예: 시간 정밀도 잘라내기, 단위 변환) 는 명시적 정책 $\pi$를 통해서만 적용되며 기계 판독 가능한 merge_reasons 와 함께 기록됩니다.
3. 매칭 및 출처 추적: 순차적, 데이터 타입 인식 매칭기를 사용하여 문장들을 증거에 정렬합니다:
   • 구조 기반: 정보상자/표 파라미터를 매칭합니다.
   • 링크 기반: Wikilinks 를 통해 엔티티 값 문장들을 QIDs 와 정렬합니다.
   • 어휘적: 텍스트 내 리터럴 값 (시간, 양) 을 매칭합니다.
   • 증거 포인터: 각 FactSense 는 $(page\_id, revision\_id, view\_type, unit\_locator)$와 문자 오프셋을 포함하는 포인터를 포함하여, 소스 덤프에서 정확한 재위치 추적을 가능하게 합니다.

FactNet-Bench

자원을 평가하기 위해 저자들은 지식 그래프 완성 (KGC), 다국어 KG 질문 응답 (MKQA), 그리고 다국어 사실 검증 (MFC) 을 위한 FactNet-Bench를 구축했습니다. 주요 설계 특징은 다음과 같습니다:

• 누출 통제: synset_ids 의 안정적인 해싱을 통해 분할을 생성합니다. Dev/Test synsets 에 정렬된 증거는 학습 풀에서 엄격히 제외됩니다.
• 술어 마스킹: 텍스트 인식 KGC 를 위해, 쿼리 시 설명이 쿼리된 술어와 연관된 값을 마스킹하여 단순 추출을 방지합니다.
• 결정론적 재현성: 모든 분할, 베이스라인, 평가 아티팩트는 고정된 스냅샷에서 파생됩니다.

주요 기여

1. FactNet: 316 개 언어에 걸쳐 구조화된 지식과 원어 다국어 텍스트 증거를 결합한 최초의 십억 규모 자원입니다. 이는 17 억 개의 FactStatement 와 30.1 억 개의 FactSense 를 15.5 억 개의 FactSynset 으로 집계합니다.
2. 결정론적 구축: 합성 아티팩트 없이 전례 없는 규모를 달성하는 파이프라인으로, 모든 증거 포인터가 바이트 수준의 정밀도로 원시 데이터 덤프에서 재현 가능하도록 보장합니다.
3. FactNet-Bench: 기반화된 사실적 추론을 평가하고 구조적, 텍스트 인식, 그리고 LLM 통합 방법들을 구분하기 위한 체계적인 누출 통제를 갖춘 벤치마크 스위트.

결과 및 평가

FactNet-Bench 에 대한 실험은 다음과 같은 것을 보여줍니다:

• 방법론 구분: 벤치마크는 구조적 방법 (TransE, RotatE), 텍스트 인식 방법 (SimKGC, KG-S2S), 그리고 LLM 통합 접근법 (GLTW) 을 효과적으로 구분합니다. LLM 통합 방법이 가장 높은 성능을 달성합니다 (예: GLTW: KGC 에서 0.386 MRR). 그러나 텍스트 인식 방법은 구조적 베이스라인보다 상당한 개선을 보입니다.
• 누출 민감성: 술어 마스킹이 없으면 텍스트 인식 모델은 비정상적인 성능 향상을 보입니다 (예: KG-S2S MRR 이 0.298 에서 0.351 로 급증). 이는 누출 통제가 작업을 정보 추출로 퇴화시키는 것을 방지하기 위해 필요함을 확인시켜 줍니다.
• 교차 언어 전이: 공유된 FactSynset 구조는 지식 전이를 가능하게 합니다. 영어 전용 엔티티 설명으로 학습하면 Tier-2 언어에서 78%, Tier-3 에서 64% 의 성능을 유지하여, 구조적 정렬이 텍스트 희소성을 완화함을 보여줍니다.
• 증거 품질: 밀집 검색 (E5-large) 은 사실 검증에서 BM25 보다 현저히 우수합니다 (정확도 0.701 대 0.654). 정보상자와 표 증거를 포함하는 것이 결정적입니다; 이를 제거하면 MFC 증거 Recall@5 가 14.5% 감소합니다.
• LLM 환각: FactNet 사실에 대한 GPT-4o 와 Qwen-2.5-72B 프로빙은 특히 저자원 언어 (Tier-3: 약 44-48%) 와 시간적 사실 (~34%) 에서 높은 환각률을 드러냅니다. 이는 LLM 이 학습 데이터에서 신뢰할 수 있는 사실적 지식을 인코딩한다는 가정에 도전합니다.
• 외부 검증: FactNet 증강 RAG 시스템은 TriviaQA(+3.4 EM) 와 FEVER(+2.2 정확도, +4.5 증거 F1) 에서 위키백과 덤프 베이스라인보다 우수한 성능을 보이며, 교차 언어 시나리오에서는 더 큰 향상을 보입니다.

중요성 및 주장

이 논문은 FactNet 이 기존 자원을 제한해 온 규모, 기반화 충실도, 그리고 언어적 커버리지 간의 "삼자 트레이드오프"를 해결한다고 주장합니다. 위키백과를 스크래핑할 코퍼스가 아닌 색인을 위한 구조화된 XML 트리로 취급함으로써, FactNet 은 지식 그래프의 규모를 달성하면서도 검증 데이터셋의 기반화 세분성을 유지합니다.

저자들은 FactNet 이 합성 생성에 의존하지 않고 RAG 시스템, 사실 검증, 그리고 다국어 추론을 위한 신뢰할 수 있는 감독을 제공한다고 강조합니다. 이 자원은 사실과 증거 간의 연결을 연구자들이 감사할 수 있도록 출처 우선으로 설계되었습니다. 저자들은 FactNet 이 그 출처 (Wikidata/위키백과) 로부터 편향을 계승하고 고자원 언어를 선호하는 긴 꼬리 분포를 보이지만, 결정론적 구축과 "증거 간극" (예: ungrounded_reason 코드를 통해) 의 명시적 처리가 신뢰할 수 있는 AI 에 대한 미래 연구를 위한 투명한 기반을 제공한다고 지적합니다. 논문은 교차 언어 FactSynset 구조가 언어 티어 간 의미 있는 지식 전이를 촉진하여 저자원 언어에서의 사실적 기반화를 개선하는 길을 제시한다고 결론지었습니다.