ReFACT: 과학적 허구 (Scientific Confabulation) 탐지를 위한 벤치마크 및 위치 오류 주석

이 논문은 대규모 언어 모델 (LLM) 이 과학적 사실과 일치하지 않으면서도 유창하고 그럴듯하게 생성하는 '과학적 허구 (Scientific Confabulation)' 현상을 탐지하고 분석하기 위한 새로운 벤치마크 ReFACT (Reddit False And Correct Texts) 를 소개합니다.

1. 문제 제기 (Problem)

LLM 은 유창한 언어 능력을 갖추고 있지만, 과학적 영역에서는 전문가가 아닌 사용자에게는 그럴듯해 보이지만 사실적으로 완전히 틀린 내용을 생성하는 '과학적 허구'를 자주 범합니다.

• 난이도: 일반적인 사실 오류와 달리, 과학적 허구는 전문 지식이 없으면 식별하기 어렵고 문맥상 매우 그럴듯하게 구성됩니다 (예: DNA 복제를 RNA 메커니즘으로 설명하는 등).
• 현황: 기존 벤치마크들은 주로 이진 분류 (참/거짓) 에 초점을 맞추거나, 합성 데이터 (Synthetic Data) 를 사용하여 실제 과학적 담화의 복잡성을 반영하지 못했습니다. 또한, LLM 이 생성한 오류를 인간이 검증한 데이터셋은 부족했습니다.

2. 방법론 (Methodology)

2.1 데이터 구축 (ReFACT Creation)

• 데이터 소스: 2,300 만 명 이상의 회원이 참여하고 엄격한 moderation 을 거치는 Reddit 의 r/AskScience 커뮤니티에서 실제 인간이 작성한 과학적 질문 - 답변 쌍을 수집했습니다.
• 허구 생성 전략: 수집된 정답을 두 가지 전략으로 변형하여 사실적 오류를 생성했습니다.
  1. 부정 (Negation): 논리적 반전을 통해 사실과 반대되는 문장을 생성.
  2. 개체 교체 (Entity Replacement): 전문 용어나 핵심 개체를 사실과 다른 용어로 교체 (예: 'DNA'를 'RNA'로 변경).
• 품질 관리: 생성된 텍스트가 문맥상 유창하면서도 사실적으로 틀린지 확인하기 위해 다단계 프롬프트 파이프라인과 NLI 분류기를 활용했습니다. 최종적으로 3 명의 어노테이터가 엄격한 기준 (일관성, 사실 오류, 정밀한 스팬 주석) 하에 검증을 거쳐 1,001 개의 질문 - 답변 쌍으로 구성된 최종 데이터셋을 확보했습니다.

2.2 평가 태스크 (Evaluation Tasks)

ReFACT 는 LLM 의 과학적 사실성 능력을 세 가지 태스크로 평가합니다.

1. 판단 (Judgment): 주어진 답변이 사실적인 오류를 포함하는지 이진 분류 (Independent) 또는 두 답변 중 더 정확한 것을 선택 (Comparative).
2. 위치 특정 (Localization): 오류가 발생한 구체적인 텍스트 스팬 (Span) 을 식별.
3. 수정 (Correction): 식별된 오류를 올바른 사실로 교정.

3. 주요 기여 (Key Contributions)

1. 첫 번째 과학적 허구 벤치마크: 10 개 과학 분야에 걸쳐 1,001 개의 정밀하게 주석된 (Span-level, Error Type) 데이터셋을 공개했습니다.
2. 인간 검증 파이프라인: LLM 보조 생성 후 인간 어노테이터의 다중 검증을 통해 고품질의 사실적 오류 데이터를 확보했습니다.
3. 새로운 실패 패턴 발견: 모델이 실제 오류가 아닌 '주목할 만한 오해 (Salient Distractor)'에 집중하는 현상을 규명했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

9 개의 최첨단 LLM (Gemma-3, Llama-3, GPT-4o 등) 을 평가한 결과는 다음과 같습니다.

4.1 주요 발견

• 주목할 만한 오해 (Salient Distractor) 현상:
  • 모델이 생성한 오류 위치 예측의 **61%**가 실제 사실적 오류와 의미적으로 전혀 관련 없는 부분 (예: 전문 용어, 고유명사, 일반적인 과학적 구절) 을 지목했습니다.
  • 이는 모델이 사실적 정확성을 판단하는 것이 아니라, 문맥상 눈에 띄는 (Salient) 단어들에 의존하여 추론하고 있음을 의미합니다.
• 스케일 불변성 (Scale Invariance):
  • 이 실패 패턴은 모델 크기 (1B~70B 파라미터) 와 무관하게 일관되게 나타났습니다. 더 큰 모델이더라도 사실적 오류를 식별하는 능력은 향상되지 않았으며, 단지 더 그럴듯한 '오해'를 선택할 뿐이었습니다. 이는 단순한 스케일링 (Scaling) 만으로는 과학적 사실성 문제가 해결되지 않음을 시사합니다.
• LLM-as-Judge 의 한계:
  • 역설적 결과: 두 답변을 나란히 비교하는 '비교 판단 (Comparative Judgment)'이 단일 답변을 판단하는 '독립 판단 (Independent Judgment)'보다 더 어려웠습니다.
  • 예: GPT-4o 의 경우 독립 판단 F1 점수는 0.67 이었으나, 비교 판단 시 0.53 으로 하락했습니다. 이는 LLM 이 사실성 검증자 (Judge) 로서 신뢰할 수 없음을 강력하게 시사합니다.

4.2 태스크별 성능

• 위치 특정 (Localization): 부정 (Negation) 오류는 상대적으로 잘 찾았으나, 개체 교체 (Entity Replacement) 오류를 찾는 데는 매우 취약했습니다 (GPT-4o 의 정확도 0.47).
• 수정 (Correction): 모든 모델이 오류를 올바르게 수정하는 데 실패했습니다. GPT-4o 의 정확도도 0.28 에 불과했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 과학적 사실성의 근본적 결함: LLM 이 과학적 사실을 이해하고 검증하는 능력은 단순한 파라미터 증가나 프롬프트 엔지니어링 (CoT 등) 으로 해결되지 않는 '의미적 기반 (Semantic Grounding)'의 부재에서 기인함을 증명했습니다.
• 평가 체계의 재고: 현재 연구계에서 널리 사용되는 'LLM-as-Judge' 패러다임, 특히 과학적 사실성 검증에 있어서는 심각한 신뢰성 문제가 있음을 지적했습니다.
• 향후 방향: 모델이 표면적 키워드 대신 실제 사실 관계를 이해하도록 하기 위해, 대조적 학습 (Contrastive Training), 계층적 위치 특정 목표, 명시적 개체 기반 (Entity Grounding) 메커니즘 등의 개선이 필요함을 제안했습니다.

이 논문은 LLM 의 과학적 신뢰성을 높이기 위해 단순한 성능 향상이 아닌, 사실성 기반 (Factuality Grounding) 의 근본적인 해결책이 필요함을 강조하는 중요한 이정표입니다.