ClaimDB: A Fact Verification Benchmark over Large Structured Data

1. 문제 정의 (Problem Definition)

실제 세계의 사실 검증 (Fact-checking) 은 종종 대규모 구조화된 데이터 (수백만 개의 레코드와 여러 개의 테이블) 를 기반으로 한 주장을 확인하는 과정을 포함합니다. 예를 들어, 미국의 인플레이션율이나 특정 도시의 살인 사건 통계와 같은 중요한 정치적/사회적 주장은 방대한 공식 데이터베이스를 기반으로 합니다.

기존의 사실 검증 벤치마크 (FEVER, TabFact 등) 는 다음과 같은 한계를 가집니다:

• 데이터 규모: 증거가 텍스트, 위키백과 표, 또는 소규모 관계형 테이블로 제한되어 있어 LLM(대규모 언어 모델) 의 컨텍스트 윈도우에 모두 들어갈 수 있습니다.
• 검증 방식: 모델이 증거를 단순히 "읽고" (reading) 추론하는 방식에 의존합니다.
• 현실성 부재: 실제 고위험 (high-stakes) 의사결정 상황에서는 데이터가 너무 방대하여 LLM 이 직접 읽을 수 없으며, 실행 가능한 프로그램 (SQL 등) 을 통한 추론이 필수적입니다.

이러한 배경 하에, CLAIMDB는 대규모 구조화된 데이터에 기반한 사실 검증을 평가하기 위해 설계된 새로운 벤치마크입니다.

2. 방법론 (Methodology)

CLAIMDB 는 BIRD 벤치마크 (NL-to-SQL) 를 기반으로 구축되었으며, 다음과 같은 파이프라인을 통해 구성됩니다.

A. 데이터 구성 및 필터링

• 기반 데이터: BIRD 벤치마크의 11,000 개 이상의 자연어 (NL) - SQL 쌍을 출발점으로 사용합니다.
• 컴포지셔널 쿼리 선별: 단순한 조회 (Lookup) 가 아닌, 데이터의 대량 처리를 요구하는 쿼리만 선별합니다. 구체적으로 AST(추상 구문 트리) 를 분석하여 다음을 포함하는 쿼리를 유지합니다:
  • 정렬 또는 최상위/최하위 (Orderings/Superlatives)
  • 집계 함수 (AVG, SUM 등)
  • 윈도우 함수
  • 3 개 이상의 테이블 조인 (Multi-table joins)
• 결과: 약 6,500 개의 NL/SQL 쌍이 남으며, 각 쿼리는 수백만 건의 레코드를 처리합니다.

B. 주장 (Claim) 생성

• Q/A 쌍 변환: SQL 쿼리를 실제 데이터베이스에서 실행하여 정답 (Answer) 을 얻고, 이를 JSON 형식으로 변환합니다.
• 생성 모델: gpt-5 를 사용하여 세 가지 유형의 주장을 생성합니다:
  1. Entailed (추론됨): 정답에 의해 지지되는 주장.
  2. Contradicted (모순됨): 정답과 반대되는 주장.
  3. NEI (Not Enough Info, 정보 부족): 데이터베이스로 판단할 수 없는 주장.
     • Out-of-Schema: 데이터베이스 스키마에 존재하지 않는 개념 포함.
     • Counterfactual: 반사실적 (What-if) 시나리오.
     • Subjective: 주관적 판단.

C. 품질 관리 (Quality Control)

• LLM 어드바이저 패널: 인간 어노테이터 대신 Mistral, Microsoft, xAI 의 다양한 모델들로 구성된 패널을 사용하여 주장의 품질을 평가합니다.
• 평가 기준: 라벨의 정확성, 자기 완결성 (Self-containment, 문맥 참조 없음), 스키마 누출 여부 등을 확인합니다.
• NEI 필터링: NEI 주장 중 데이터베이스 개념과 너무 동떨어진 것 (과도한 상상력) 을 제거하기 위해 시맨틱 유사도 (STS) 점수를 활용하여 상위 25% (Top Quartile) 만을 선별하여 난이도를 높입니다.

D. 벤치마크 통계

• 총 주장 수: 53,368 개 (Entailed: 12,855, Contradicted: 16,529, NEI: 23,984).
• 데이터 규모: 80 개의 고유한 실제 데이터베이스 사용.
• 평균 규모: 주장당 약 11 개의 테이블, 450 만 건의 레코드.
• 토큰 수: 텍스트로 변환 시 주장당 약 1 억 1 천만 토큰 (110M tokens). 이는 최신 LLM 의 컨텍스트 윈도우 (보통 100 만~200 만 토큰) 를 훨씬 초과합니다.

3. 주요 기여 (Key Contributions)

1. CLAIMDB 벤치마크 출시: 대규모 구조화된 데이터 (수백만 레코드, 다중 테이블) 에 기반한 사실 검증을 위한 최초의 포괄적인 벤치마크를 공개했습니다.
2. 실행 가능 추론 (Executable Reasoning) 의 필요성 강조: 단순한 컨텍스트 내 읽기 (In-context reading) 가 불가능한 규모에서, SQL 실행과 같은 실행 가능한 프로그램을 통한 추론이 필수적임을 입증했습니다.
3. LLM 의 한계 규명: 30 개의 최신 모델 (Proprietary 및 Open-source) 을 평가하여, 대규모 데이터 처리에서의 추론 능력과 '중단 (Abstention)' 능력의 부족을 발견했습니다.
4. 오픈 소스 및 리더보드 공개: 데이터, 코드, 평가 결과를 https://claimdb.github.io 를 통해 공개했습니다.

4. 실험 결과 (Results)

30 개의 최신 LLM(70B 이하의 오픈 소스 및 상용 모델 포함) 을 평가한 결과는 다음과 같습니다.

• 전반적인 성능: 평가된 모델 중 50% 이상 (17 개) 이 55% 미만의 정확도를 기록했습니다. 이는 대규모 구조화된 데이터에 대한 사실 검증이 여전히 매우 어렵다는 것을 의미합니다.
• 성능 상위 모델:
  • gpt-5-mini가 가장 높은 성능 (약 82.7% 정확도) 을 보였습니다.
  • 그 뒤를 Claude Haiku 4.5, Gemini 3 Flash가 이었습니다.
  • 오픈 소스 모델 중에서는 gpt-oss-20b 가 상용 모델과 유사한 성능을 보였으나, 그 외의 오픈 소스 모델들은 68% 미만의 성능에 그쳤습니다.
• 도구 호출 (Tool Calling) 패턴:
  • 성공적인 모델들은 평균 4~8 번의 SQL 도구 호출을 사용했습니다.
  • 너무 많거나 적은 호출 수는 성능 저하와 관련이 있었습니다.
  • 상위 모델들은 SQL 문법 오류가 적었으나, 복잡한 데이터베이스 탐색을 위한 쿼리 조합 (Reasoning) 에서 실패하는 경우가 많았습니다.
• NEI (정보 부족) 처리의 실패:
  • 상용 모델: NEI 라벨을 예측하는 것을 극도로 꺼리는 경향 (Abstention failure) 을 보였습니다. 정보가 없어도 무작위로 Entailed 또는 Contradicted 라벨을 붙였습니다.
  • 오픈 소스 모델: 반대로 NEI 라벨을 지나치게 많이 예측하는 경향을 보였습니다.
  • 이는 두 모델군 모두 "정보 부족"을 인정하는 능력 (Abstention) 에서 심각한 결함을 가지고 있음을 시사합니다.
• 데이터 오염 (Contamination) 부재: 외부 도구 없이 순수한 파라미터 지식만으로 평가했을 때 성능이 무작위 수준에 가까웠으므로, 모델이 훈련 데이터에서 이 벤치마크를 암기했을 가능성은 낮습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 세계 적용 가능성: CLAIMDB 는 실제 고위험 의사결정 (정치, 금융, 의료 등) 에서 필요한 대규모 데이터 기반 사실 검증을 시뮬레이션합니다.
• LLM 의 한계와 방향성: 현재 LLM 은 대규모 구조화된 데이터를 직접 읽을 수 없으며, 실행 가능한 도구 (SQL 등) 를 활용한 에이전트 방식이 필수적입니다. 또한, "모르겠다"고 인정하는 능력 (Abstention) 이 고위험 작업에서 신뢰성을 결정하는 핵심 요소임을 강조합니다.
• 미래 연구: 오픈 소스 모델의 성능 향상과 NEI 처리 능력 개선, 그리고 다중 모달 (텍스트 + 구조화 데이터) 검증으로의 확장이 향후 연구 과제로 제시되었습니다.

요약하자면, CLAIMDB 는 LLM 이 대규모 데이터베이스를 기반으로 한 복잡한 사실 검증을 수행할 때 직면하는 근본적인 난제 (규모, 추론, 중단 능력) 를 체계적으로 평가할 수 있는 표준을 제시한 중요한 작업입니다.