기술 요약: CAAFC – 연차적 실행 가능 자동 사실 확인기

문제 제기

온라인 콘텐츠의 급속한 확산과 할루시네이션에 취약한 AI 생성 텍스트의 등장으로 수동 사실 확인은 더 이상 실행 불가능해졌습니다. 기존 자동 사실 확인 (AFC) 시스템은 전문 사실 확인 관행과 심각한 불일치를 겪고 있습니다. 구체적으로 현재 시스템은 종종 다음과 같은 문제를 보입니다:

1. 2 차 출처 의존: 공식 성명이나 원시 데이터와 같은 1 차 출처 대신 언론 매체에서 증거를 검색하여 해석적 편향을 초래합니다.
2. 시간적 근거 부재: 사실의 시간적 성격을 고려하지 않아 구식 증거를 사용하거나 시간적 맥락을 놓쳐 '증거 시간적 불일치'를 초래합니다.
3. 작업 통합 미흡: 비사실적 할루시네이션 탐지와 자동 사실 확인을 별개의 문제로 취급하지 않고 통합된 작업으로 다루지 못합니다.
4. 저품질 근거 생성: 설명이 명시적 구조를 갖추지 못하고, 출처에 대한 추적 가능성이 부족하며, 오류 식별, 수정 제공, 출처 인용 등 실행 가능한 교정을 제공하지 못합니다.
5. 대규모 모델 과의존: 이러한 작업을 효과적으로 수행할 수 있는 것은 거대 언어 모델 (LLM) 뿐이라는 전제로, 작업을 분해하여 더 작고 효율적인 모델을 활용할 가능성을 간과합니다.

방법론: CAAFC 프레임워크

저자들은 전문 방법론과 자동 시스템 간의 격차를 해소하도록 설계된 모듈식 프레임워크인 CAAFC(Chronological Actionable Automated Fact-Checker) 를 소개합니다. CAAFC 는 양자화된 LLM(주로 Gemma3-27B) 을 사용하여 주장, 대화 및 담화를 처리하며, 여섯 가지 핵심 모듈을 중심으로 구조화되어 있습니다:

1. 추출기 - 분할기: '확인 가치'가 있는 주장만 필터링하는 고전적 파이프라인과 달리, 이 모듈은 입력 텍스트에서 가능한 모든 주장을 추출하고 복잡한 주장이나 대화를 원자적 하위 주장으로 분해합니다. 이러한 세분화는 정밀한 검증과 투명성을 가능하게 합니다.
2. 1 차 연차적 증거 검색기: 이 모듈은 2 차 미디어 대신 1 차 출처(예: 공식 정부 기록, 원본 성명) 로 검색을 유도합니다. 특히 연차성을 통합하여 주장이 제기된 시점에 관련된 증거와 현재까지의 최신 지식을 모두 검색합니다. 이는 Google AI Mode(Gemini-Pro-3) 를 활용하여 이러한 1 차 출처의 검색 결과를 요약합니다.
3. 사실 확인기: 이 모듈은 검색된 증거에 대해 각 원자적 주장을 평가하여 진실성 레이블(True, False 또는 Unverifiable) 을 할당하고 예비 근거를 생성합니다. 전체 주장에 대한 최종 판정은 단일 원자적 주장이 거짓이면 전체 주장이 거짓이 된다는 논리를 사용하여 집계됩니다.
4. 실행 가능 근거 생성기: 주장, 증거, 원자적 진실성 레이블을 통합하여 구조화된 실행 가능한 설명을 생성하는 새로운 모듈입니다. 이 설명은 사실적 오류를 명시적으로 식별하고, 수정안을 제공하며, 지지하는 출처를 인용합니다.
5. 실행 가능성 평가기: 이 모듈은 FinGrAct 프레임워크를 사용하여 생성된 근거의 품질을 평가합니다. 오류 탐지, 오류 수정, 인용된 링크의 관련성/기능성이라는 세 가지 기준에 따라 근거에 점수를 매깁니다. 수용 가능성을 위해서는 7 점 만점에 4 점 이상의 점수가 필요합니다.
6. 근거 수정기: 실행 가능성 평가기가 근거가 부족하다고 판단할 경우, 이 모듈은 피드백을 반영하여 누락된 수정안을 추가하거나 간과된 오류를 강조함으로써 출력을 정제하여 최종 출력이 실행 가능성 임계치를 충족하도록 보장합니다.

주요 기여

이 논문은 특정 연구 질문에 대응하는 다섯 가지 주요 기여를 제시합니다:

• C1(연차성 및 지식 업데이트): CAAFC 는 타임스탬프가 지정되고 순서가 매겨진 증거를 검색함으로써 데이터베이스의 구식 또는 누락된 지식을 탐지하는 방법을 도입합니다. 이 새로운 연차적 증거를 기반으로 지식 베이스를 수정하여 설명이 사건 발생의 올바른 순서를 반영하도록 합니다.
• C2(1 차 출처 정렬): 이 프레임워크는 2 차 미디어보다 원본/1 차 출처를 우선시함으로써 전문 사실 확인기를 명시적으로 모방하여 해석적 편향을 줄입니다.
• C3(작업 통합): 비사실적 할루시네이션 탐지와 자동 사실 확인을 허위 정보 탐지 및 수정을 위한 단일 통합 작업으로 재정의합니다.
• C4(분해를 통한 효율성): 저자들은 사실 확인이라는 복잡한 작업을 더 작은 하위 작업으로 분해함으로써, 더 작고 양자화된 LLM(특히 Gemma3-27B) 이 정확도와 매크로 F1 점수 측면에서 훨씬 더 큰 최첨단 모델(GPT-5.2, LLAMA3.3-70B, GPT-OSS-120B 등) 보다 훨씬 뛰어난 성능을 발휘할 수 있음을 입증했습니다. 이는 훨씬 더 많은 컴퓨팅 자원을 필요로 하는 대형 모델에 비해 17GB GPU 메모리라는 훨씬 적은 자원으로 가능합니다.
• C5(구조화된 실행 가능성): 이 프레임워크는 단순한 참/거짓 레이블을 넘어 투명성과 사용자 신뢰를 강화하는 고품질 구조화된 근거를 생성하기 위해 실행 가능 근거 생성기, 평가기, 수정기라는 새로운 아키텍처 구성 요소를 도입합니다.

실험 결과

이 프레임워크는 AVeriTeC, CoverBench, FACTors, 그리고 대화 기반 할루시네이션 탐지인 DiaHalu라는 네 가지 벤치마크 데이터셋에서 평가되었습니다.

• 증거 품질: 저자들은 기존 데이터셋에서 Google 이 검색한 1 차 출처에 비해 데이터셋 증거가 구식이거나 맥락이 부족하여 상당한 '증거 시간적 불일치'가 있음을 확인했습니다. 인간 주석자들은 이러한 경우 Google 이 검색한 증거가 더 우수하다고 확인했습니다.
• 사실 확인 성능:
  • AVeriTeC에서 CAAFC(Gemma3-27B) 는 데이터 정제 후 0.894의 정확도를 달성하여 InFact(0.720) 와 파인튜닝된 LLaMA 3.1-70B(0.752) 를 능가했습니다.
  • CoverBench에서는 0.829의 정확도를 달성하여 SOTA 인 Claude 3.5 Sonnet(0.689) 을 능가했습니다.
  • FACTors에서는 0.919의 정확도에 도달하여 파인튜닝된 RoBERTa 기준선(0.849) 을 초과했습니다.
  • 주목할 점은 더 작은 Gemma3-27B 모델이 파라미터가 2.6 배에서 4 배 더 많은 모델들의 성능과 일치하거나 능가했다는 것입니다.
• 할루시네이션 탐지 성능: DiaHalu 데이터셋에서 CAAFC 는 0.684의 매크로 F1 점수를 달성하여 GPT-5.2(0.682) 를 능가했고, GPT-4(0.473) 와 Temporal Graph Networks(0.495) 를 훨씬 능가했습니다.
• 실행 가능성: FinGrAct 프레임워크에 따르면 생성된 근거는 높은 실행 가능성 점수(대부분 7 점 만점에 6~7 점) 를 받아 오류를 성공적으로 식별하고 수정안을 제공하며 기능적인 출처를 인용했음을 나타냈습니다.

중요성과 주장

이 논문은 CAAFC 가 자동 사실 확인 접근 방식의 변화를 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 작업이 적절히 분해되고 고품질 연차적 증거로 지원될 때 더 작은 모델이 더 큰 모델보다 뛰어난 성능을 발휘할 수 있음을 입증합니다.
2. 전문 방법론(1 차 출처, 시간적 근거, 추적 가능한 근거) 을 준수함으로써 전문 사실 확인과 자동 사실 확인 간의 격차를 해소합니다.
3. 사용자가 주장을 독립적으로 검증할 수 있도록 하는 실행 가능하고 구조화된 설명을 통해 신뢰성과 투명성을 강화합니다.
4. 증거 연차성의 중요성을 입증하여 기존 벤치마크의 많은 '오류'가 실제로 구식 데이터셋 증거의 산물임을 보여줍니다.

저자들은 현재 영어 콘텐츠로 제한된 점과 검색된 증거에 대한 검색 엔진 편향 가능성 등 한계를 인정합니다. 또한 프레임워크가 GPU 메모리 요구 사항을 줄이지만 다단계 추론 과정이 지연을 초래한다는 점을 지적하며, 이는 향후 작업에서 해결할 계획이라고 밝혔습니다.