💬 NLP

Can LLMs Automate Fact-Checking Article Writing?

이 논문은 전문 팩트체커의 작업 방식을 모방하여 자동 팩트체크 결과물을 일반 대중이 읽기 좋은 기사 형태로 생성하는 LLM 기반 에이전트 프레임워크인 'QRAFT'를 제안하고, 전문가 평가를 통해 그 유용성을 검증했습니다.

원저자: Dhruv Sahnan, David Corney, Irene Larraz, Giovanni Zagni, Ruben Miguez, Zhuohan Xie, Iryna Gurevych, Elizabeth Churchill, Tanmoy Chakraborty, Preslav Nakov

게시일 2026-02-11

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhruv Sahnan, David Corney, Irene Larraz, Giovanni Zagni, Ruben Miguez, Zhuohan Xie, Iryna Gurevych, Elizabeth Churchill, Tanmoy Chakraborty, Preslav Nakov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 상황 설정: "가짜 뉴스라는 범인을 잡는 탐정들"

세상에는 매일 수만 명의 '가짜 뉴스 범인'들이 돌아다닙니다. 이를 잡기 위해 **전문 탐정(팩트체커)**들이 일하고 있죠.

기존의 AI 기술은 마치 **'지문 인식기'**와 같았습니다. "이 글은 가짜야!"라고 딱딱하게 결과만 알려주는 식이었죠. 하지만 진짜 탐정은 단순히 "범인이다!"라고 외치고 끝내지 않습니다.

진짜 탐정은 이렇게 합니다:

"이 범인은 이런 옷을 입고 있었고..." (배경 설명)
"이 증거물들을 보니 이런 정황이 포착되었습니다." (증거 제시)
"그래서 결론적으로 이 사람은 범인이 맞습니다." (논리적 결론)

이렇게 사람들이 이해하기 쉽게 **'수사 보고서(팩트체크 기사)'**를 써야 하는데, 지금까지의 AI는 이 '보고서 쓰기'를 못했다는 것이 이 논문의 핵심 문제입니다.

🛠️ 해결책: AI 탐정 팀 'QRAFT'의 등장

연구진은 AI 혼자서 글을 쓰게 하는 대신, **'역할 분담을 한 AI 팀'**을 만들었습니다. 마치 영화 촬영장에서 감독, 작가, 편집자가 협업하는 것과 비슷합니다. 이 팀의 이름은 QRAFT입니다.

기획자 AI (Planner): 흩어진 증거 조각들을 모아 "자, 이번 보고서는 이런 순서로 써보자!"라고 **설계도(개요)**를 그립니다.
작가 AI (Writer): 설계도를 보고 실제 문장으로 살을 붙여 초안을 작성합니다.
편집자 AI (Editor): 완성된 글을 읽어보고 "이 부분은 설명이 부족해!", "이 문장은 너무 헷갈려!"라며 수정 지시를 내립니다. 작가는 이 지시를 받아 글을 다시 다듬습니다.

이렇게 서로 대화하며 글을 고치는 과정을 통해, AI는 훨씬 더 짜임새 있는 기사를 만들어냅니다.

📊 결과: "성적표는 우수하지만, 아직 '베테랑'은 아니다"

연구진은 이 AI 팀이 쓴 글을 실제 전문 탐정들에게 보여주고 평가를 받았습니다.

AI의 성적 (자동 평가): 기존의 단순한 AI들보다는 훨씬 똑똑했습니다. 증거를 더 잘 활용하고, 엉뚱한 가짜 링크를 만들어내는 실수(환각 현상)도 많이 줄였습니다.
인간의 평가 (전문가 평가): 하지만 **"이걸 그대로 뉴스에 내보낼 수 있겠느냐?"**라는 질문에는 전문가들이 고개를 저었습니다.

전문가들이 지적한 AI의 한계:

"말이 너무 많아!": 핵심만 딱 말해야 하는데, 쓸데없는 정보까지 너무 길게 늘어놓는 경향이 있습니다. (마치 수사 보고서에 사건과 상관없는 날씨 이야기까지 구구절절 적는 느낌입니다.)
"논리가 살짝 부족해!": 증거는 잘 가져오는데, 그 증거가 왜 이 결론으로 이어지는지 설명하는 '논리적 연결고리'가 사람만큼 날카롭지 못합니다.

💡 결론: AI는 '대필 작가'가 아니라 '유능한 조수'

이 논문의 결론은 **"AI가 팩트체크 기사를 완전히 대신할 수는 없지만, 아주 훌륭한 조수가 될 수는 있다"**는 것입니다.

AI가 0에서 100까지 다 하는 것이 아니라, AI가 60~70점짜리 초안을 빠르게 만들어주면, 베테랑 탐정(사람)이 이를 검토하고 다듬어서 100점짜리 기사를 완성하는 방식이 가장 현실적이고 강력하다는 것이죠.

한 줄 요약:
"AI 탐정 팀(QRAFT)을 만들었더니 보고서 초안은 기가 막히게 써오지만, 마지막 '한 끗' 차이의 날카로운 통찰력은 여전히 인간 탐정의 손길이 필요하다!"

[기술 요약] LLM을 이용한 팩트체크 기사 작성 자동화 연구

1. 문제 정의 (Problem Statement)

기존의 자동 팩트체크(Automatic Fact-checking) 연구는 주로 '주장의 진위 여부 판별'이나 '짧은 설명 생성'에 집중해 왔습니다. 하지만 실제 전문 팩트체커들은 단순히 진위를 가리는 것을 넘어, 대중이 이해할 수 있도록 맥락, 근거, 배경 정보, 반론 등을 포함한 상세한 '팩트체크 기사(Fact-checking Article)'를 작성하는 데 매우 많은 시간을 할애합니다.

현재의 자동화 시스템은 다음과 같은 한계가 있습니다:

출력물의 부재: 진위 판별 결과만 제공할 뿐, 대중에게 배포 가능한 형태의 완성된 기사를 생성하지 못함.
설명과 기사의 차이: 기존의 '짧은 설명(Brief Explanation)'은 단순 근거 요약에 그치지만, 전문적인 '기사'는 복잡한 맥락과 논리적 추론을 요구함.
전문가 신뢰 부족: LLM의 환각(Hallucination), 세계 지식 부족, 맥락 파악 능력 미비로 인해 전문가들이 AI 생성물을 그대로 신뢰하지 못함.

2. 방법론 (Methodology): QRAFT 프레임워크

본 논문은 전문가의 글쓰기 워크플로우를 모방한 에이전트 기반 프레임워크인 QRAFT를 제안합니다. QRAFT는 세 가지 핵심 AI 에이전트가 협업하는 구조를 가집니다.

A. 2단계 워크플로우

초안 계획 및 작성 (Draft Planning and Compiling):
- Planner (기획자): 증거 문서에서 핵심 정보(Evidence Nuggets)를 추출하고, 설정된 선호도(Preferences)에 따라 기사의 개요(Outline)를 작성합니다. 작성된 초안이 가이드라인을 준수하는지 스스로 검증합니다.
- Writer (작성자): Planner가 만든 개요를 바탕으로 상세한 기사 초안을 작성합니다.
편집 리뷰 시뮬레이션 (Simulating Editorial Review):
- Editor (편집자): 작성된 초안을 검토하며 Writer에게 질문(Question-answering)을 던져 모호한 부분을 지적하고 수정을 요구합니다.
- Iterative Refinement: 이 과정을 반복하여 기사의 품질을 점진적으로 높입니다.

B. 에이전트 구성

Planner & Writer: 효율성을 위해 상대적으로 가벼운 GPT-4o-mini 사용.
Editor: 고도의 비판적 사고와 피드백 능력을 위해 GPT-4o 사용.

3. 주요 기여 (Key Contributions)

새로운 태스크 정의: 단순 진위 판별을 넘어 '전체 팩트체크 기사 생성'이라는 새로운 연구 과제를 정의하고, 전문가 인터뷰를 통해 기사의 필수 요건(맥락 제공, 투명한 스타일, 근거의 출처 명시 등)을 도출함.
QRAFT 프레임워크 제안: 인간의 글쓰기 과정(계획 $\rightarrow$ 작성 $\rightarrow$ 편집)을 모방한 멀티 에이전트 시스템을 설계함.
전문가 협업 기반 평가: 실제 팩트체킹 기관의 전문가들을 참여시켜 자동 평가 지표와 실제 유용성 사이의 간극을 분석함.

4. 연구 결과 (Results)

A. 자동 평가 (Automatic Evaluation)

성능 우위: ROUGE, BERTScore, FactScore 등 대부분의 자동 지표에서 기존의 Baseline(Vanilla-GPT, Storm 등)보다 높은 성능을 보였습니다.
정확성 및 신뢰성: 특히 **FactScore(사실성 점수)**에서 가장 높은 점수를 기록했으며, 환각된 인용(Hallucinated Citations) 비율을 낮추는 데 성공했습니다.
단계별 효과: 편집 리뷰(Stage b)를 추가했을 때 환각 인용이 크게 줄어들고 이해도가 높아지는 등 성능 향상이 뚜렷했습니다.

B. 전문가 평가 (Human/Expert Evaluation)

한계점 노출: 자동 평가와 달리, 실제 전문가들은 QRAFT가 생성한 기사가 전문가가 직접 쓴 기사(Expert-written)에는 미치지 못한다고 평가했습니다.
주요 비판 사항:
- 과도한 상세함(Too elaborative): 불필요한 세부 정보를 포함하여 오히려 가독성을 해치는 경우가 있음.
- 논리적 추론 부족: 데이터를 나열할 뿐, 그 데이터가 왜 해당 주장의 진위를 결정짓는지에 대한 '논리적 연결(Argumentation)'이 약함.
- 출판 가능성(Publishability): 전문가들은 AI 기사를 그대로 쓰기보다는, 아이디어를 얻기 위한 '초안' 정도로 활용할 수 있다고 보았습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 LLM이 팩트체크 기사 작성의 **보조 도구(Assistant)**로서 강력한 잠재력을 가지고 있음을 입증함과 동시에, 전문적인 저널리즘 수준에 도달하기 위해 해결해야 할 과제를 명확히 제시했습니다.

결론적으로:

LLM은 팩트체크 기사의 구조를 잡고 초안을 작성하는 데 매우 유용하지만, 최종적인 논리 구성과 맥락 연결은 여전히 **인간 전문가의 감독(Human-in-the-loop)**이 필수적입니다.
향후 연구 방향으로 단순 정보 요약을 넘어선 '심층적 추론(Deep Reasoning)' 단계의 도입과, 인간과 AI가 협업하는 **'인간-AI 협력 모델'**의 필요성을 강조하며 마무리됩니다.