💬 NLP

FactAppeal: Identifying Epistemic Factual Appeals in News Media

이 논문은 뉴스 문장에서 사실적 주장의 신뢰성을 뒷받침하는 외부 출처와 증거를 식별하는 새로운 작업인 '인식론적 호소 식별'을 제안하고, 이를 위해 3,226 개의 영어 뉴스 문장으로 구성된 FactAppeal 데이터셋과 다양한 모델 기반의 성능 평가 결과를 제시합니다.

원저자: Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav

게시일 2026-03-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 핵심 개념: "사실"과 "사실인 척하는 방법"의 차이

우리가 뉴스를 볼 때, "A 사건이 일어났다"라고 쓰여 있으면 그냥 사실이라고 믿기 쉽습니다. 하지만 이 논문은 **"그걸 누가, 어떻게 증명했는가?"**에 주목합니다.

예를 들어 보죠.

사실만 말한 경우: "내일 비가 온다." (누가 그랬는지 모름. 그냥 내 생각일 수도 있음)
팩트어필 (Epistemic Appeal) 을 한 경우: "기상청 전문가가 내일 비가 온다고 발표했다." (누가, 어떤 자격으로, 어떻게 말했는지 명시됨)

이 논문은 뉴스 속 문장들이 어떤 '증거'나 '출처'를 끌어와서 자신의 말을 믿게 하려는지를 찾아내는 새로운 작업을 제안합니다. 이를 **'인지적 호소 (Epistemic Appeal) 식별'**이라고 부릅니다.

📚 FACTAPPEAL: 뉴스의 '신뢰도 지도'를 만든 프로젝트

연구진은 3,226 개의 뉴스 문장을 분석하여 FACTAPPEAL이라는 데이터셋을 만들었습니다. 이 작업은 마치 뉴스 문장을 해부하는 것과 같습니다.

1. 문장을 해부하는 세 가지 도구 (주석 태깅)

연구진은 문장 속의 단어들을 다음과 같이 분류했습니다.

🔍 사실 (Fact): 외부 세계에 대한 진짜 (또는 거짓) 정보.
🗣️ 출처 (Source): 그 정보를 알려준 사람이나 자료.
- 예: "전문가 (Expert)", "목격자 (Witness)", "공식 문서 (Official Document)"
📜 인용 방식 (Quotation):
- 직접 인용: "그는 이렇게 말했다. '나는 봤다.'" (말 그대로)
- 간접 인용: 그는 자신이 그 장면을 보았다고 전했다. (요약)

2. 출처의 종류 (누가 말했나?)

뉴스는 다양한 '권위'를 빌려옵니다. 이 논문은 그 권위를 7 가지로 나누었습니다.

직접 참여자: 사건에 직접 참여한 사람 (예: 화난 시민)
목격자: 봤지만 참여하지는 않은 사람
공직자: 정부나 기관의 권한을 가진 사람 (예: 대통령, 장관)
전문가: 특정 분야의 지식을 가진 사람 (예: 의사, 과학자)
직접 증거: 사진, 영상, 물증 등
전문 문서: 연구 보고서, 논문 등
뉴스 보도: 다른 뉴스 기사의 인용

🤖 인공지능은 이걸 잘해낼까? (실험 결과)

연구진은 최신 인공지능 (AI) 모델들을 훈련시켜 이 '출처 찾기' 게임을 시켰습니다.

결과: AI 는 꽤 잘해냈습니다. 특히 Gemma 2 9B라는 모델이 가장 잘해서, 100 점 만점에 약 73 점을 받았습니다.
의미: AI 가 단순히 "이 문장은 사실이다"라고만 판단하는 것을 넘어, **"이 사실은 누구의 말을 인용한 거야?"**까지 이해할 수 있다는 뜻입니다.

하지만 아직 완벽하지는 않습니다. 예를 들어, "목격자"와 "직접 참여자"를 구분하거나, 출처가 이름 없이 언급되었을 때 (예: "한 소식통에 따르면...") 어떤 유형인지 파악하는 것은 여전히 어렵습니다.

💡 왜 이 연구가 중요할까요? (일상생활에서의 비유)

이 연구를 **스마트폰의 '사기성 광고 필터'**에 비유해 볼 수 있습니다.

가짜 뉴스와 조작된 정보: 요즘 가짜 뉴스는 "전문가들이 말하길..."이라고 속여 넘깁니다. 하지만 그 '전문가'가 진짜 의사인지, 아니면 가짜 이름인지 모릅니다.
FACTAPPEAL 의 역할: 이 도구는 **"아, 이 기사는 '목격자'의 말을 인용했구나, 그런데 그 목격자는 이름도 없이 '한 시민'이라고만 했네?"**라고 알려줍니다.
독자의 이득: 우리는 뉴스를 읽을 때, **"이건 그냥 의견인가, 아니면 확실한 증거를 바탕으로 한 사실인가?"**를 더 빠르게 파악할 수 있게 됩니다.

🚀 결론

이 논문은 "뉴스가 어떻게 우리를 설득하는지" 그 숨겨진 구조를 파헤친 첫걸음입니다.

기존 연구: "이 말은 사실일까?" (Yes/No)
이 연구: "이 말이 왜 사실이라고 주장하는 걸까? (누구의 말인가, 어떤 증거인가)"

이 기술이 발전하면, AI 가 가짜 뉴스를 찾아낼 때 단순히 내용만 비교하는 것이 아니라, **"이 기사는 출처가 불분명한 목격자의 말을 과장해서 믿게 하려고 한다"**는 식으로 훨씬 정교하게 분석할 수 있게 될 것입니다.

즉, FACTAPPEAL은 우리가 뉴스를 읽을 때, '무엇'이 말해졌는지보다 '어떻게' 말해졌는지를 보게 해주는 새로운 안경과 같은 것입니다.

1. 문제 정의 (Problem Definition)

기존의 사실 확인 (Fact-checking) 및 주장 검증 (Claim Verification) 연구는 주로 문장의 내용이 사실인지 여부를 판별하거나, 특정 주장이 증거에 의해 지지되는지 여부를 확인하는 데 초점을 맞추어 왔습니다. 그러나 이러한 접근법은 주장이 어떻게 구성되고, 어떤 외부 출처 (Source) 를 통해 신뢰성을 확보하는지에 대한 인식론적 구조 (Epistemic Structure) 를 간과하고 있습니다.

뉴스 미디어에서 사실적 주장의 신뢰성은 단순히 내용뿐만 아니라, 전문가 증언, 공식 발표, 직접적 증거 등 외부 지식 출처에 어떻게 호소 (Appeal) 하느냐에 따라 결정됩니다. 따라서 본 논문은 다음과 같은 새로운 과제를 제시합니다:

인식론적 호소 식별 (Epistemic Appeal Identification): 문장이 사실적 주장인지 판단하고, 만약 그렇다면 그 주장이 어떤 외부 출처나 증거에 기반하여 지지되는지를 식별하는 작업.
기존 데이터셋이 주장의 진위 여부 (True/False) 에만 집중했다면, FACTAPPEAL 은 주장의 신뢰성 부여 메커니즘 (신뢰할 수 있는 출처의 유형, 인용 방식, 출처의 자격 등) 을 세밀하게 분석하는 것을 목표로 합니다.

2. 방법론 (Methodology)

2.1. 데이터셋: FACTAPPEAL

구성: 2020 년부터 2022 년까지 발행된 영어 뉴스 기사에서 추출한 3,226 개의 문장으로 구성됨.
주석 방식 (Annotation Scheme): 문장 단위 (Sentence-level) 가 아닌 스팬 단위 (Span-level) 로 세밀하게 주석을 다는 방식을 채택함. 이는 텍스트 내에서 사실적 주장, 비사실적 요소, 그리고 다양한 인식론적 호소 요소를 구분할 수 있게 함.
주석 태그 및 계층 구조:
- 사실성 구분: Fact Without Appeal (출처 없이 제시된 사실), Fact With Appeal (출처를 통해 지지된 사실).
- 인용 방식: Direct Quote (직접 인용), Indirect Quote (간접 인용/개사).
- 출처 (Source) 분류:
  - 내부적 출처 (Internal): 사건과 직접적인 연결이 있는 경우.
    - Active Participant (활동 참여자), Witness (목격자), Official (공무원/공식 인물), Direct Evidence (직접 증거).
  - 외부적 출처 (External): 사건과 직접적 연결은 없으나 전문성을 가진 경우.
    - Expert (전문가), Expert Document (전문 문서/연구 보고서), News Report (다른 뉴스 보도).
- 추가 속성: 출처의 이름 유무 (Named/Unnamed), 출처의 직함/자격 (Source Attribute), 정보 전달 대상 (Recipient), 시간 및 장소 (Appeal Time/Location).

2.2. 실험 모델링

두 가지 주요 모델링 전략을 비교 평가함:

인코더 기반 모델 (Encoder-only):
- 토큰 수준의 다중 레이블 분류 (Multi-label classification) 수행.
- 사용 모델: RoBERTa, DeBERTa v3, ModernBERT (Base 버전).
- 손실 함수: Focal Loss 사용.
생성형 디코더 모델 (Generative Decoder):
- 시퀀스 투 시퀀스 (Seq2Seq) 방식으로 원본 문장을 입력받아 주석이 달린 XML 형식의 문장을 생성하도록 학습.
- 사용 모델: Gemma 2 (2B, 9B), Llama 3.1 (8B), Mistral v0.3 (7B).
- 학습 기법: QLORA (4-bit 양자화), LoRA 파라미터 설정 ( $r=256, \alpha=256$ ).

3. 주요 기여 (Key Contributions)

FACTAPPEAL 데이터셋 공개: 뉴스 미디어의 사실적 주장에 대한 인식론적 구조를 분석할 수 있는 최초의 대규모 세밀 주석 데이터셋을 제공함.
새로운 태스크 정의: 단순한 사실 확인을 넘어, 주장이 어떻게 '신뢰할 수 있는' 것으로 포장되는지 (Epistemic Justification) 를 분석하는 새로운 NLP 태스크를 정립함.
세밀한 주석 체계: 출처의 유형 (전문가, 목격자 등), 인용 방식 (직접/간접), 출처의 명칭 유무 등 다차원적인 특징을 포착하는 주석 스키마를 제안함.
모델 성능 벤치마크: 인코더 기반 모델과 생성형 LLM 을 활용한 인식론적 호소 식별 태스크에 대한 초기 벤치마크 결과를 제시함.

4. 실험 결과 (Results)

성능 지표: 18 가지 태그 카테고리 (사실성, 출처 유형, 인용 방식 등) 에 대한 매크로 평균 (Macro-average) Word-level F1 점수를 평가.
최고 성능 모델: Gemma 2 9B가 Macro-F1 0.73을 기록하여 가장 우수한 성능을 보임.
모델 비교:
- 생성형 디코더 모델 (특히 9B 파라미터 규모의 Gemma 2) 이 인코더 기반 모델 (RoBERTa 등, F1 약 0.70) 보다 전반적으로 우수한 성능을 보였음.
- 인코더 모델은 태그의 빈도 (Prevalence) 와 성능 간 상관관계가 높았으나, 생성형 모델은 상대적으로 덜한 상관관계를 보이며 희귀한 태그 (예: 목격자, 직접 증거) 에 대해서도 더 균일한 성능을 보임.
어려운 과제: 'Active Participant', 'Witness', 'Direct Evidence'와 같은 특정 출처 유형 식별은 여전히 낮은 F1 점수 (0.5~0.7 대) 를 기록하여, 이 태스크가 여전히 도전적임을 보여줌.

5. 의의 및 향후 전망 (Significance & Future Work)

학문적 의의:
- 자동 사실 확인 (Automated Fact-checking): 출처의 신뢰성 신호를 통합하여 더 정교한 주장 검증 시스템 개발 가능.
- 담론 분석 및 사회과학: 정치 철학, 사회 인식론, 커뮤니케이션 연구에서 뉴스 미디어가 사실을 어떻게 구성하고 정당화하는지 분석하는 도구를 제공. 이는 정치적 양극화와 '깊은 불일치 (Deep Disagreements)'를 이해하는 데 기여함.
한계점 및 개선 방향:
- 현재는 문장 단위 주석만 존재하므로, 문단이나 전체 기사 단위로 확장하여 더 복잡한 담론 구조를 분석할 필요성 제기.
- 영어 뉴스 (2020-2022) 에 국한되어 있으므로, 다른 언어, 도메인, 시기로 확장하여 일반화 가능성 검증 필요.
- 하나의 문장에 여러 출처와 주장이 공존할 때, 각 출처와 주장 간의 명시적 연결 (Linking) 을 강화할 필요성 제기.

결론적으로, 본 논문은 뉴스 미디어의 사실적 주장이 단순히 '참/거짓'을 넘어, 어떤 인식론적 권위를 통해 신뢰를 얻는지를 체계적으로 분석할 수 있는 기반을 마련했다는 점에서 의의가 큽니다.