FactLink: A Cross-Domain Benchmark for Link Role Classification for Fact-Checking

인터넷을 누구나 책을 쓸 수 있고, 벽에 메모를 붙일 수 있으며, 지붕 위에서 소문을 외칠 수 있는 거대하고 혼란스러운 도서관이라고 상상해 보세요. 때때로 이 메모들은 사실이지만, 어떤 경우에는 당신을 속이기 위해 정교하게 설계된 정교한 거짓말이기도 합니다. 이때 '팩트 체커(fact-checkers)'들이 나타납니다. 이들은 디지털 사서이자 기자들로, 이 난장판을 바로잡기 위해 달려듭니다. 그들은 "이봐, 저 벽에 붙은 메모는 가짜야!"라고 적힌 기사를 쓰며, 두 가지 매우 다른 것을 가리킵니다. 바로 가짜 메모 자체(거짓이 어떻게 생겼는지 볼 수 있도록)와 그 거짓이 틀렸음을 증명하는 신뢰할 수 있는 증거(경찰 보고서나 과학적 연구와 같은 것)입니다.

문제는 디지털 세상에서 이 팩트 체커들이 기사 안에 링크를 그냥 잔뜩 던져놓기만 할 뿐, 어떤 링크가 '가짜 메모'이고 어떤 링크가 '증거'인지 알려주지 않는다는 점입니다. 이는 마치 형사가 범죄 현장 사진과 지문 채취 키트를 가리키며, "이 두 가지를 보세요"라고 말하면서 정작 무엇이 범인이고 무엇이 해결책인지는 설명하지 않는 것과 같습니다. 이 때문에 컴퓨터가 거짓말을 자동으로 식어내는 법을 배우기가 어려워집니다. 만약 컴퓨터가 거짓말쟁이로 연결되는 링크와 진실을 말하는 사람으로 연결되는 링크를 구분할 수 없다면, 도서관의 사서들을 도와 도서관을 정리할 수 없습니다. 여기서 '링크 역할 분류(link role classification)'라는 과학이 등장합니다. 이것은 기계에게 링크를 보고 "당신은 악당인가, 아니면 영웅인가?"라고 묻는 법을 가르치는 기술입니다.

이 논문은 이 퍼즐을 해결하기 위한 새로운 도구인 FactLink를 소개합니다. 연구진(셰필드 대학교와 불가리아 기업의 팀)은 우리가 많은 팩트 체크 기사를 가지고 있음에도 불구하고, 컴퓨터가 그 안에 담긴 링크의 목적을 이해하도록 가르칠 좋은 방법이 없다는 것을 깨달았습니다. 그래서 그들은 두 가지 매우 다른 데이터 세트를 사용하여 컴퓨터를 위한 "훈련 체육관"을 구축했습니다.

첫째, 그들은 골드 스탠다드(Gold Standard) 데이터 세트를 만들었습니다. 이것은 엄격하고 중대한 시험이라고 생각하면 됩니다. 그들은 영어와 불가리아어 팩트 체크 기사에서 1,782개의 링크를 추출하여 숙련된 인간 자원봉사자들이 각 링크를 정밀하게 라벨링하게 했습니다. 이 자원봉사자들은 전문가 심판처럼, 링크가 허위 정보(Disinformation)(거짓말)를 가리키는지, 뒷받침하는 증거(Supporting Evidence)(증거)를 가리키는지, 아니면 기타(Other)(단순 배경 정보)를 가리키는지 결정했습니다. 이 데이터 세트는 규모는 작지만 매우 정밀하며, 심판들 사이의 일치도가 높아 컴퓨터가 정말로 똑똑한지 테스트하기에 완벽한 시험대입니다.

둘째, 그들은 거대한 저널리스트 태깅(Journalist-Tagged) 데이터 세트를 수집했습니다. 이것은 거대하고 실제적인 놀이터와 같습니다. 그들은 주요 뉴스 통신사인 AFP의 전문 기자들이 작성한 기사에서 49,000개 이상의 링크를 수집했습니다. 이 기자들은 매일 업무를 수행하면서 이미 자신들의 링크에 태그를 달아두었습니다. 이 데이터 세트는 매우 방대하고 30개 이상의 언어를 다루지만, 완벽한 시험장에서 작동하는 방식이 아니라 사람들이 실제로 일하는 방식을 반영하기 때문에 다소 무질서합니다.

연구진은 두 종류의 '컴퓨터 뇌'를 테스트에 투입했습니다: 미세 조정된 트랜스포머(Fine-tuned Transformers)(특정 교과서를 아주 열심히 공부한 학생과 같은 모델)와 거대 언어 모델(LLMs)(특정 교과서를 공부하진 않았지만 몇 가지 예시만으로도 스스로 파악해낼 수 있는 박학다식한 일반 지식 천재와 같은 모델)입니다.

결과는 다음과 같았으며, 여기에는 약간의 반전이 있습니다:

• 데이터가 많을 때: 만약 "학생" 모델(미세 조정된 트랜스포머)에게 기자들의 데이터처럼 공부할 수 있는 엄청난 양의 예시를 준다면, 그들은 절대적인 챔피언이 됩니다. 그들은 매크로 F1 점수 0.866을 기록했는데, 이는 매우 높은 점수로, 거짓과 증거를 구별하는 데 매우 능숙해졌음을 의미합니다.
• 데이터가 매우 적을 때: 하지만 연구진이 작은 규모의 엄격한 "골드 스다드" 세트(1,782개 링크)로 테스트했을 때, "학생" 모델들은 조금 비틀거렸으며 0.745점을 기록했습니다.
• 어둠 속에서 빛나는 천재들: 여기서 **LLM(거대 언어 모델)**이 모두를 놀라게 했습니다. 이들은 단 몇 개의 예시(퓨샷, few-shot 접근법)만으로 학습했을 때, 작은 데이터 세트에서 학생 모델보다 더 나은 0.76점을 기록했습니다. 또한 규칙이 약간 변하는 상황(교차 도메인 테스트)에서도 훨씬 안정적이었습니다.

이 논문은 단 하나의 "최고의" 컴퓨터 뇌는 존재하지 않는다는 점을 시사합니다. 만약 당신이 방대한 양의 라벨링된 데이터를 가지고 있고 일관성 있는 작업자를 원한다면, 미세 조정된 트랜스포머가 최선의 선택입니다. 하지만 새로운 상황에 처했거나, 데이터의 양이 적거나, 재학습 없이 다양한 언어와 스타일에 빠르게 적응해야 한다면, LLM이 더 견고한 선택입니다.

저자들은 인간조차도 이 작업에 어려움을 겪는다는 점을 언급했습니다. 인간 심판들이 의견 차이를 보인 부분을 살펴보았을 때, "뒷받침하는 증거"와 "기타"(배경 정보) 사이의 경계가 종종 모호하다는 것을 발견했습니다. 어떤 링크가 결정적인 증거인지, 아니면 단순히 도움이 되는 부가 정보인지를 구분하는 것은 어렵습니다. 이는 최고의 컴퓨터 모델이라 할지라도, 컴퓨팅 파워의 부족이 아니라 인간 언어 자체의 자연스러운 모호함 때문에 직면하게 될 과제임을 의미합니다.

요컨대, 이 논문은 단순히 데이터 세트를 구축한 것이 아니라, 온라인의 거짓말과 싸우기 위한 AI의 최선책은 당신이 가진 데이터의 양에 달려 있다는 것을 보여주었습니다. 때로는 교과서를 열심히 공부한 전문가가 필요하고, 때로는 즉석에서 상황을 파악할 수 있는 일반론자가 필요합니다. 이 두 가지 새로운 데이터 세트를 제공함으로써, 연구진은 과학계에 디지털 탐정들을 훈련시키고 테스트할 수 있는 새로운 방법을 제시했으며, 이를 통해 인터넷이 조금 더 덜 혼란스럽고 훨씬 더 진실해지기를 희망하고 있습니다.