🔬 physics

Network Information Enhances Unreliable News Domain Detection

이 논문은 URL 공유 패턴으로부터 도출된 네트워크 구조를 그래프 신경망을 통해 활용하는 것이 콘텐츠 분석이 불가능한 경우에도 콘텐츠 전용 베이스라인 모델들을 능가하며, 신뢰할 수 없는 뉴스 도메인 탐지 성능을 유의미하게 향상시킨다는 것을 입증한다.

원저자: Raphaela Keßler, Roman David Ventzke, Viola Priesemann, Giordano De Marzo

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raphaela Keßler, Roman David Ventzke, Viola Priesemann, Giordano De Marzo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 모든 사람이 동시에 뉴스, 루머, 이야기를 외치고 있는 거대하고 혼란스러운 광장이라고 상상해 보십시오. 이 광장에서 메시지의 "콘텐츠"는 그들이 실제로 말하고 있는 것, 즉 단어, 사진, 영상을 의미합니다. 하지만 이야기에는 또 다른 층위가 있습니다. 바로 누가 누구 옆에 서 있는지, 그리고 누가 누구의 말을 듣고 있는지에 대한 것입니다. 이것이 바로 "네트워크"입니다. 오랫동안 전문가들은 마치 에세이를 채점하는 선생님처럼, 단어만을 읽어서 가짜 뉴스를 찾아내려 노력했습니다. 하지만 최근 들어 광장의 "악한 행위자들"은 선한 사람처럼 들리도록 매우 정교해졌습니다. 그들은 화려한 단어를 사용하고 진짜 기자처럼 보이기도 하며, 초지능형 AI의 등장으로 인해 이제는 잡아내기 어려운 완벽한 가짜 기사까지 쓸 수 있게 되었습니다. 그래서 과학자들은 새로운 질문을 던지고 있습니다. 단순히 연설 내용을 읽는 대신, 그들의 친구를 살펴봄으로써 그들이 신뢰할 만한 사람인지 알아낼 수 있을까? 만약 어떤 사람이 항상 알려진 거짓말쟁이 집단과 어울린다면, 설령 그들의 현재 발언이 완벽하게 들릴지라도 우리는 그들을 의심해야 할지도 모릅니다. 이것이 네트워크 과학의 핵심입니다. 즉, 당신의 연결 관계가 당신이 누구인지에 대해 많은 것을 말해준다는 생각입니다.

이 논문은 텔레그램(Telegram)이라는 이름의, 매우 붐비는 특정 광장 구석을 배경으로 한 탐정 소설과 같습니다. 독일, 오스트리아, 이탈리아 대학 연구진으로 구성된 연구팀은 뉴스 웹사이트들의 "우정 지도"를 이용해 신뢰할 수 없는 출처를 식별할 수 있는지 확인하고자 했습니다. 그들은 단순히 기사를 읽는 데 그치지 않고, 사람들이 그것을 어떻게 공유하는지를 살펴보았습니다. 그들은 모든 뉴스 웹사이트를 하나의 점으로 하고, 사람들이 동일한 채팅 그룹 내에서 두 웹사이트의 링크를 자주 함께 공유할 경우 두 점을 선으로 연결하는 거대한 지도를 만들었습니다.

여기서 그들이 발견한 놀라운 사실이 있습니다. 점들이 무작위로 섞여 있는 것이 아니라는 점입니다. "신뢰할 수 없는" 웹사이트들(가짜 뉴스나 저품질 뉴스를 퍼뜨리는 곳들)은 다른 신뢰할 수 없는 웹사이트들과 함께 어울리는 경향이 있습니다. 반면 "신뢰할 수 있는" 곳들(진지한 뉴스 출처들)은 그들만의 클러스터를 형성하며 뭉쳐 있습니다. 이는 마치 과학 동아리가 한 테이블에 앉고 장난꾸러기들이 다른 테이블에 앉는 고등학교 식당과 같아서, 서로 섞이는 일이 거의 없습니다. 연구진은 이를 "동류 결합(assortative mixing)"이라고 불렀지만, 여러분은 그저 "유유상종"이라고 생각하셔도 됩니다.

이 지도가 도움이 되는지 테스트하기 위해, 그들은 그래프 신경망(Graph Neural Network, GNN)이라는 특별한 종류의 컴퓨터 두뇌를 사용했습니다. GNN을 용의자의 알리바이(기사의 텍스트)만 읽고 친구 관계는 무시하는 단순한 탐정(표준 컴퓨터 모델)과 비교했을 때, 네트워크까지 확인하는 탐정이 훨씬 더 가짜를 잘 잡아내는 탐정이라고 생각하면 됩니다. 결과는 명확했습니다. 네트워크를 살피는 탐정이 훨씬 더 뛰어난 성능을 보였습니다.

더 흥ей로운 점은, 네트워크 탐정이 기사를 전혀 읽을 수 없는 상황에서도 효과적으로 작동했다는 것입니다. 때로는 텍스트를 볼 수 없는 경우(예를 들어, 모르는 언어로 되어 있거나 콘텐츠가 숨겨져 있는 경우)가 있지만, 누가 무엇을 공유하는지는 여전히 볼 수 있습니다. 이런 경우에도 네트워크 기반 모델이 텍스트 전용 모델보다 우수한 성능을 보였습니다. 텍스트와 네트워크 지도를 모두 사용했을 때, 가장 뛰어난 모델(GraphSAGE라고 불리는)은 63%의 정확도로 정답을 맞혔는데, 이는 네트워크를 무시한 모델의 정확도인 55%보다 크게 향상된 수치입니다. 텍스트 없이 공유 패턴만을 사용했을 때조차, 네트워크 모델은 텍스트 전용 모델보다 더 나은 성과를 냈습니다.

저자들은 이것이 가짜 뉴스를 영원히 해결할 마법의 탄환은 아니라는 점을 분명히 밝히고 있습니다. 그들은 자신들의 지도가 텔레그램에 특화되어 있으며, "나쁜" 웹사이트의 모든 기사가 가짜인 것은 아니라는 점(마치 장난꾸러기 테이블에 앉은 모든 사람이 장난꾸러기인 것은 아닌 것처럼)을 인정합니다. 그러나 그들은 네트워크 구조를 살펴보는 것이 오정보와의 싸움에서 강력한 새로운 도구를 제공한다는 점을 확고히 보여줍니다. 이는 설령 단어가 완벽할지라도, 뉴스 출처가 유지하고 있는 주변 관계가 그들을 믿어야 할지에 대한 강력한 단서를 줄 수 있다는 것을 시사합니다.

기술 요약: 네트워크 정보가 신뢰할 수 없는 뉴스 도메인 탐지를 향상시키는 방법

문제 정의
저신뢰 출처들이 신뢰할 수 있는 저널리즘의 문체적, 구조적 특징을 모방하는 능력이 향려되고, 생성형 AI가 전통적인 콘텐츠 기반 분석으로는 식별하기 어려운 허위 콘텐츠 생성을 가능하게 함에 따라, 신뢰할 수 없는 뉴스를 탐지하는 것이 점점 더 어려워지고 있습니다. 수동 팩트 체크는 가치가 있지만, 소셜 미디어에 유통되는 콘텐츠의 양을 감당하기에는 확장성이 부족합니다. 결과적으로, 텍스트 분석을 넘어 정보의 신뢰도를 평가할 수 있는 자동화된 접근 방식이 절실히 필요합니다. 본 연구는 네트워크 구조가 뉴스 도메인의 신뢰도 분류를 개선할 수 있는지, 즉 초점을 개별 기사에서 소스 수준으로 전환할 수 있는지에 대한 질문을 다룹니다.

방법론
저자들은 저품질 정보의 유통으로 주목받는 플랫폼인 텔레그램(Telegram)의 데이터를 사용하여 도메인 수준의 분석 파이프라인을 구축했습니다. 방법론은 다음 단계로 진행됩니다:

데이터 수집 및 특징 추출:
- 데이터셋: 스노볼 샘플링(snowball sampling) 방식을 통해 공개 채팅 및 채널로부터 텔레그램 상호작용 데이터(약 95%가 2017~2023년 사이의 데이터)를 수집했습니다. 분석은 24,658개의 영어권 채팅과 6,106개의 뉴스 도메인에 집중되었습니다.
- 특징(Features): 각 도메인에 대해 두 가지 유형의 특징을 추출했습니다:
  - 콘텐츠 인지적(Content-Aware): 도메인에서 스크래핑한 기문 전체에 걸쳐 평균을 낸 다국어 텍스트 임베딩(paraphrase-multilingual-MiniLM-L12-v2 사용).
  - 콘텐츠 비인지적(Content-Agnostic, 확산 역학): 바이럴리티(virality), 아발란체 빈도(avalanche frequency, 폭발적 게시 패턴), 총 메시지 수, 고유 채팅 간 도달 범위 등 시간적 및 전파 패턴을 포착하는 지표.
- 그라운드 트루스(Ground Truth): 도메인 신뢰도는 6개의 주요 팩트 체크 데이터베이스에서 유도된 복합 점수(PC1)를 사용하여 레이블링되었습니다. 도메인은 신뢰할 수 없음(<0.33), 의심스러움(0.33–0.66), 신뢰할 수 있음(>0.66)의 세 가지 클래스로 이산화되었습니다.
네트워크 구축:
- URL 공유를 기반으로 텔레그램 채팅과 뉴스 도메인을 연결하는 이분 네트워크(bipartite network)를 형성했습니다.
- 이를 다시, 동일한 채팅 내에서 도메인이 함께 공유되는 빈도를 에지로 나타내는 단분 네트워크(monopartite)인 **도메인 공동 공유 네트워크(domain co-sharing network)**로 투영했습니다.
- 통계적 검증: 에지가 인기 요인에 의한 무작위적 공생 관계가 아닌 실제적인 구조적 관계를 나타내도록 하기 위해, 이분 구성 모델(Bipartite Configuration Model, BiCM)을 적용했습니다. 이를 통해 가짜 연결을 제거하여 통계적으로 검증된 4,574개 노드의 백본(backbone)을 구축했습니다.
모델링 및 평가:
- 그래프 신경망(GNN): 세 가지 아키텍처인 그래프 합성곱 네트워크(GCN), 그래프 어텐션 네트워크(GAT), GraphSAGE를 구현했습니다. 이 모델들은 검증된 네트워크 토폴로지와 노드 특징(콘텐츠 인지 및 비인지 특징 모두)을 활용하여 도메인 신뢰도 클래스를 예측했습니다.
- 베이스라인(Baselines): 성능은 동일한 특징을 사용하되 네트워크 토폴로지를 무시하는 다층 퍼셉트론(MLP), 랜덤 분류기, 그리고 단순 이웃 평균화(neighborhood-averaging) 분류기와 비교되었습니다.
- 실험 설정: 80/20 분할로 학습되었으며 그리드 서치(grid search)를 통해 하이퍼파라미터를 튜닝했습니다. 실험은 콘텐츠 특징을 포함하는 경우와 포함하지 않는 경우(콘텐츠 비인지)의 두 가지 설정에서 수행되었습니다.

주요 결과

유사성 혼합(Assortative Mixing): 검증된 도메인 네트워크는 신뢰도에 대해 유의미한 유사성 혼합 특성을 보입니다 (계수 $r = 0.22, p < 0.001$ ). 저신뢰 도메인은 다른 저신뢰 도메인과 클러스터를 형성하며, 신뢰할 수 있는 소스 또한 서로 클러스터를 형성합니다. 이는 공유 패턴이 신뢰도 신호를 자연스럽게 인코딩하고 있음을 확인시켜 줍니다.
GNN 성능: GNN은 모든 설정에서 네트워크를 고려하지 않는 MLP 베이스라인보다 일관되게 우수한 성능을 보였습니다.
- 콘텐츠 특징 포함 시: GraphSAGE는 가장 높은 정확도와 F1-score인 0.63을 달성하였으며, 이는 MLP 베이스라인의 0.55와 비교했을 때 약 14%의 상대적 이득을 보인 것입니다.
- 콘텐츠 특징 미포함 시: GraphSAGE는 정확도 0.53과 F1-score 0.52를 달성하여, MLP 베이스라인(정확도 0.47, F1 0.43)보다 약 13% 높은 상대적 이득을 기록했습니다.
강건성(Robustness): 텍스트 콘텐츠를 제외하더라도 GNN과 MLP 간의 성능 격차가 유지되었으며, 이는 URL 공유의 토폴로지 및 행동 패턴이 분류를 위한 상당한 신호를 인코딩하고 있음을 나타냅니다.

의의 및 주장
본 논문은 네트워크 구조가 뉴스 도메인 신뢰도를 평가하는 데 있어 콘텐츠 분석과는 독립적인, 가치 있고 상호 보완적인 정보를 제공한다고 주장합니다. 주요 기여는 네트워크 토폴로지를 통합하는 것이 네트워크를 고려하지 않는 방법보다 체계적으로 분류 성능을 향적으로 개선한다는 것을 입증한 데 있습니다.

결정적으로, 저자들은 이 접근 방식이 콘텐츠 분석이 불가능하거나, 제한적이거나, 혹은 신뢰할 수 없는 상황(예: 암호화된 콘텐츠 또는 생성형 AI)에서도 효과적임을 강조합니다. 사용자 공유 행동에 내재된 "집단 지성"을 활용함으로써, 그래프 신경망은 도메인 공동 공유의 관계적 패턴을 통해 신뢰도 신호를 탐지할 수 있습니다. 본 연구는 콘텐츠 기반 모델이 현재 가장 높은 절대적 성능을 보여주지만, 콘텐츠 비인지 GNN이 텔레그램과 같이 저신뢰 정보가 만연한 플랫폼에서 언어에 구애받지 않고 자원 효율적이며 해석 가능한 솔루션을 제공할 수 있다고 결론짓습니다.

한계 및 범위
저자들은 본 연구가 텔레그램에 국한되어 있으며 도메인 수준에서 작동하여 도메인 내의 이질성을 가릴 수 있다는 점을 겸허히 인정했습니다. 절대적인 성능 수준(예: 63% 정확도)은 최첨단(state-of-the-art) 기술로 제시된 것이 아니라, 네트워크 구조가 가치를 더한다는 것을 증명하는 원리 증명(proof of principle)으로서 제시되었습니다. 저자들은 향-후 연구에서 더 정교한 아키텍처(예: 이종 그래프), 더 큰 데이터셋, 그리고 이러한 발견을 더욱 강화하기 위한 시간적 모델링(temporal modeling)이 포함될 수 있다고 제안했습니다.

유사한 논문