Robust Fake Information Detection via Semantics-Preserving Adversarial Training and Uncertainty-Aware Adaptive Decision

인터넷을 사람들이 뉴스, 루머, 이야기를 외치는 거대하고 북적이는 광장이라고 상상해 보세요. 이 혼란스러운 광장에는 모든 외침을 듣고 그것이 진실인지 거짓인지 즉각 결정하도록 설계된 똑똑한 컴퓨터 프로그램인 "팩트 체크러(Fact-Checkers)"들이 있습니다. 오랫동안 이 팩트 체크러들은 특정 시험만을 위해 공부한 학생들과 같았습니다. 만약 거짓말쟁이가 이야기의 단어 몇 개를 바꾸면, 팩트 체크러는 혼란에 빠져 그 거짓말을 사실이라고 생각하곤 했습니다. 이는 컴퓨터가 실제 이야기의 의미보다는 단어의 스타일(예: 크고 무서운 단어를 사용하거나 매우 자신감 있게 들리는 것)에 너무 집중했기 때문에 발생했습니다. 과학자들이 해결하려고 노력하는 큰 질문은 이것입니다: 어떻게 하면 거짓말쟁이가 이야기를 위장하려 해도 속지 않는 팩트 체크러를 만들 수 있을까?

여기서 Ru Zhang의 새로운 연구가 등장합니다. 연구진은 SPAT-UAD라고 불리는 초스마트 팩트 체크러를 만들었습니다. 이것은 단순히 퀴즈의 정답을 암기하는 것이 아니라, 질문이 어떻게 꾸며지든 상관없이 진실을 찾아내는 법을 배우는 탐정과 같습니다. 이 논문은 컴퓨터가 "위장(disguises)"(예: 오타, 가짜 "전문가" 인용구, 또는 지루한 재작성)을 꿰뚫어 볼 수 있도록 훈련함으로써, 인터넷이 속이려 들 때도 침착하고 정확하게 유지할 수 있다고 제안합니다. 연구는 이 새로운 방식이 기존 방식보다 위장된 거짓말을 찾아내는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 특히 거짓말이 심하게 위장되었을 때 더욱 그렇습니다.

문제점: "위장" 게임

당신이 친구와 "참 또는 거짓" 게임을 하고 있다고 상상해 보세요. 친구가 거짓말을 합니다: "나 오늘 아침으로 피자 한 판 다 먹었어." 당신은 그 말이 우스꽝스럽게 들려서 즉시 알아차립니다. 하지만 친구가 다시 시도합니다. "여러 소식통에 따르면, 최근 연구에서 내가 오늘 아침에 상당한 양의 피자를 섭취했다고 명시하고 있어." 갑자기, 이 말은 더 진지하고 공식적으로 들립니다. 혹은 친구가 오타를 넣을 수도 있습니다: "나 오늘 아침으로 피자 한 판 다 머것어."

기존의 컴퓨터 탐지기들은 첫 번째 문장만을 공부한 학생들과 같습니다. 친구가 단어를 바꾸거나 화려한 문구를 추가하면, 컴퓨터는 혼란에 빠져 "오, 이거 공식적인 느낌인데, 그럼 사실이겠지!"라거나 "오, 오타가 있네, 그럼 가짜겠지!"라고 생각할 수 있습니다. 문제는 인터넷의 거짓말쟁이들이 이러한 속임수에 매우 능숙하다는 점입니다. 그들은 중립적으로 보이도록 거짓 이야기를 다시 쓰거나, 가짜 "전문가" 인용구를 추가하거나, 철자를 아주 살짝 바꿔서 컴퓨터를 속이면서도, 거짓의 핵심 내용은 그대로 유지할 수 있습니다.

해결책: "위장에 강한" 탐정

이 논문은 이러한 컴퓨터 탐정들을 훈련시키는 새로운 방법인 SPAT-UAD를 소개합니다. 이름은 입에 잘 붙지 않지만, 아이디어는 간단합니다. 이 시스템에는 두 가지 주요 초능력이 있습니다:

1. 의미 보존 적대적 훈련 (The "Disguise Drill" - 위장 훈련):
   무술 고수가 제자를 훈련시킨다고 상상해 보세요. 고수는 단순히 일반적인 상대와 연습하는 대신, 모든 각도에서 펀치를 날리고, 조명을 바꾸고, 심지어 가면까지 씁니다. 그러면 제자는 상대의 의상이 아닌 실제 움직임을 보는 법을 배웁니다.

이 연구에서도 컴퓨터는 똑같이 훈련됩니다. 컴퓨터가 보는 모든 진짜 뉴스 이야기와 함께, 동일한 이야기의 세 가지 "위장된" 버전이 함께 제시됩니다:

• 오타가 있거나 단어가 바뀐 버전.
• 가짜 "전문가" 문구가 추가된 버전 (예: "보고에 따르면...").
• 감정적인 단어들이 제거되어 지루하고 중립적으로 들리는 버전.

컴퓨터는 다음과 같은 지시를 받습니다: "이 세 가지 서로 다르게 보이는 이야기는 사실 같은 이야기다. 너는 반드시 이들에게 동일한 답을 내놓아야 한다." 이는 컴퓨터가 표면적인 속임수를 보는 것을 멈추고 핵심적인 의미를 이해하도록 강제합니다.

2. 불확실성을 인지하는 적응형 결정 (The "Confidence Check" - 확신 체크):
   때로는 최고의 탐정이라도 100% 확신하지 못할 때가 있습니다. 기존의 컴퓨터들은 이야기가 이상하거나 혼란스러울 때조차 매번 똑같은 확신을 가지고 그냥 "참" 또는 "거짓"이라고 추측했습니다.

SPAT-UAD는 다릅니다. 이 시스템에는 내장된 "확신 측정기"가 있습니다. 만약 컴퓨터가 수상하거나 혼란스러운 이야기를 보면, "이 건에 대해서는 잘 모르겠다"라고 말하며 결정을 내리기 전에 더 신중해집니다. 만약 매우 확신한다면 빠르게 결정합니다. 이것을 "적응형 임계값(adaptive threshold)"이라고 부릅니다. 이는 마치 일반 방문객은 쉽게 통과시키지만, 불안해 보이거나 가면을 쓴 사람은 멈춰 세워 검사하는 보안 요원과 같습니다.

발견한 내용: 결과

연구진은 이 새로운 탐정을 세 가지 실제 세계의 가짜 뉴스 및 루머 컬렉션(정치, COVID-19, 속보 관련)을 사용하여 14개의 다른 컴퓨터 방식과 비교 테스트했습니다. 그들은 단순히 깨끗하고 정상적인 텍스트로 테스트한 것이 아니라, 오타, 가짜 인용구, 중립적인 재작성 등으로 심하게 위장된 텍스트로 테스트했습니다.

수치가 말해주는 결과는 다음과 같습니다:

• 큰 승리: 새로운 SPAT-UAD 방식은 "강건성 점수"(위장을 얼마나 잘 처리하는지를 나타내는 척도)에서 74.4점을 기록했습니다. 그다음으로 높은 경쟁자는 69.0점에 불과했습니다. 이는 5.4 포인트의 차이로, 이 분야에서는 엄청난 도약입니다.
• 힘든 작업: 텍스트가 심하게 위장되었을 때(heavy condition), SPAT-UAD는 정답률 **68.2%**를 기록했습니다. 그다음으로 좋은 방식은 **60.7%**였습니다. 이는 SPAT-UAD가 거짓말쟁이들이 최대한 숨기려 할 때 거짓을 찾아내는 능력이 훨씬 뛰어나다는 것을 의미합니다.
• 확신도: 이 새로운 방식은 자신이 확신하지 못할 때를 아는 능력도 훨씬 뛰어났습니다. 이 방식의 "교정 오차"(확신의 정직함을 측정하는 척도)는 0.054였던 반면, 다른 방식들은 종종 0.112 이상의 오차를 보이며 과도하게 확신하는 경항이 있었습니다.

이것이 중요한 이유

이 연구는 단순히 컴퓨터를 더 똑똑하게 만드는 것만으로는 충분하지 않으며, 거짓말의 "의상"을 무시하도록 훈련시켜야 한다는 것을 보여줍니다. 연구진은 성공의 가장 큰 이유가 바로 "위장 훈련(Disguise Drill)"(위장된 버전으로 훈련하는 것)이라는 것을 발견했습니다. 이 훈련 없이는 컴퓨터의 성능이 급격히 떨어졌습니다.

하지만 이 논문은 이 방식이 하지 못하는 것들도 지적합니다. 이 방식은 이미지를 보지 않으며, 누가 이야기를 공유했는지 추적하지도 않고, 복잡한 비꼬기(sarcasm)나 아이러니를 이해하지 못합니다. 이것은 엄격하게 텍스트 기반의 도구입니다. 또한, 연구진은 이 방식이 단순히 "재포장된" 거짓말을 찾아내는 데는 훌륭하지만, 만약 거짓말 자체가 사실 관계를 바꾼다면(예: "2백만"을 "2천"으로 바꾸는 경우) 어려움을 겪을 수 있다고 언급했습니다.

요약하자면, SPAT-UAD는 속임수가 가득한 세상에서 가짜 뉴스를 잡기 위해서는 단어를 읽는 것이 아니라, 거짓말쟁이가 어떻게 옷을 입히더라도 그 뒤에 숨겨진 진실을 이해하는 탐정이 필요하다는 것을 시사합니다. 이는 더 똑똑하고 신뢰할 수 있는 인터넷을 향한 한 걸음이지만, 연구진은 정말 까다로운 경우를 잡아내기 위해서는 여전히 인간의 감독이 필요하다고 강조합니다.