Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

당신이 로봇에게 미술관에서 가짜 그림을 찾아내는 법을 가르치고 있다고 상상해 보세요. 당신은 수천 장의 사진을 보여줍니다. 어떤 것은 진품 명화이고, 어떤 것은 정교한 위작입니다. 로봇은 똑똑합니다. 이 로봇은 '뉴럴 네트워크'(인간의 뇌가 점들을 연결하는 방식과 유사하게 패턴을 찾아내며 학습하는 컴퓨터 프로그램의 일종)라는 '슈퍼 브레인'을 사용하여 그 차이점을 파악합니다. 언어의 세계에서도 이 로봇들은 뉴스를 읽고 그것이 진짜인지 아니면 "가짜 뉴스"인지 결정하도록 훈련됩니다.

하지만 여기서 까다로운 문제가 발생합니다. 때때로 로봇은 너무 영리해진 나머지 오히려 탈이 나기도 합니다. 거짓말이 어떻게 '들리는지'를 배우는 대신, "이야기가 매우 길면 가짜임에 틀림없다"와 같은 어리석은 지름길을 배울 수 있습니다. 이것을 "지름길 학습(shortcut learning)"이라고 부릅니다. 이는 마치 학생이 질문을 제대로 읽는 대신, "How"로 시작하는 모든 질문은 함정 문제라고 암기해 버리는 것과 같습니다. 만약 다음 시험에 긴 "How" 질문이 등장하고 그것이 실제로 참일 경우, 그 학생은 처참하게 실패할 것입니다. 이 논문은 바로 그러한 실패를 탐구하며, 2억 3,100만 명 이상의 사람들이 사용하는 언어인 우르두어로 뉴스를 읽는 로봇에 대해 다룹니다. 연구자들은 만약 우리가 로봇에게 한 세트의 뉴스 데이터로 가르친다면, 그 로봇이 완전히 다른 뉴스 세트를 만났을 때도 여전히 똑똑할 것인지 알고 싶었습니다.

위대한 우르두어 뉴스 테스트

이 연구에서 무함마드 압둘라 하룬(Muhammad Abdullah Abdullah Haroon)이 이끄는 연구진은 인기 있는 언어 로봇인 XLM-RoBERTa를 혹독한 테스트에 투입하기로 했습니다. 그들은 로봇에게 학습할 두 가지 서로 다른 "교과서"(데이터셋)를 주었습니다. 하나는 약 10,000개의 기사가 담긴 Ax-to-Grind였고, 다른 하나는 약 13,000개의 기사가 담긴 Notri-Fact였습니다. 두 교과서 모두 진짜 뉴스와 가짜 뉴스가 섞여 있었으며, 목표는 로봇이 한 권의 책으로부터 배워서 추가적인 도움 없이 다른 책에 있는 가짜 뉴스를 정확히 식별할 수 있는지 확인하는 것이었습니다.

결과는 정말 충격적이었습니다.

로봇이 Notri-Fact 교과서로 학습하고 Ax-to-Grind 교과서로 테스트를 받았을 때, 로봇은 0.771이라는 점수(F1 스코어라고 불림)를 받으며 꽤 괜찮은 성적을 냈습니다. 이는 이야기가 다르더라도 진실과 거짓을 구별할 수 있음을 의미합니다.

하지만 상황을 뒤집었을 때? 재앙이 닥쳤습니다.

로봇이 Ax-to-Grind 교과서로 학습하고 Notri-Fact 교과서로 테스트를 받았을 때, 로봇은 완전히 무너졌습니다. 점수는 0.005에 불과했습니다. 이를 설명하자면, 로봇이 거의 무작위로 찍는 수준이었지만, 매우 특정한 방식으로 고장 난 상태였습니다. 로봇은 새로 본 모든 기사의 **99.7%**가 가짜라고 결정했습니다. 로봇은 단어를 읽으려는 시도를 멈추고 모든 것을 향해 "가짜!"라고 외쳐버렸습니다.

"긴 이야기"의 함정

왜 로봇이 그렇게 처참하게 실패했을까요? 연구진은 탐정이 되어 숨겨진 단서를 찾아냈습니다. 바로 길이였습니다.

Ax-to-Grind 교과서에는 진짜 뉴스 기사와 가짜 뉴스 기사 사이에 거대한 차이가 있었습니다. 진짜 뉴스 기사들은 평균적으로 단 35단어(짧은 문자 메시지 정도)로 매우 짧았습니다. 반면, 가짜 뉴스 기사들은 평균 117단어(긴 에세이 정도)로 매우 길었습니다. 가짜 이야기가 진짜보다 3.4배 더 길었기 때문에, 로봇은 게으른 지름길을 배웠습니다: "이야기가 길면 가짜다. 짧으면 진짜다." 로봇은 이야기가 무엇에 관한 것인지 배우려 하지 않고, 그저 단어 수를 세었습니다.

이 방식은 로봇이 동일한 책으로 테스트를 받을 때는 완벽하게 작동했습니다. 하지만 로봇이 Notri-Fact로 옮겨갔을 때, 규칙이 바뀌었습니다. 이 새로운 책에서는 진짜 뉴스 기사와 가짜 뉴스 기사 모두 각각 약 160~170단어로 길었습니다. 자신의 "길면 가짜"라는 규칙에 갇혀 있던 로봇은 모든 기사를 훑어보며 그것들이 모두 길다는 것을 확인했고, 결론적으로 모든 것이 가짜라고 판단했습니다. 로봇은 지름길이 더 이상 통하지 않기 때문에 그들을 구별할 방법이 없었습니다.

이론 증명

길이가 범인이 맞는지, 아니면 다른 미스터리한 요인이 있는지 확실히 하기 위해 연구진은 특별한 실험을 수행했습니다. 그들은 Ax-to-Grind 교과서를 가져와서 로봇에게 가르치기 전에 모든 기사를 50단어로 잘라버렸습니다. 이를 통해 가짜 뉴스도 이제 진짜 뉴스만큼 짧아졌으므로, 로봇이 길이 차이를 무시하도록 강제했습니다.

이러한 제약에도 불구하고, 로봇은 자신의 책에서 0.922라는 준수한 점수(원래의 0.929에서 아주 약간 하락한 수치)를 받으며 여전히 괜찮은 성적을 냈습니다. 이는 두 가지를 증명했습니다:

1. 로봇은 원래 높은 점수를 얻기 위해 길이 지름길을 사용하고 있었다는 것.
2. 하지만 로봇은 길이 지름길이 제거되었을 때도 잘 해낼 수 있었기에, 단어로부터 실제 의미를 어느 정도 학습했다는 것.

문제는 로봇이 우르두어를 배울 만큼 멍청했다는 것이 아니라, 첫 번째 교과서에 실제 세상에는 존재하지 않는 "치트 코드"(길이 차이)가 들어있었다는 점이었습니다.

이것이 미래에 갖는 의미

이 연구는 가짜 뉴스와 싸우기 위해 AI를 구축하는 모든 이들에게 큰 경종을 울립니다. 특히 우르두어와 같은 언어에서 말입니다. 이는 로봇이 한 번의 테스트에서 높은 점수를 받았다고 해서 실제로 똑똑하다는 뜻은 아니라는 점을 보여줍니다. 만약 테스트에 숨겨진 속임수(예: 가짜 뉴스가 항상 더 길다는 점)가 있다면, 로봇은 그 속임칙을 암기할 것이고, 그 속임칙이 적용되지 않는 실제 상황에 직면했을 때 실패할 것입니다.

연구진은 향로에 이러한 뉴스 데이터셋을 만들 때 훨씬 더 주의를 기울여야 한다고 제안합니다. 우리는 진짜 뉴스 기사와 가짜 뉴스 기사의 길이가 비슷한지 확인해야 하며, 로봇이 단순히 지름길으로 속임수를 쓰고 있는 것은 아닌지 확인하기 위해 서로 다른 뉴스 세트로 로봇을 테스트해야 합니다. 우리가 그렇게 하지 않는 한, 우리의 가짜 뉴스 방지 로봇은 어떤 미스터리든 해결할 수 있는 진짜 탐정이라기보다는, 특정 시험의 정답지를 통째로 외워버린 학생과 같을 것입니다.