An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification

인터넷을 누구나 건강에 관한 사실, 루머, 혹은 황당한 추측을 외칠 수 있는 거대하고 북적이는 도서관이라고 상상해 보세요. 때때로 그 책들은 옳기도 하지만, 어떤 경우에는 사람들을 병들게 하거나 겁먹게 만드는 헛소리로 가득 차 있기도 합니다. 최근 몇 년 동안, 과학자들은 이 외침들을 읽고 그것이 참인지 거짓인지 결정하는 사서 역할을 할 "스마트 로봇"(AI라고 불리는)을 구축했습니다. 이 로봇들은 인간의 언어를 이해하는 데 매우 뛰어난 **트랜스포머(Transformer)**라는 특별한 종류의 뇌를 사용합니다. 하지만 여기에는 함정이 있습니다. 이 로봇들은 실제 신뢰할 수 있는 백과사전을 확인하기보다는 자신이 학습한 내용만을 의존하기 때문에 때때로 이야기를 지어내곤 합니다. 이를 해결하기 위해 연구자들은 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이라는 기술을 발명했습니다. RAG를 믿을 수 있는 책들이 가득 담긴 배낭을 메는 것이라고 생각해 보세요. 로봇은 질문에 답하기 전에 배낭 속에서 가장 관련 있는 페이지를 꺼내어 읽고, 자신의 답변이 현실에 근거하고 있는지 확인합니다.

이것이 바로 나이지리아와 러시아 연구진의 새로운 연구가 다룬 과제입니다. 그들은 세계보건기구(WHO)와 나이지리아 질병통제예방센터(NCDC)와 같은 신뢰할 수 있는 출처를 사용하여, 특히 나이지리아의 건강 루머를 잡아내는 초스마트 사서를 만들 수 있을지 알아보고 싶었습니다. 그들은 다음과 같이 물었습니다. "만약 우리 AI 로봇에게 공식적인 나이지리아 및 글로벌 건강 보고서가 담긴 배낭을 준다면, 라사 열(Lassa fever), 콜레라, 또는 원숭이두창(monkeypox) 같은 질병에 대한 거짓말을 더 잘 잡아낼 수 있을까?" 결과는 놀랍게도 단순한 "예"가 아니었습니다. 배낭이라는 아이디어는 훌륭했지만, 연구진은 그들이 만든 배낭이 너무 작고 비어 있어서 로봇에게 별로 도움이 되지 않는다는 것을 발견했습니다. 대신, 로봇의 성공 여부는 배낭으로 주려 한 추가적인 책들보다는 어떤 특정 "뇌" 모델을 사용했는지와 어떻게 가르쳤는지에 더 달려 있었습니다.

디지털 사서의 이야기

연구진은 먼저 나이지리아의 인간 팩트체커들에 의해 이미 검증된 67개의 건강 관련 주장 모음집을 수집했습니다. 이 주장들은 COVID-19, 라사 열, 콜레라, 홍역, 원숭이두창 등 다섯 가지 주요 질병을 다루었습니다. 어떤 주장은 사실이었고, 어떤 것은 거짓이었으며, 어떤 것은 (예를 들어, 어떤 음료가 발생의 원인이라고 말했지만 실제로는 그것을 만드는 데 사용된 물이 원인이었던 경우처럼) 오해의 소지가 있었습니다. 그들은 이 주장들을 "참(True)", "거짓(False)", 또는 "오해의 소지가 있음(Misleading)"으로 분류하여 AI를 위한 테스트를 만들었습니다.

다음으로, 그들은 그들의 "배낭"을 만들었습니다. 그들은 WHO와 NCDC의 공식 문서들을 가져와서, 이를 작고 읽기 쉬운 조각들로 나누고 디지털 도서관으로 변환했습니다. 계획은 AI가 루머를 보고, 이 도서관에서 가장 잘 맞는 사실을 검색한 다음, 그 사실들을 사용하여 해당 루머가 거짓인지 판단하는 것이었습니다. 그들은 세 가지 유형의 AI 뇌를 테스트했습니다: BERT, RoBERTa, 그리고 DeBERTa입니다. 또한 그들은 도서관의 사실을 찾아볼 수 있도록 허용된 특별한 버전의 DeBERTa도 시도했습니다(RAG 버전).

커다란 반전

여기서 이야기에 반전이 일어납니다. 여러분은 AI에게 신뢰할 수 있는 사실이 담긴 배낭을 주면 천재가 될 것이라고 예상할 수도 있습니다. 하지만 결과는 다소 실망스러웠습니다.

연구진은 배낭의 도움 없이도 BERT 모델이 실제로 가장 좋은 성과를 냈다는 것을 발견했습니다. BERT는 71%의 확률로 정답을 맞혔고, 0.66의 점수(정답을 맞히는 것과 놓치지 않는 것 사이의 균형을 측정하는 척도)를 기록했습니다. 이 모델이 챔피언이었습니다.

화려한 DeBERTa를 포함한 다른 모델들은 고전했습니다. 사실, 연구진이 "증강(augmentation)"이라는 기술을 통해 DeBERTa에게 더 많은 학습 예시를 제공하거나 도서관에서 사실을 찾아보도록 허용했을 때, 성능은 좋아지지 않았습니다. 오히려 더 나빠졌으며, 거의 모든 질문에 대해 똑같은 답을 내놓는 식으로 변했습니다. 이는 마치 교과서를 받았을 때 생각을 멈추고 혼란스러워하며 모든 질문에 "참"이라고 적어버리는 학생과 같았습니다.

왜 배낭이 실패했을까요? 연구진은 그들의 도서관이 너무 작다는 것을 깨달았습니다. 구체적으로, 시스템이 메인 도서관에서 완벽한 일치를 찾지 못할 때, 시스템은 단 다섯 가지의 일반적인 질병 요약본으로 구성된 폴백(fallback) 옵션에 의존해야 했습니다. 이 아주 작은 컬렉션은 참과 거짓의 주장을 구분하는 데 필요한 구체적인 세부 사항을 제공하기에는 너무 일반적이었습니다. AI가 "라고스의 이 특정 발병이 진짜인가?"라고 물었을 때, 배낭에는 보여줄 구체적인 페이지가 없었습니다. 오직 막연한 요약본뿐이었습니다. 도서관에 구체적인 증거가 사실상 비어 있었기 때문에, AI는 더 나은 결정을 내리기 위해 추가 정보를 사용할 수 없었습니다. 그것은 마치 건초더미에서 특정한 바늘 하나를 찾으려고 하는데, 그 건초더미에는 짚단이 세 개밖에 없는 것과 같았습니다.

이것이 의미하는 바

이 연구는 단순히 "검색" 기능(배낭)을 추가하는 것이 마법의 지팡이가 아니라는 점을 시사합니다. 만약 배낭 안에 넣은 도서관이 충분히 크고 상세하지 않다면, AI는 그것을 사용하는 법을 배우지 못할 것입니다. 연구진은 이 특정 설정에서는 추가적인 책들보다 AI의 뇌(BERT) 유형이 더 중요하다고 결론지었습니다. 또한 그들은 자신들의 데이터셋이 매우 작아서(단 67개의 주장), AI가 참인 이야기, 거짓인 이야기, 그리고 오해의 소지가 있는 절반의 진실 사이의 차이점을 학습하기 어려웠다고 언급했습니다.

하지만 연구진은 희망을 품고 있습니다. 그들은 만약 훨씬 더 크고 잘 조직된, WHO와 NCDC의 수천 가지 구체적인 보고서가 담긴 도서관을 구축한다면, 배낭이 마침내 그 마법을 발휘할 수 있을 것이라고 제안합니다. 현재로서는, 팩트 체크의 세계에서 좋은 뇌를 갖는 것도 중요하지만, 좋은 도서관을 갖는 것 역시 그만큼 중요하며, 만약 도서관이 비어 있다면 뇌는 제 역할을 할 수 없다는 것을 우리는 배웠습니다.