Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

디지털 시대에 건강 정보는 클릭 한 번의 속도로 이동하지만, 오보 또한 마찬가지입니다. 수년 동안 과학자들은 온라인 텍스트를 스캔하여 신뢰할 수 있는 의학적 조언과 위험한 허위 사실을 구분하도록 설계된 컴퓨터 프로그램을 구축해 왔습니다. 이러한 프로그램들은 텍스트가 일반적인 형태를 띨 때 매우 뛰어난 성능을 발휘하며, 표준 테스트에서 거의 완벽에 가까운 점수를 기록하기도 했습니다. 그러나 생성형 인공지능의 부상으로 인해 새로운 취약점이 나타났습니다. 이 강력한 도구들은 특정 주장(그것이 참이든 거짓이든)을 가져와서 핵심 의미는 정확히 유지하면서도 단어, 문장 구조, 어조를 완전히 바꾸어 다시 쓸 수 있습니다. 이러한 정보 "세탁" 능력은 중대한 질문을 던집니다. 만약 어떤 컴퓨터 프로그램이 글이 쓰인 방식에 기반하여 거짓말을 찾아내도록 훈련되었다면, 고도로 정교한 AI가 그 거짓말을 신뢰할 수 있는 중립적인 기사처럼 들리도록 다시 썼을 때 어떤 일이 벌어질까요? 디지털 건강 도구의 안전은 이 질문에 답하는 데 달려 있습니다. 왜냐하면 재작성된 거짓말을 인식하지 못하는 시스템은 사람들을 해로운 조언에 취약하게 만들 수 있고, 재작성된 진실을 거짓으로 오해하는 시스템은 필수적인 정보를 침묵시킬 수 있기 때문입니다.

맨체스터 메트로폴리탄 대학교의 한 연구자는 통제된 계산 실험을 통해 바로 이 시나리오를 테스트하기 위해 나섰습니다. 이 연구는 두 가지 뚜렷한 보건 위기 상황, 즉 COVID-19 팬데데믹과 최근의 엠폭스(monkeypox) 발생에 초점을 맞추었습니다. 연구자는 이 주제들에 관한 방대한 양의 실제 게시물(일부는 검증된 사실이고 다른 일부는 확인된 허위 사실임)을 수집한 후, 생성형 AI 도구를 사용하여 각 게시물에 대해 세 가지 다른 버전을 만들었습니다. 한 버전은 중립적이고 읽기 쉽게 재작성되었고, 다른 버전은 더 논리적이고 증거에 기반한 것처럼 들리도록 재구성되었으며, 세 번째 버전은 핵심적인 의학적 주장은 변경하지 않은 채 더 긴박하거나 설득력 있게 들리도록 수정되었습니다. 이렇게 재작성된 버전들은 단순한 통계 모델부터 복잡한 신경망에 이르는 9가지 유형의 탐지 소프트웨어에 입력되어, 그들이 여전히 진실을 식별할 수 있는지 테스트되었습니다.

결과는 현재 세대 탐지기들의 놀라운 취약성을 드러냈습니다. 재작성 전에는 소프트웨어가 매우 우수하게 작동하여 거의 모든 경우에 참과 거짓을 정확히 식별했습니다. 하지만 AI에 의해 텍스트가 수정되자 대부분의 시스템의 성능이 무너졌습니다. COVID-19 데이터셋의 경우, 탐지기의 평균 정확도는 0.987이라는 완벽에 가까운 점수에서 0.428에서 0.479 사이의 범위로 급락했습니다. 이는 텍스트가 재작성된 후, 컴퓨터가 표준 설정에서 올바른 이진 결정을 내리는 능력이 현저히 실패했음을 의미합니다. 비록 그들의 근본적인 능력인 신뢰할 수 있는 정보를 미스인포메이션보다 높게 순위 매기는 능력은 여전히 무작위 추측보다는 실질적으로 나은 수준이었음에도 불구하고 말입니다. 이러한 실패는 모든 시스템이나 모든 유형의 텍스트에서 균일하게 나타나지는 않았습니다. COVID-19 테스트에서는 주요 문제가 소프트웨어가 신뢰할 수 있는 참인 정보를 놀라운 비율로 가짜라고 낙인찍기 시작하여, 결과적으로 신뢰할 수 있는 출처를 침묵시키는 것이었습니다. 반면, 엠폭스 데이터셋에서는 정반대의 실패가 나타났습니다. 소프트웨어가 거짓을 잡아내지 못하여, 재작성된 미스인포메이션이 마치 참인 것처럼 통과하게 만든 것입니다.

연구는 또한 AI가 텍스트를 어떻게 변화시켰는지 조사함으로써 이러한 실패가 왜 일어났는지도 살펴보았습니다. 연구 결과, 탐지기를 실패하게 만든 가장 중요한 요인은 반드시 감정적인 어조나 사용된 특정 논거가 아니라, 글의 구조적 변화라는 것이 밝혀졌습니다. AI가 텍কে 짧게 만들거나 문장을 더 복잡하고 읽기 어렵게 만들었을 때, 탐지기들은 훨씬 더 많은 실수를 저지르는 경경향이 있었습니다. 이는 소프트웨어가 그 안의 의학적 사실을 진정으로 이해하기보다는, 원래 텍스트가 쓰인 방식의 특정 표면적 패턴에 너무 과도하게 의존하고 있었음을 시사합니다. 그러한 패턴이 바뀌었을 때, 소프트웨어는 길을 잃었습니다.

이러한 약점을 해결하기 위해 연구자는 방어 전략을 테스트했습니다. 바로 탐지기가 배포되기 전에 이러한 재작성된 버전들로 훈련시키는 것입니다. 소프트웨어에 원본 텍스트와 AI로 재작성된 버전 모두를 입력함으로써, 문구가 어떻게 표현되든 상관없이 진실을 인식하도록 시스템을 가르치는 것이 목표였습니다. 이 접근 방식은 탐지기가 재작성된 거짓을 찾아내는 능력을 상당한 차이로 개선한 엠폭스 데이터에 대해서는 매우 효과적이었습니다. 9개 모델 모두에서 더 나은 성능을 보였습니다. 그러나 이 해결책은 COVID-19 데이터에 대해서는 일관되게 작동하지 않았으며, 완전히 다른 질병 주제에 대해 테스트했을 때 소프트웨어가 잘 작동하도록 돕지도 못했습니다. 이는 재작성된 텍스트로 훈련하는 것이 특정 맥락 내에서 시스템을 더 견고하게 만들 수는 있지만, 아직 모든 보건 주제나 모든 유형의 AI 재작성에 대해 작동하는 보편적인 방패를 만들어내지는 못한다는 것을 나타냅니다.

연구는 표준 테스트에서의 높은 정확도가 더 이상 의료 미스인포메이션 탐지기가 실제 사용 환경에서 안전하다는 것을 보장하기에 충분하지 않다고 결론짓습니다. 생성형 AI가 의미를 바꾸지 않고 콘텐츠를 재작성할 수 있는 능력은 현재 시스템의 깊은 취약성을 노출하며, 이는 거짓을 놓치거나 참인 사실을 잘못 비난하게 만드는 원인이 됩니다. 재작성된 예시들로 탐지기를 훈련시키는 것은 회복 탄력성을 높이기 위한 유망한 경로를 제공하지만, 이 해결책은 아직 완전한 해결책은 아닙니다. 이 연구는 향-후의 도구들이 단순히 원본 텍스트뿐만 아니라 텍스트가 변형될 수 있는 다양한 방식들에 대해서도 테스트되어야 하며, 이를 통해 공중 보건을 보호하는 디지털 안전장치가 미스인포메이션의 언어가 진화하더라도 효과적으로 유지될 수 있도록 해야 한다고 제언합니다.