Customized large language models can outperform Community Notes in correcting misinformation
이 논문은 신뢰 기반 검색과 멀티모달 추론을 통합하여 다양한 콘텐츠 유형에 걸쳐 오정보를 식별하고 수정하는 데 있어 커뮤니티 노트(Community Notes)보다 뛰어난 성능을 발휘함으로써 응답 품질과 허위 정보에 대한 사용자 인식 모두를 개선하는 맞춤형 대규모 언어 모델 프레임워크인 MUSE를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 공론장은 진실보다 거짓 정보가 더 빠르게 퍼지는 지속적인 문제로 가득 차 있습니다. 소셜 미디어에서는 단 하나의 오해의 소지가 있는 게시물이 검증될 기회가 생기기도 전에 수백만 명에게 도달할 수 있습니다. 수년 동안 이에 대한 주요 방어책은 인간의 노력이었습니다. 자원봉사자들이 허위 주장을 바로잡기 위해 노트를 작성하는 크라우드소싱 시스템은 플랫폼의 표준 도구가 되었습니다. 이러한 노트는 맥락과 뉘وع스를 담아낼 수 있는 사람들이 작성한다는 점에서 가치가 있지만, 중대한 약점이 있습니다. 바로 느리다는 점입니다. 자원봉사자가 수정 사항을 작성할 때쯤이면, 그 오해의 소지가 있는 게시물은 이미 피해를 입힌 후일 수 있습니다. 더욱이 인간 자원봉사자들은 모든 게시물을 다 확인할 수 없기에, 방대한 양의 오정보가 확인되지 않은 채 남겨지게 됩니다.
과학자들은 기계가 거짓말이 퍼지는 속도만큼 빠르게 이를 포착할 수 있기를 바라며, 이 간극을 메우기 위해 오랫동안 인공지능에 주목해 왔습니다. 그러나 표준 AI 모델은 종종 이 과업에 어려움을 겪습니다. 이들은 과거의 데이터로 학습되었기에 현재 일어나고 있는 사건들을 볼 수 없습니다. 또한 '환각(hallucination)' 현상을 일으켜 사실을 지어내거나 존재하지 않는 출처를 인용하기도 합니다. 과제는 단순히 글을 읽는 기계를 만드는 것이 아니라, 검증하고, 텍스트와 이미지 같은 다양한 유형의 미디어를 가로질러 추론하며, 새로운 오류나 편향을 도입하지 않고 수행할 수 있는 기계를 만드는 것입니다. 목표는 의심스러운 게시물이 나타나는 즉시 대응할 준비가 된, 지치지 않고 공정한 팩트 체커 역할을 하는 시스템을 구축하는 것입니다.
워싱턴 대학교의 연구진은 바로 이 문제를 해결하기 위해 MUSE라고 불리는 새로운 시스템을 개발했습니다. MUSE는 실시간으로 오정보를 식end하고 수정하도록 설계된 맞춤형 인공지능 프레임워크입니다. 과거에 학습한 것에만 의존하는 기존 모델과 달리, MUSE는 최신 증거를 찾기 위해 라이브 웹을 검색하는 메커니즘을 갖추고 있습니다. 이 시스템은 소셜 미디어 게시물을 마주했을 때 단순히 추측하는 것이 아니라, 콘텐츠를 분해하고, 주장을 뒷받침하거나 반박할 수 있는 신뢰할 수 있는 정보를 검색한 다음, 그 증거에 기반하여 수정 내용을 작성합니다. 이 시스템은 텍스트와 이미지가 혼합된 복잡한 게시물을 처리할 수 있도록 설계되어, 캡션부터 사진까지 모든 것을 검증할 수 있습니다.
이 접근 방식이 실제로 효과가 있는지 테스트하기 위해, 연구진은 MUSE를 현재 X(구 트위터) 플랫폼에서 사용 가능한 가장 우수한 인간 작성 수정본들과 비교했습니다. 연구진은 수백 개의 실제 게시물을 수집했는데, 여기에는 명백한 거짓, 미묘하게 오해를 불러일も는 세부 사항, 그리고 완전히 정확한 내용이 포함되었습니다. 각 게시물에 대해, AI의 응답을 숙련된 인간 자원봉사자가 작성한 고품질 노트 및 경험이 적은 사용자가 작성한 일반적인 노트와 대결시켰습니다. 평가는 엄격했습니다. 전문 팩트 체크 전문가 패널이 13가지 서로 다른 기준을 바탕으로 응답을 채점했습니다. 전문가들은 시스템이 허위 부분을 정확히 식별했는지, 설명이 타당한지, 인용된 출처가 신뢰할 수 있고 실제로 존재하는지를 살펴보았습니다.
결과는 새로운 시스템의 명확한 우위를 보여주었습니다. MUSE는 전문가들이 평가했을 때 심지-가 우수한 인간 작성 노트보다도 유의미하게 높은 품질의 응답을 생성했습니다. 10점 만점 기준으로 AI는 평균 8.1점을 기록한 반면, 최고 수준의 인간 노트는 평균 6.3점을 기록했습니다. 이 격차는 단순히 스타일의 문제가 아니었습니다. AI는 게시물의 오해의 소지가 있는 특정 부분을 식별하는 데 있어 더 정확했습니다. 표준 AI 모델은 종-종 문제를 식별하지 못하거나 사실을 지어내는 경우가 많지만, MUSE는 응답의 거의 90%에서 부정확성을 올바르게 식별하고 설명했습니다. 또한 거의 항상 접근 가능하고 관련성이 높은 출처 링크를 제공했으며, 이는 표준 모델들이 빈번하게 깨진 링크나 가짜 링크를 인용했던 것과 대조적입니다. 시스템은 정치, 건강, 시사 이슈 전반에 걸쳐 뛰어난 성능을 보였으며, 다른 AI 시스템을 괴롭히곤 하는 정치적 편향성도 나타나지 않았습니다.
연구진은 또한 사람들이 기계의 수정 사항을 실제로 신뢰할 것인지 알고 싶어 했습니다. 그들은 약 1,000명의 참가자를 대상으로 오해의 소지가 있는 게시물과 AI가 생성한 수정 사항을 보여주는 연구를 진행했습니다. 결과는 고무적이었습니다. AI의 설명을 읽은 후, 참가자들은 원래의 게시물이 오해의 소지가 있다는 것을 훨씬 더 잘 인식하게 되었습니다. 허위 주장에 대한 그들의 믿음은 감소했습니다. 그러나 어떤 수정 사항도 참가자들의 오정보 공유 의도에는 유의미한 영향을 미치지 않았는데, 공유 의도는 일반적으로 낮게 유지되었습니다. 흥arian하게도, 수정 사항이 인공지능으로부터 나왔다고 알려주는 것이 참가자들의 신뢰도를 떨어뜨리지는 않았습니다. 시스템의 효과는 출처가 공개되든 숨겨지든 높게 유지되었으며, 이는 설명의 질이 작성자의 정체성보다 더 중요하다는 것을 시사합니다.
이 연구의 가장 중요한 측면 중 하나는 시스템이 미지의 상황을 어떻게 다루느냐 하는 것입니다. 연구진은 MUSE가 업무를 수행하기 위해 기존의 팩트 체크에 의존할 필요가 없다는 것을 발견했습니다. 이전에 누구에 의해서도 검증되지 않은 게시물에 대해서도, 시스템은 웹에서 신선한 증거를 찾아 신뢰할 수 있는 수정안을 구성할 수 있었습니다. 또한 표준 컴퓨터 하드웨어에서 약 2분 만에 전체 응답을 생성할 정도로 빠르게 수행했습니다. 시스템을 운영하는 비용 또한 낮아, 게시물당 약 0.2달러가 소요되며, 이는 모든 콘텐츠를 검토하기 위해 인간 자원봉사자에게 비용을 지불하는 것보다 훨씬 저렴합니다.
이 연구에는 한계가 있습니다. 시스템은 현재 텍스트와 이미지를 다룰 수 있지만, 아직 비디오를 분석할 수는 없습니다. 또한 온라인에 신뢰할 수 있는 정보가 존재해야 합니다. 만약 게시물이 신뢰할 수 있는 출처가 아직 보고하지 않은 속보에 관한 것이라면, 시스템은 추측하는 대신 불확실성을 인정하도록 설계되었습니다. 연구진은 단일 플랫폼을 대상으로 시스템을 테스트했으며, 해당 플랫폼이 널리 사용되기는 하지만 결과는 다른 곳에서 달라질 수 있습니다. 이러한 경계에도 불구하고, 연구 결과는 유망한 길을 제시합니다. 기계의 속도와 실제 세계의 증거를 검색하고 검증하는 능력을 결합함으로써, MUSE는 우리가 현대 인터넷이 요구하는 규모와 속도에 맞춰 진실과 거짓을 구별하는 데 도움이 되는 도구를 구축할 수 있음을 보여줍니다. 이 연구는 미래의 오정보 대응이 인간과 기계 사이의 선택이 아니라, 기계가 검증의 힘든 일을 맡고 인간의 판단은 가장 복잡한 사례에 집중할 수 있는 시스템이 될 것임을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.