VeritasAI Multi Agent Framework for Explainable Fake News Detection Using Retrieval Augmented Generation

인터넷은 진실과 거짓이 종종 같은 속도로 이동하는 거대하고 급변하는 정보의 시장이 되었습니다. 이야기가 터지면 몇 분 만에 전 세계로 퍼져나갈 수 있으며, 이는 여론을 형성하고, 선거에 영향을 미치며, 심지어 사람들의 일상적인 행동 방식까지 변화시킬 수 있습니다. 문제는 단순히 거짓이 존재한다는 것이 아니라, 그것들을 검증하기 위해 우리가 가진 도구들이 흔히 '왜' 그것이 거짓인지 설명하는 데 실패한다는 점입니다. 대부분의 자동화된 시스템은 블랙박스처럼 작동합니다. 즉, 주장을 입력받아 처리한 뒤, 그 과정을 보여주지 않은 채 "참" 또는 "거짓"과 같은 단순한 라벨만을 내뱉습니다. 이러한 투명성의 결여는 특히 이해관계가 걸려 있는 상황에서 사람들이 결과에 대한 신뢰를 갖기 어렵게 만듭니다. 이를 해결하기 위해 연구자들은 두 가지 강력한 아이디어를 결합한 새로운 접근 방식을 취하고 있습니다. 첫째, 컴퓨터가 암기하고 있는 것에만 의존하는 대신, 실시간 웹에 접속하여 최신 사실을 찾아낼 수 있는 시스템을 사용합니다. 둘째, 서로 다른 컴퓨터 프로그램들이 특정 역할을 맡아 마치 인간 전문가 패널처럼 서로 논쟁하며 결론에 도달하는 디지털 팀을 구축합니다.

이러한 맥락에서, 인도 벵갈루루에 위치한 RV 공과대학(RV College of Engineering)의 연구진은 VeritasAI라고 불리는 새로운 시스템을 구축했습니다. 그들의 목표는 단순히 가짜 뉴스를 탐지하는 것을 넘어, 인간이 이해하고 검증할 수 있는 방식으로 판결의 근거를 설명하는 도구를 만드는 것이었습니다. 단일 컴퓨터 프로그램이 즉각적인 판단을 내리는 대신, VeritasAI는 세 명의 특화된 인공지능 에이전트 간의 구조화된 토론을 설정합니다. 이 시스템은 사용자의 주장을 받아 인터넷 전반에서 증거를 추적하고, 이 세 에이전트가 해당 문장에 대해 찬성과 반대 측의 논거를 다투게 한 뒤 최종적으로 논리적인 결정을 내리도록 설계되었습니다.

과정은 사용자가 뉴스 주장을 시스템에 제출하면서 시작됩니다. 소프트웨어는 즉시 일반 웹 검색 엔진과 전문 뉴스 데이터베이스라는 두 가지 서로 다른 소스를 동시에 검색하며 작업을 수행합니다. 이러한 이중 접근 방식은 공식 뉴스 보고서부터 더 넓은 웹상의 논의에 이르기까지 광범위한 잠재적 증거를 수집할 수 있도록 보장합니다. 시스템이 문서 목록을 수집하면, 순환 논리를 피하기 위해 원래 주장과 동일한 출처에서 온 기사를 제거하고, 유용한 정보를 포함하지 않는 저품질의 조각들을 걸러냅니다. 남은 문서들은 유사한 아이디어들을 그룹화하는 방상을 사용하여 원래 주장과 얼마나 밀접하게 일치하는지에 따라 정리됩니다. 이렇게 정제된 목록 중에서 시스템은 토론의 토대가 될 가장 관련성이 높은 상위 10개의 증거를 선정합니다.

이 10개의 증거는 각각 고유한 역할을 가진 세 명의 AI 에이전트에게 전달됩니다. 첫 번째 에이전트는 검사 역할을 수행하며, 증거를 검토하여 주장에 반박하는 논거를 찾습니다. 이 에이전트는 문장이 틀렸음을 입증하는 사실을 찾고 가장 강력한 반대 논거를 식별합니다. 두 번째 에이전트인 변호사는 그 반대의 역할을 합니다. 이 에이전트는 동일한 증거를 조사하여 주장을 뒷받침하는 지점을 찾고, 확인 사항과 문장을 믿을 수 있는 타당한 이유를 탐색합니다. 마지막으로 세 번째 에이전트인 판사가 양측의 의견을 경청합니다. 판사는 검사와 변호사의 논거와 원래의 증거를 함께 검토하고, 이를 서로 대조하여 무게를 잽니다. 판사는 단순히 승자를 선택하는 것이 아니라, 지지하는 점과 반박하는 점의 강도를 분석하여 최종 판결을 내립니다. 이 판결은 참, 거짓, 오도됨, 또는 확인되지 않음의 네 가지 범주 중 하나로 분류됩니다. 또한 시스템은 결과에 대한 확신도를 나타내는 신뢰 점수를 제공하며, 결론에 이르게 된 구체적인 출처들을 나열합니다.

이 시스템을 특히 유용하게 만드는 것은 투명성에 대한 약속입니다. 검사나 변호사가 생성한 모든 논거는 출처 URL과 직접 연결되어 있어, 사용자 스스로가 클릭하여 증거를 직접 확인할 수 있습니다. 시스템은 최종 결정, 신뢰 수준, 그리고 추론 요약을 포함한 구조화된 보고서를 생성합니다. 만약 증거가 불충분하여 결론을 내리기 어렵다면, 시스템은 억지로 추측하는 대신 정직하게 "확인되지 않음"이라고 표시합니다. 연구진은 500개의 주장이 담긴 데이터셋을 통해 이 시스템을 테스트하여, 인간이 주석을 달아놓은 실제 정답(ground truth)과 비교했습니다. 결과에 따르면 시스템은 다양한 범주에서 약 87%에 달하는 성능 지표를 기록하며 주장을 분류하는 데 높은 정확도를 달졌습니다. 더욱 중요한 점은, 이 시스템이 기존의 많은 자동화 시스템이 갖추지 못했던 기능인 명확하고 자연스러운 언어 설명을 생성하는 데 성공했다는 것입니다.

연구진은 또한 사용자가 전체 검증 과정이 펼쳐지는 모습을 실시간으로 볼 수 있는 시각적 인터페이스를 구축했습니다. 시스템이 증거를 검색하고, 필터링하고, 순위를 매기는 동안 진행 트래커가 현재 어떤 단계가 진행 중인지 사용자에게 정확히 보여줍니다. 에이전트들이 토론을 마치면, 인터페이스는 최종 판결 카드, 양측의 논거, 그리고 신뢰도 등급이 표시된 증거 그리드를 보여줍니다. 이러한 시각적 계층은 배후에서 일어나는 복잡한 작업을 탈신비화하여 기술을 비전문가도 쉽게 접할 수 있게 돕습니다. 이 시스템은 유연하게 설계되었습니다. 시스템은 지식 그래프(knowledge graph)에 서로 다른 주장들 사이의 관계를 저장할 수 있으며, 이는 향로 오보가 확산되는 패턴을 식별하는 데 도움이 될 수 있지만, 현재 연구에서는 이 특정 기능이 완전히 평가되지는 않았습니다.

성공에도 불구하고, 저자들은 시스템의 한계를 주의 깊게 언급합니다. 이 도구의 효과는 웹상에 정보가 얼마나 존재하는지에 전적으로 달려 있습니다. 만약 주장이 매우 니치(niche)한 주제이거나 뉴스 매체에 아직 보도되지 않은 아주 새로운 사건에 관한 것이라면, 시스템은 판단을 내릴 충분한 증거를 찾는 데 어려움을 겪을 수 있습니다. 또한, 시스템은 논거를 생성하기 위해 대규모 언어 모델에 의존하므로, 해당 모델들이 가진 잠재적 편향성을 물려받을 수 있습니다. 연구진은 또한 현재의 평가가 상대적으로 작은 규모인 500개의 주장에 대해 수행되었다는 점을 지적하며, 향로 훨씬 더 큰 규모로 시스템을 테스트할 계획이라고 밝혔습니다. 또한 다양한 발행인의 신뢰도를 점수 매기는 더 나은 방법을 추가하고, 다국어 처리가 가능하도록 시스템을 확장할 계획입니다.

VeritasAI 프로젝트는 우리가 오보 문제에 어떻게 접근할 것인가에 대한 인식의 전환을 의미합니다. 단일하고 불투명한 알고리즘에서 벗어나 인간의 토론을 모방한 다중 에이전트 시스템으로 나아감으로써, 연구진은 정확할 뿐만 아니라 책임감 있는 도구를 만들어냈습니다. 이 도구는 단순히 사용자에게 무엇을 생각할지 말해주는 것이 아니라, 증거를 보여주고, 반대 의견을 제시하며, 결론에 이른 추론 과정을 설명해 줍니다. 정보에 대한 신뢰가 취약해진 시대에, 이러한 투명성은 검증 과정을 블랙박스에서 인간과 기계 사이의 명확하고 이해 가능한 대화로 바꾸는 길을 제시합니다. 이 시스템은 현재 오픈 소스 소프트웨어로 공개되어 있어, 다른 이들이 코드를 검토하고, 방법론을 테스트하며, 허위 정보와의 싸움을 더욱 정교하게 만들기 위해 이 프레임워크를 활용할 수 있도록 초대하고 있습니다.