Multi-Agentic System Leveraging Open-Source LLMs to Mitigate Disinformation Threats

기술 요약: 디스인포메이션 위협 완화를 위한 오픈 소스 LLM 기반 멀티 에이전트 시스템

문제 정의
소셜 미디어와 인공지능에 의해 가속화된 디스인포메이션(허위 정보)의 확산은 수동 팩트 체크를 규모와 속도 측면에서 불충분하게 만들었습니다. 자동화된 탐지가 필수적이지만, 단일 거대언어모델(LLM)에 의존하는 방식은 인간의 협력적 의사결정이 가진 미묘한 차이를 구현하기 어렵습니다. 또한, 기존 솔루션 중 다수는 폐쇄형 모델(예: GPT-4)에 의존하여 투명성과 재현성을 제한합니다. 따라서 디스인포메이션을 탐지할 뿐만 아니라, 다양한 언어 자원 수준(고, 중, 저자원)에 걸쳐 인간 주석 팀의 합의 형성 및 다양한 지식 기반을 모방할 수 있는 자동화된 시스템이 절실히 필요합니다.

방법론
저자들은 인간 주석가들의 인지적 의사결정 과정을 모방하도록 설계된 새로운 멀티 에이전트 시스템(MAS)을 제안합니다. 이 시스템은 네 개의 에이전트로 구성된 "허브 앤 스포크(hub-and-spoke)" 토폴로지로 작동합니다.

1. 리더 에이전트(Leader Agent): 과업 할당, 토론 개시, 최종 결정 합성을 담당하는 중앙 중재자 역할을 수행합니다. 리더는 합의에 도달할 수 없는 경우 판결을 내릴 수 있습니다.
2. 세 명의 전문가 주석 에이전트(Three Expert Annotator Agents): 동등한 지위에서 작동하며, 초기 주석과 그 근거를 제공합니다.

핵심 아키텍처 특징:

• 이질적 LLM 통합: 모든 에이전트에 동일한 모델을 사용하는 시스템과 달리, 본 MAS는 다양한 오픈 소스 모델(예: LLaMA-3.1-405B, Kimi, Deepseek, Qwen, LLaMA-Nemotron)을 활용하여 인간 팀에서 발견되는 지식과 인지 능력의 자연스러운 다양성을 시뮬레이션합니다.
• 합의 중심의 토론: 시스템은 집단적 확신을 통해 결정에 도달하는 인간의 워크플로우를 모방합니다.
  • 시나리오 1 (즉각적 합의): 모든 에이전트가 동의하면, 리더가 즉시 결과를 형식화합니다.
  • 시나리오 2 (토론): 의견이 갈릴 경우, 리더는 에이전트들이 동료의 입력을 바탕으로 자신의 근거와 결정을 수정하는 반복적인 토론(최대 20라운드)을 중재합니다.
  • 시나리오 3 (판결): 합의가 실패할 경우, 리더는 축적된 논거를 바탕으로 자율적인 최종 결정을 내립니다.
• 폐쇄형 구성: 이 시스템은 외부 인터넷 검색 도구를 의도적으로 배제하고, 오직 LLM의 내부 지식과 추론 능력에만 의존합니다. 이는 전문 팩트 체커들이 허위 사실을 밝혀내기 전에 디스인포메이션을 예측하기 위해 설계되었습니다.
• 투명성: 전체 토론 기록(transcript)이 보관되어, 인간이 추론 과정을 관찰하고 분석할 수 있도록 합니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 식별합니다:

1. 포괄적인 MAS 아키텍처: 직접 탐지, 검증 가치가 있는 주장 식별, 검증 가능한 사실적 주장 탐지를 포함한 다양한 디스인포메이션 과업을 처리할 수 있는 시스템입니다.
2. 일반화 가능성: 시스템은 특정 과업에 대한 미세 조정(fine-tuning) 없이도 고자원(영어), 중자원(폴란드어), 저자원(슬로바키아어, 불가리아어) 언어 전반에서 강력한 성능을 입증했습니다.
3. 인간 중심의 합의: 설계 단계부터 집단적 합의 원칙에 기반하여, 인간 주석가들이 집단적 동의를 통해 정확성을 강화하는 방식을 모방했습니다.
4. 이질적 지식 표현: 다양한 오픈 소스 모델의 사용은 주석의 근거가 다양한 지식 기반과 추론 방법론에 기반하도록 보장합니다.
5. 해석 가능성: 토론 기록의 제공은 에이전트의 숙의 과정을 분석하기 위한 새로운 보고 메커니즘을 제시합니다.

실험 결과
시스템은 벤치마크 데이터셋(MIPD, CLEF23, CLEF22 및 자체 수집한 슬로바키아 데이터셋)을 사용하여 4개 언어에 걸친 4가지 과업에 대해 평가되었습니다.

• 과업 1 (폴란드 디스인포메이션 탐지): MAS는 0.88의 정확도와 0.87의 매크로 F1 점수를 달성했습니다. 특히, 디스인포메이션 사례에 대해 0.98의 재현율(recall)을 기록하며 단독 GPT-4 및 GPT-3.5를 능가했으나, 자체 수행한 GPT-5.2 베이스라인에는 약간 뒤처졌습니다.
• 과형 2 (영어 검증 가치 주장): 시스템은 0.80의 정확도와 0.79의 매크로 F1 점수를 달성했습니다. 단일 모델 베이스라인에 비해 검증 가치가 있는 주장에 대해 우수한 재현율(0.89)을 보여, 검증이 필요한 콘텐츠를 식별하는 높은 민감도를 입증했습니다.
• 과업 3 (슬로바키아 검증 가치 주장): 미학습 데이터셋에서 MAS는 0.967의 재현율을 달성하여, 저자원 시나리오에서의 예측 능력을 검증했습니다.
• 과업 4 (불가리아 검증 가능한 사실적 주장): 시스템은 0.80의 정확도와 0.79의 매크로 F1 점수를 기록하며, 동일한 데이터셋에서 단일 LLM 구성(LLaMA-3.1-405B 및 GPT-5.2 포함)보다 우수한 성능을 보였습니다.

의의 및 주장
저자들은 본 연구가 미세 조정된 모델 및 독점 폐쇄형 시스템에 대한 가치 있는 대안을 제공한다고 주장합니다. 본 시스템이 모든 지표에서 고도로 미세 조정된 모델에 비해 최첨단(SOTA) 성능을 달성한다고 주장하는 것은 아니지만, 다음과 같은 중요한 강점을 강조합니다:

• 소규모 데이터에서의 견고함: 시스템은 대규모의 과업 특화 학습 데이터 없이도 효과적으로 작동하며, 미세 조정에 따르는 비용과 편향을 피합니다.
• 투명성 및 윤리성: 오픈 소스 모델을 활용하고 토론 로그를 제공함으로써, 재현성과 윤리적 책임성을 높입니다.
• 인간 수준의 모사: 토론 기록에 대한 질적 분석은 시스템이 인간의 합의 메커니즘과 지식 다양성을 성공적으로 모델링했음을 확인시켜 줍니다.
• 실용적 유용성: 높은 재현율은 이 시스템이 인간의 팩트 체크를 위한 검토 대상 텍스트를 식별하는 스크리닝 도구로서 특히 효과적임을 시사하며, 디스인포메이션을 간과할 위험을 최소화하면서 인간 주석가의 업무량을 줄일 수 있음을 보여줍니다.

결론적으로, 본 논문은 MAS가 모든 미세 조정 솔루션을 대체할 완벽한 도구는 아닐지라도, 언어 전반에 걸친 일반화 능력, 외부 데이터 검색 없는 작동 능력, 그리고 투명한 추론 제공 능력을 통해 디스인포메이션 대응을 위한 견고하고 실용적인 도구가 될 수 있음을 밝히고 있습니다.