LLM-based Few-Shot Early Rumor Detection with Imitation Agent

기술 요약: 모방 에이전트를 활용한 LLM 기반 퓨샷 조기 루머 탐지

1. 문제 정의

**조기 루머 탐지(Early Rumor Detection, EARD)**는 소셜 미디어 포스트 시퀀스에서 특정 주장이 루머인지 비루머인지를 정확하게 분류할 수 있는 가장 이른 시점을 식별하는 것을 목표로 합니다. 이 작업은 2024년 사우스포트 폭동과 같은 사건에서 볼 수 있듯이, 오정보로 인한 사회적 피해를 완화하는 데 매우 중요합니다.

본 논문은 현재 EARD 연구의 두 가지 주요 과제를 강조합니다:

1. 데이터 부족: 새로운 이벤트는 종종 충분한 주석(annotated) 학습 데이터를 갖추지 못하며, 초기 단계의 전파 과정에는 제한된 수의 포스트가 포함됩니다. 기존 방식은 탐지 및 타이밍 모듈을 공동 학습시키기 위해 방대한 양의 레이블된 데이터가 필요합니다.
2. 대규모 언어 모델(LLM)의 한로: LLM은 퓨샷 텍스트 이해 능력은 뛰어나지만, 시계열 데이터에 맞게 설계되지는 않았습니다. EARD에 LLM을 직접 적용하면 컨텍스트 길이가 길어짐에 따라 매 타임 스텝마다 예측을 생성해야 하므로, 추론 지연 시간과 비용이 매우 높아집니다.

핵-해결하고자 하는 문제는 데이터가 제한적인 상황에서, 과도한 계산 비용이나 광범위한 재학습 없이 어떻게 LLM의 강력한 퓨샷 텍스트 이해 능력을 EARD에 활용할 것인가입니다.

2. 방법론

저자들은 **조기 시점 결정(early time point determination)**과 루머 탐지(rumor detection) 과정을 분리하는 새로운 프레임워크를 제안합니다. 시스템은 두 가지 주요 구성 요소로 이루어집니다:

1. 경량 자율 에이전트(Lightweight Autonomous Agent): 포스트 스트림을 모니터링하고 관찰을 중단하여 LLM을 트리거할 시점을 결정하는 신경망입니다.
2. 학습이 필요 없는 LLM(Training-Free LLM): 루머 탐지기 역할을 하는 사전 학습된 대규모 언어 모델(예: Mistral, Llama 3, ChatGPT)로, 에이전트에 의해 결정된 시점에 단 한 번 활성화됩니다.

마르코프 결정 과정(MDP)으로의 정식화:
EARD 작업은 MDP $(S, A, P, R)$로 모델링됩니다:

• 상태 ($s_t$): 시간 $t$까지 관찰된 포스트 세트와 이전 행동.
• 행동 ($a_t$): 이진 선택: 다음 포스트를 관찰하기 위해 계속하기(0), 또는 LLM을 트리거하여 예측하기 위해 중단하기(1).
• 목표: 조기성, 안정성 및 정확성을 반영하는 기대 수익을 극대화하는 것.

모방 학습(Imitation Learning, IL) 전략:
EARD를 위한 명시적인 보상 함수를 설계하는 것은 어렵기 때문에(조기성, 안정성, 정확성의 균형), 저자들은 모방 학습을 채택했습니다. 수작업으로 만든 보상을 사용하는 강화 학습 대신, 에이전트는 LLM 자체에 의해 생성된 "전문가 궤적(expert trajectories)"으로부터 학습합니다.

전체 포스트 타임라인에 대한 LLM의 예측 시퀀스를 기반으로 세 가지 유형의 전문가 궤적을 큐레이션했습니다:

1. 보수적 전문가 (Conservative Expert, CE): LLM의 예측이 정답과 일치하고 이후 모든 단계에서 안정적으로 유지(변하지 않음)되는 가장 이른 시점을 선택합니다. 이는 정확성과 안정성을 보장하지만 너무 신중할 수 있습니다.
2. 조기 행동 전문가 (Early-Action Expert, EAE): 미래의 안정성과 관계없이 LLM의 예측이 실제 정답과 일치하는 바로 그 첫 번째 시점을 선택합니다. 이는 조기성을 우선시합니다.
3. 오도하는 전문가 (Misleading Expert, ME): 모든 포스트를 관찰한 후에도 LLM이 잘못된 예측을 하는 궤적을 포착합니다. 에이전트는 이 전문가의 상태-행동 분포를 피하도록 학습됩니다.

목적 함수:
에이전트는 **생성적 적대 모방 학습(Generative Adversarial Imitation Learning, GAIL)**을 사용하여 학습됩니다. 목적은 에이전트의 점유 측도(occupancy measure)와 CE 및 EAE 사이의 발산(Jensen-Shannon Divergence)을 최소화하는 동시에, ME와의 발산은 최대화하는 것입니다.

• 에지전트는 CE의 안정성과 EAE의 선제성을 합성하는 법을 배웁니다.
• 잘못된 조기 종료를 피하기 위해 ME의 행동으로부터 벗어나는 법을 배웁니다.
• 학습은 근사 정책 최적화(PPO)를 통해 최적화되는 정책 네트워크, 판별 네트워크(에이전트와 전문가 궤적을 구분), 가치 네트워크를 포함합니다.

추론:
추론 시, 학습된 에이전트는 포스트 스트림을 모니터링합니다. 에이전트가 "중단"을 결정하면, 관찰된 포스트를 바탕으로 클래스를 분류하기 위해 LLM을 정확히 한 번 활성화합니다. 이는 단계별 프롬프팅에 비해 LLM 추론 빈도를 획기적으로 줄여줍니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. 최초의 퓨샷 EARD 방법: 경량화된 학습 가능 에이전트와 학습이 필요 없는 LLM을 결적으로 결합하여, 데이터가 제한된 시나리오를 위한 비용 효율적인 솔루션을 제공합니다.
2. 새로운 MDP 및 모방 정식화: EARD를 MDP로 모델링하고, 명시적인 보상 엔지니어링 없이 조기성, 안정성, 정확성의 균형을 맞추도록 유도하는 세 가지 특정 전문가 궤적 유형(CE, EAE, ME)을 설계했습니다.
3. 이론적 보장: 제안된 방법이 조기, 안정 및 정확한 탐지를 위한 최적의 정책으로 이어진다는 이론적 증명을 제공합니다.
4. 실험적 우월성: 광범리한 실험을 통해 본 접근 방식이 정확도(macro-F1)와 조기성(Early Rate) 모두에서 기존의 풀샷(full-shot) EARD 방법 및 베이스라인 LLM 전략보다 뛰어남을 입증했습니다.

4. 실험 결과

방법론은 네 가지 실제 데이터셋(PHEME, TWITTER, Twitter-COVID-19, BEARD)에서 평가되었습니다.

• 베스트라인 대비 성능: 제안된 프레임워크는 기존 EARD 방법(ERD, CED, HEARD) 및 직접적인 LLM 전략(첫 번째 포스트만 사용하거나 설정된 시간 체크포인트 사용)을 크게 앞질렀습니다.
  • TWITTER 데이터셋에서, 이 프레임워크는 Mistral이 0.630의 macro-F1과 0.043의 조기율(ER)을 달면서도, 베이스라인 중 최고인 CED가 0.617의 ER을 기록한 것과 대조적인 성과를 보여주었습니다.
  • 이 방법은 다양한 LLM 백본(Mistral, Llama 3, ChatGPT)에서 일관된 개선을 보였으며, 베이스 LLM 대비 상대적 F1 개선 폭은 8.2%에서 18.9% 사이였습니다.
• 퓨샷 강건성: 이 방법은 레이블된 학습 인스턴스가 10개뿐인 경우에도 효과적이었으며, 베이스 LLM 대비 최대 27.64%의 상대적 F1 개선을 달 achieved 했습니다.
• 일반화 능력: pre-COVID 데이터셋(PHEME, TWITTER)에서 학습하고 미보유 데이터인 Twitter-COVID-19에서 테스트했을 때, 제안된 방법은 심각한 성능 저하를 겪은 베이스라인(예: ERD의 경우 F1이 최대 67.8% 하락)에 비해 우수한 성능을 유지했습니다.
• 트레이드오프 분석: 저자들은 전문가 궤적의 비율을 변화시켜 정확도와 조기성 간의 트레이드오프를 분석했습니다. 이 방법은