DECEIVE-AFC: Adversarial Claim Attacks against Search-Enabled LLM-based Fact-Checking Systems

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 상의 허위 정보 (Misinformation) 확산은 심각한 사회적 위험을 초래합니다. 이를 해결하기 위해 검색 기능을 갖춘 대규모 언어 모델 (Search-enabled LLM) 기반의 자동 사실 확인 (AFC) 시스템이 도입되고 있습니다. 이러한 시스템은 외부 증거를 동적으로 검색하여 주장의 진위를 판별합니다.
• 문제점: 기존 AFC 시스템에 대한 적대적 공격 (Adversarial Attack) 연구는 주로 정적 데이터베이스를 사용하는 전통적인 DNN 기반 시스템에 집중되어 있었습니다. 반면, 검색 기능을 갖춘 LLM 기반 시스템은 강력한 추론 능력과 동적 증거 검색 전략을 갖추고 있어, 기존에 알려진 단순한 문자 단위나 단어 수준의 교란 (Perturbation) 공격에는 강인한 것으로 알려져 있습니다.
• 연구 목적: 검색 기반 LLM fact-checking 시스템이 실제로 얼마나 취약한지, 그리고 입력된 '주장 (Claim)' 자체를 조작하여 시스템의 검색 행동, 증거 수집, 추론 과정을 왜곡시키는 공격이 가능한지 규명하는 것입니다. 특히, 증거 소스나 모델 내부 구조에 접근할 수 없는 블랙박스 (Black-box) 환경에서 현실적인 입력만 조작하는 공격 시나리오를 가정합니다.

2. 제안 방법론: DECEIVE-AFC (Methodology)

저자들은 DECEIVE-AFC라는 에이전트 기반의 적대적 공격 프레임워크를 제안했습니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 주장 수준 적대적 공격 전략 (Claim-level Adversarial Attack Strategies)

시스템의 파이프라인 단계별 취약점을 공략하기 위해 3 가지 주요 전략과 하위 전략을 정의했습니다.

1. 검색 엔진 오도 (Search Engine Misguidance):
   • 입력 주장의 어휘 및 구조적 속성을 미세하게 변경하여 검색 쿼리 생성을 방해합니다.
   • 하위 전략: 저빈도 동의어 도입, 비표준 엔티티 참조, 중복 배경 정보 주입, 키워드 분산 등.
   • 효과: 관련성이 낮거나 품질이 떨어지는 증거가 검색될 확률을 높입니다.
2. LLM 추론 방해 (LLM Reasoning Disruption):
   • 검색된 증거를 정리하고 최종 판정을 내리는 LLM 의 추론 과정을 혼란스럽게 만듭니다.
   • 하위 전략: 사실과 무관하지만 유효한 문장 주입, 구문 복잡성 증가, 조건부/추측적 표현 사용, 이중 부정 구조 사용 등.
   • 효과: 모델이 핵심 사실과 증거를 올바르게 연결하는 능력을 약화시킵니다.
3. 구조적 복잡성 증폭 (Structural Complexity Escalation):
   • 단순한 사실 주장을 다단계 추론 (Multi-hop reasoning) 문제로 변환합니다.
   • 하위 전략: 명시적 엔티티를 간접 참조로 분해, 원자적 사실을 복합 관계 진술로 재구성.
   • 효과: 검증 파이프라인의 각 단계 (Hop) 에서 오류가 발생할 확률을 높여 전체 검증 실패를 유도합니다.

B. 공격 유효성 평가 전략 (Attack Validity Evaluation)

공격이 성공하기 위해서는 시스템의 판정을 뒤집는 것뿐만 아니라, 원본 주장의 사실적 의도 (Factual Intent) 를 유지해야 합니다.

• 의미 보존: 원본 주장과 적대적 주장 간의 의미적 유사도 (Semantic Similarity) 와 논리적 관계 (NLI) 를 평가하여 의미의 비약이나 모순을 방지합니다.
• 평가 단계:
  • 반복 정제 단계: 엄격한 기준 (판정 반전 + 의미 유사도 + NLI 일관성) 을 적용.
  • 최종 평가 단계: 인간 평가자를 통해 사실적 의도 유지 여부와 가독성을 최종 확인.

C. 에이전트 기반 정제 프레임워크 (Agent-based Refinement Framework)

• Generator: 공격 전략에 따라 적대적 주장 후보를 생성하거나 기존 것을 정제합니다.
• Victim Module: 실제 타겟 시스템 대신 대리 모델 (Surrogate Model) 을 사용하여 블랙박스 환경에서 효율적으로 쿼링합니다.
• Evaluator & Semantic Guard: 생성된 주장이 시스템 판정을 뒤집는지 (Attack Success) 와 의미적으로 타당한지 (Validity) 를 평가합니다.
• Attack Planner: 평가 결과를 바탕으로 공격 경로를 동적으로 조정 (전략 유지, 변경, 종료 등) 하여 최적의 공격을 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 프레임워크: 검색 기반 LLM fact-checking 시스템을 대상으로 한 최초의 체계적인 에이전트 기반 적대적 주장 공격 프레임워크 (DECEIVE-AFC) 를 제안했습니다.
2. 전략 및 평가 메커니즘 정립: 검색 쿼리, 증거 검색, LLM 추론 등 파이프라인의 각 단계를 타겟팅한 공격 전략과, 사실적 의도를 보존하는 유효성 평가 메커니즘을 정형화했습니다.
3. 기존 공격의 한계 규명: 기존 주장 기반 공격 기법들이 검색 기반 LLM 시스템에서는 효과가 미미함을 실험적으로 증명하고, 이를 극복하는 새로운 접근법의 필요성을 제시했습니다.

4. 실험 결과 (Results)

• 실험 설정: MOCHEG 데이터셋을 사용하며, HiSS, LEMMA, DEFAME 등 3 가지 대표적인 검색 기반 LLM fact-checking 시스템을 타겟으로 했습니다.
• 성능 저하:
  • DECEIVE-AFC 는 타겟 시스템의 검증 정확도를 78.7% 에서 53.7% 로 대폭 감소시켰습니다.
  • 공격 성공률 (ASR, Attack Success Rate) 은 기존 베이스라인 (LEET, Homoglyph 등) 보다 월등히 높게 나타났습니다 (예: DEFAME 기준 31.4% vs 기존 6~8%).
• 전이성 (Transferability): 한 시스템에서 생성된 적대적 주장이 다른 시스템에서도 효과적으로 작동하는 높은 전이성을 보였습니다.
• 분석: 공격 성공 사례는 주로 '판정 반전 (Verdict Flip)'과 '증거 추론의 왜곡 (Justification Degradation)'을 동반했습니다. 반면, 실패 사례는 모델의 저항이나 의미적 제약 위반이 주원인이었습니다.

5. 의의 및 시사점 (Significance)

• 시스템 취약성 노출: 검색 기능을 갖춘 LLM 기반 fact-checking 시스템이 강력한 추론 능력을 갖추고 있음에도 불구하고,精心히 설계된 주장 조작 (Adversarial Claims) 에 의해 검색 과정과 추론 과정이 교란될 수 있음을 증명했습니다.
• 실제적 위협: 공격자가 증거 소스를 조작할 필요 없이, 사용자 입력 (주장) 만을 조작하여 시스템의 신뢰성을 무너뜨릴 수 있어 실제 배포 환경에서 매우 위험한 시나리오임을 강조했습니다.
• 대응 방안 제안:
  • 모델 미세 조정 (Fine-tuning): 적대적 데이터셋으로 모델을 학습시켜 공격 패턴을 인식하도록 개선.
  • 검증 및 검색 유효성 검사: 쿼리 생성 및 증거 수집 단계에서 적대적 조작을 탐지하고 수정하는 메커니즘 도입 필요성 제기.

이 연구는 자동화된 사실 확인 시스템의 보안 강화와 더 신뢰할 수 있는 AI 시스템 설계에 중요한 통찰을 제공합니다.