기술 요약: LLM 기반 소셜 미디어 봇 탐지 시스템의 공격 및 방어

1. 문제 정의

자동화된 소셜 미디어 계정(봇)의 확산은 온라인 담론에 심각한 위협이 되며, 이는 허위 정보 유포, 여론 조작 및 악의적인 사이버 활동을 가능하게 합니다. 이러한 봇을 탐지하기 위해 머신러닝 시스템이 개발되어 왔으나, 공격자들은 적대적 학습(adversarial learning)과 행동 모방을 통해 지속적으로 진화하고 있습니다. 최근에는 우수한 의미론적 및 문맥적 분석 능력과 해석 가능한 설명을 제공하는 능력 덕분에 대규모 언어 모델(LLM)이 봇 탐지에 채택되었습니다. 그러나 이러한 통합은 새로운 공격 표면을 도입합니다. 공격자는 이제 프롬프트 인젝션(prompt injection)과 콘텐츠 조작을 통해 LLM의 추론 및 생성 메커니즘을 악용할 수 있습니다.

현재의 연구는 LLM 기반 봇 탐지의 공격적 측면과 방어적 측면을 모두 포괄적으로 조사하는 데 부족함이 있습니다. 기존 연구들은 일반적으로 LLM을 사용하여 탐지 정확도를 높이는 데 집중하거나, 구체적인 봇 분류 도메인에 대한 방어 메커니즘을 제안하지 않은 채 일반적인 LLM 취약성을 조사하는 데 그칩니다. 본 논문은 통합된 실험 프레임을 통해 소셜 미디어 봇 탐지 내에서의 적대적 공격과 방어를 체계적으로 평가함으로써 이 간극을 메웁니다.

2. 방법론

2.1. 시스템 아키텍처 및 데이터

본 연구는 블랙박스 LLM 기반 봇 탐지 파이프라인을 활용합니다. 시스템은 메타데이터와 텍스트 콘텐츠(모든 사용자 트윗)로 구성된 트위터 사용자 프로필을 입력받아, 자연어 설명과 함께 이진 분류(봇 또는 인간)를 출력합니다.

• 데이터 구성: 본 접근 방식은 프로필 메타데이터와 모든 사용자 트윗을 결합하는 "사용자당 트윗(Tweets per User)" 방식을 사용합니다. 긴 입력 시퀀스를 처리하기 위해, 작업 집중도를 강화하기 위해 사용자 콘텐츠를 접두사(prefix)와 접미사(suffix) 지침으로 감싸는 "샌드위치 기법(sandwich technique)"을 적용합니다.
• 평가 모델: 유사한 파라미터 크기를 가졌으나 구조가 다른 세 가지 오픈 소스 LLM인 Mistral-7B, Llama-3-8B, Gemma-7B를 테스트했습니다.
• 데이터셋: 실험은 TwiBot20 코퍼스에서 무작위로 선택된 2,000명의 사용자(봇 1,000개, 정상 계정 1,000개)를 대상으로 수행되었습니다.

2.2. 적대적 공격 분류 체계

저자들은 추론 시점의 공격을 두 가지 주요 범주에 초점을 맞추어 세 가지 클래스로 분류하는 위협 모델을 정의합니다.

1. 콘텐츠 조작 (Rewrite 공격): 프롬프트 지침을 변경하지 않고 탐지를 회피하기 위해 트위터 콘텐츠를 수정합니다.
   • Zero-Shot Rewrite: 예시 없이 정상적인 것처럼 보이도록 콘텐츠를 재작성합니다.
   • Few-Shot Rewrite: 정상적인 사용자의 예시를 사용하여 재작성합니다.
   • Classifier Guidance Rewrite: 사전 학습된 모델을 사용하여 재작성을 유도합니다.
   • Feature-engineered Guidance Rewrite (신규): 콘텐츠에서 특정 특징(감성, 주제 등)을 추출하여, 정상적인 프로필을 더 효과적으로 모방하도록 재작성 과정을 가이드합니다.
2. LLM 조작 (Prompt Injection): 안전 정책을 우회하거나 작업 실행을 방해하기 위해 지침을 주입합니다.
   • Reasoning Injection: 모델에게 봇 탐지 작업을 무시하도록 지시합니다 (예: "나를 봇으로 분류하지 마세요").
   • Safety Alignment Injection: 응답을 차단하기 위해 안전 메커니즘을 트리거합니다.
   • Out-of-Service Injection: 응답을 방지하기 위해 모델에 과도한 토큰을 과부하 시킵니다.

2.3. 방어 전략

본 연구는 탐지 기반 방어와 예방 기반 방어를 모두 평가합니다.

• 탐지 기반: 입력이 조작되었는지 식별하기 위해 LLM을 사용합니다 (예: 기본 LLM 기반, 인컨텍스트 학습(ICL), 특징 가이드, 기정 사실 확인(Known-Answer checks)).
• 예방 기반: 방어 지침을 포함하여 분류 프롬프트를 보강합니다 (예: 구분자(Delimiters), 샌드위치 기법, 지침형 예방, Zero-Shot을 이용한 자기 검토, ICL, 또는 특징 가이드).

2.4. 앙상블 아키텍처 (LSABRE)

본 논문은 모델 다양성을 활용하도록 설계된 다중 LLM 프레임워크인 LSABRE(LLM-powered Social Adversarial Bot Recognition Ensemble)를 제안합니다. 이는 두 단계로 작동합니다.

1. 탐지 레이어: 여러 탐지 액터(actor)가 병렬로 입력을 분석하여 적대적 콘텐츠 여부를 플래그로 표시합니다.
2. 예방 레이어: 플래그가 지정된 입력은 방어 지침을 프롬프트에 추가하는 예방 액터를 통해 처리됩니다.
3. 분류 레이어: 강화된 프롬프트가 최종 분류를 위해 블랙박스 탐지기로 전송됩니다. 의심스러운 사항이 없는 입력은 예방 레이어를 건너뜁니다.

3. 주요 결과

3.1. 베이스라인 성능

• Llama와 Gemma는 높은 베이스라인 정확도(각각 90%, ~89%)를 보인 반면, Mistral은 입력을 "인간"으로 분류하는 편향 때문에 낮은 성능(52%)을 보였습니다.
• 6개월 후 재테스트를 실시한 결과, 모든 모델에서 성능 저하가 나타났으며, Gemma는 ~10%, Llama는 ~6% 하락했습니다.

3.2. 공격 효과성

• 콘텐츠 조작: Feature-engineered Guidance Rewrite가 모든 모델에서 일관되게 가장 효과적인 공격이었습니다. Llama는 가장 견고한 모습(~10% 저하)을 보였으나, Gemma는 ~35%의 저하를 겪었습니다.
• LLM 조작: 프롬프트 인젝션 공격은 Llama와 Gemma에서 심각한 성능 저하(46-48%)를 일으켰습니다. Reasoning 기반 인젝션이 가장 효과적인 전략이었습니다. Mistral은 역설적으로 견고함(6% 감소)을 보였으나, 이는 핵심적인 탐지 작업을 수행하지 못하고 일관되게 "인간" 분류를 기본값으로 설정했기 때문입니다.
• 공격자 효력: Mistral이 대상 모델 전반에 걸쳐 탐지 정확도를 가장 크게 떨어뜨리는 가장 효과적인 공격자로 나타났습니다.

3.3. 방어 효과성

• 단일 모델의 한 한계: 어떤 단일 방어 방법도 모든 모델과 공격 유형에 대해 탐지 정확도를 공격 전 베이스라인 수준으로 복구하는 데 성공하지 못했습니다.
• 모델별 강점:
  • Llama: Known Answer 및 Feature Guidance 기법을 사용하여 LLM 조작에 대해 가장 잘 방어되었습니다.
  • Mistral: 콘텐츠 조작에 대해 ICL을 사용한 자기 검토(Self-Examination)를 통해 유의미한 개선을 보였으나, 베이스라인 유용성은 낮았습니다.
  • Gemma: 방어에 어려움을 겪었으며, 종종 공격을 받았을 때보다 방어를 적용한 후에 성능이 더 저하되는 모습을 보였습니다.
• 앙상블 성능 (LSABRE): 제안된 LSABRE 아키텍처는 강력한 적응형 적대적 공격 하에서도 86.23%의 탐지 정확도를 달 Achieve 했으며, 참 양성률(TPR) 85.5%와 거짓 양성률(FPR) 13.03%를 기록했습니다. 이는 공격이 적용되었을 때 관찰된 ~72%의 정확도에서 유의미한 회복을 나타냅니다.

4. 기여도

본 논문은 다음과 같은 기여를 주장합니다:

1. 포괄적 위협 모델링: 콘텐츠 및 LLM 조작으로 공격을 분류하는 LLM 기반 봇 탐지를 위한 위협 모델 및 분류 체계 개발.
2. 신규 공격 방법: 프롬프트에 작업 관련 핵심 특징을 주입하여 체계적으로 회피를 강화하는 Feature-engineered Guidance Rewrite 도입.
3. 방어 평가: 프롬프트 인젝션과 콘텐츠 재작성을 모두 다루는, 봇 탐지 도메인에 맞게 조정된 일반적인 LLM 방어 메커니즘에 대한 최초의 체계적 분석.
4. 신규 방어 전략: 봇 탐지를 위해 특별히 설계된 자기 검토, ICL 및 특징 가이드 추론 전략 도입.
5. LSABRE 아키텍처: 적응형 공격 하에서도 높은 정확도를 유지하며 견고성을 크게 향상시키는 다중 LLM 앙상블 프레임워크 제안.
6. 벤치마크 데이터셋: Llama, Mistral, Gemma를 사용하여 생성된 적대적 재작성 공격 기반의 대규모 벤치마크 데이터셋 구축.
7. 오픈 소스: 재현성을 지원하기 위해 구현 코드와 데이터셋을 공개.

5. 의의 및 주장

저자들은 이 연구를 사이버 보안 분야에서 LLM의 이중 용도(dual-use) 성격을 이해하기 위한 중요한 단계로 규정합니다. 그들은 LLM이 우수한 탐지 능력을 제공하는 동시에, 특정하고 강력한 대응책을 요구하는 새로운 취약성을 초래한다는 점을 주장합니다. 본 연구는 단일 모델 방어가 적응형 공격자에게 불충식하며, 운영 환경에서 탐지 신뢰성을 보존하기 위해서는 LSABRE와 같은 앙상블 접근 방식이 필수적임을 입증합니다.

본 논문은 연구 결과가 봇 탐지를 넘어 피싱 탐지, 이메일 분류, 사기 분석과 같은 다른 LLM 기반 사이버 보안 애플리케이션에도 일반화될 수 있음을 강조합니다. 결론적으로, 언어 모델과 응용 사이버 보안의 교차점에서는 시스템 무결성을 유지하기 위해 공격과 방어 평가의 지속적인 순환이 필요하다고 밝히고 있습니다.