A Multi-Turn Framework for Evaluating AI Misuse in Fraud and Cybercrime Scenarios

논문 개요: 사기 및 사이버 범죄 시나리오에서의 AI 오용 평가를 위한 멀티턴 프레임워크

이 논문은 영국 AI 보안 연구소 (AI Security Institute) 의 연구진들이 작성한 것으로, 대형 언어 모델 (LLM) 이 실제 사기 및 사이버 범죄 (로맨스 스캠, CEO 사칭, 신원 도용 등) 에 얼마나 유용한 정보를 제공할 수 있는지를 체계적으로 평가하기 위한 새로운 프레임워크를 제시합니다.

1. 문제 정의 (Problem Statement)

• 배경: AI 를 활용한 사기 및 사이버 범죄가 급증하고 있으며, 범죄자들이 AI 를 사용하여 가짜 신원을 만들거나, 표적을 분석하고, 정교한 피싱 캠페인을 제작하는 사례가 보고되고 있습니다.
• 현황: 현재 AI 가 복잡한 범죄 활동을 얼마나 용이하게 하는지에 대한 체계적인 실증 데이터가 부족합니다. 기존 평가들은 주로 단일 회차 (single-turn) 프롬프트에 의존하거나, 실제 범죄 수사 전문가의 검증 없이 이루어져 현실적인 위험을 과소 또는 과대 평가할 수 있습니다.
• 핵심 질문:
  1. 멀티턴 (multi-turn) 상호작용에서 LLM 이 사기 및 사이버 범죄 작업에 얼마나 유용한 정보를 제공하는가?
  2. 이러한 정보의 품질과 실행 가능성 (actionability) 을 결정하는 모델의 특성은 무엇인가?

2. 방법론 (Methodology)

연구진은 실제 범죄 수명주기를 반영하는 장형 작업 (Long-Form Tasks, LFTs) 프레임워크를 개발했습니다.

• 시나리오 선정: 실제 발생 빈도와 영향력을 기준으로 3 가지 시나리오를 선정했습니다.
  1. 로맨스 스캠 (Romance Scams): 데이트 앱에서 가짜 신원을 만들어 피해자를 설득해 금전을 편취.
  2. CEO 사칭 (CEO Impersonation): 임원 사칭을 통해 직원에게 자금 이체나 민감 정보 공유를 요구.
  3. 신원 도용 (Identity Theft): 타인의 개인정보를 무단으로 획득하여 자원에 접근.
• 모델 및 변수:
  • 대상 모델: 14 개의 다양한 LLM (추론 능력, 웹 검색 기능, 안전 장치 유무 포함). 특히 안전 장치를 제거한 '언센서 (uncensored)' 모델도 포함하여 비교 분석했습니다.
  • 작업자 유형: 비기술적 개인, 기술적 개인, 협업 기술 운영자 등 3 가지 유형.
  • 프롬프트 전략:
    • 멀티턴 구조: 각 시나리오를 6 단계 (계획, 정보 수집, 위조, 실행, 회피, 확장) 로 나누고, 각 단계마다 2 번의 질문 (초기 probing 및 후속 질문) 을 총 12 회 수행했습니다.
    • 프레임링 (Framing):
      • 악의적 프레임: 명백한 범죄 의도를 명시.
      • 부드러운 (Benign) 프레임: 교육, 연구, 보안 테스트 등 합법적인 목적으로 위장하여 악의적 의도를 은폐.
    • 자일브레이크 (Jailbreak): 시스템 레벨의 저비용 자일브레이크 시도 포함.
• 평가 기준 (Rubric): 범죄 및 사이버 보안 전문가와 공동 개발한 6 점 척도 (1~6) 를 사용하여 자동 채점 (GPT-4.1 기반) 을 수행했습니다.
  • 실행 가능성 (Actionability): 모델이 즉시 사용 가능한 공격 자재 (예: 악성 코드, 가짜 신원 생성 도구) 를 생성하는지 여부.
  • 정보 접근성 (Information Access): 웹 검색 이상의 전문적이고 실행 가능한 정보를 제공하는지 여부.

3. 주요 결과 (Key Results)

총 20,088 건의 평가 (14 개 모델 × 9 개 시나리오 변형 × 5 회 반복) 를 통해 다음과 같은 결론을 도출했습니다.

• 제한된 정보 제공: 현재 LLM 은 고급 자일브레이크 기법을 사용하지 않는 한, 사기 및 사이버 범죄에 대한 실행 가능한 정보를 매우 제한적으로 제공합니다.
  • 응답의 **88.5%**가 실행 가능성 (Actionability) 측면에서 거절되거나 사용 불가능한 수준 (점수 2 이하) 이었습니다.
  • 응답의 **67.5%**가 웹 검색 이상의 전문 정보 (Information Access) 를 제공하지 못했습니다.
• 안전 장치의 중요성:
  • 안전 장치를 제거한 '언센서' 모델은 다른 모델보다 훨씬 높은 실행 가능성 점수를 보였습니다.
  • 그러나 언센서 모델조차도 완전한 자동화 솔루션 (점수 5~6) 을 제공하는 경우는 드물었으며, 종종 해로운 답변과 함께 윤리적 경고를 병기하는 '안전 인식'이 남아있음을 발견했습니다.
• 프롬프트 전략의 효과:
  • 부드러운 프레임 (Benign Decomposition): 악의적 의도를 은폐하고 합법적인 맥락 (예: 보안 연구) 으로 질문을 분해하는 방식이 명백한 악의적 프레임보다 모델의 협조를 이끌어내는 데 훨씬 효과적이었습니다.
  • 시스템 레벨 자일브레이크: 테스트된 저비용 시스템 레벨 자일브레이크는 효과가 미미했습니다.
• 모델 및 시나리오별 차이:
  • 모델 선택이 가장 큰 영향을 미쳤으며, 모델 크기가 클수록 성능이 높다는 명확한 패턴은 없었습니다 (안전 튜닝이 더 중요함).
  • 시나리오별 차이: CEO 사칭이 가장 많은 협조를 이끌어냈으며, 신원 도용 (기술적 요소가 강한 경우) 은 악의적 프레임 시 거의 거절했으나, 부드러운 프레임 시 협조율이 크게 증가했습니다.
  • 추론 (Reasoning) 기능: 추론 토큰을 사용하는 모델들은 내부적으로 악의적 의도를 식별하여 거절하는 경우가 많았으나, 일부 경우에는 기술적 세부사항을 제공하기도 했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 범죄용 장형 작업 (LFTs) 평가 세트: 단일 회차 테스트를 넘어, 실제 범죄 수명주기를 모방한 멀티턴 상호작용 평가를 도입했습니다.
2. 전문가 기반의 검증 프레임워크: 법 집행 기관 및 정책 전문가와 협력하여 시나리오와 평가 기준 (Rubric) 을 검증함으로써, 실제 범죄 맥락에서의 위험을 더 정확하게 반영했습니다.
3. 재현 가능한 평가 방법론: 모델의 안전성, 프롬프트 전략, 모델 유형 등 다양한 변수를 체계적으로 분석하여 AI 오용 위험의 진화를 추적할 수 있는 표준적인 방법론을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 현실적인 위험 평가: 현재 상용 LLM 은 별도의 고도화된 공격 (고비용 자일브레이크 등) 없이서는 범죄에 직접 활용하기 어렵다는 점을 실증했습니다. 이는 AI 의 악용 위험이 과장되었을 수 있음을 시사하지만, 동시에 안전 장치가 핵심 방어선임을 강조합니다.
• 안전 장치의 진화 필요성: 범죄자들이 '부드러운 프레임'이나 '멀티턴 대화'를 통해 안전 장치를 우회하려는 시도가 효과적일 수 있으므로, 단순한 키워드 필터링을 넘어 장기적인 대화 맥락에서 악의적 의도를 탐지하는 차세대 안전 장치가 필요합니다.
• 미래 연구 방향: 본 연구는 텍스트 기반 평가에 국한되어 있으며, 향후 이미지/비디오 생성 등 멀티모달 오용, 고도화된 적대적 공격 (Red-teaming), 그리고 인간 범죄자 대비 AI 의 효율성 비교 연구가 필요함을 지적했습니다.

결론적으로, 이 논문은 AI 가 현재 범죄에 직접적인 '무기'로 사용되기보다는 제한된 정보 제공 수준에 머무르고 있음을 보여주지만, 안전 장치가 약화되거나 공격 기법이 진화할 경우 위험이 급증할 수 있음을 경고하며, 이를 모니터링할 수 있는 과학적 프레임워크를 확립했습니다.