기술 요약: AI 생성 vs. 인간 작성 스피어 피싱 SMS 공격 평가

문제 정의

개인화된 피싱(스피어 피싱)은 메시지가 대상의 특정 업무, 관심사, 사회적 맥락에 맞춰질 수 있기 때문에 매우 설득력 있는 치명적인 사이버 보안 위협으로 남아 있습니다. 대규모 언어 모델(LLM)은 이러한 표적형 콘텐츠를 저비용으로 대규모 자동 생성할 수 있는 가능성을 제시하지만, AI가 생성한 메시지가 동일한 개인에게 맞춰졌을 때 실제로 인간이 작성한 것보다 더 설설득력이 있는지에 대한 경험적 문헌은 크게 부족한 실정입니다. 또한, 대상자들이 AI와 인간의 출처를 신뢰성 있게 구별할 수 있는지, 혹은 텍-스트 자체가 그 기원을 나타내는 탐지 가능한 신호를 유지하고 있는지도 불분명합니다. 본 연구는 GPT-4로 생성된 스피어 피싱 SMS(스미싱) 메시지를 동일한 25명의 타겟을 대상으로 작성된 초보 인간 저자의 메시지와 비교함으로써 이러한 격차를 해결하고자 합니다.

방법론

본 연구는 25명의 참가자가 타겟 역할을 수행하는 파일럿 설계를 채택했습니다. 연구에는 제안된 평가 프레임워크인 TRAPD(Threshold Ranking Approach for Personalized Deception, 개인화된 기만을 위한 임계값 순위 결정 방식)를 활용하였으며, 이는 실제 공격을 배포하지 않고도 통제된 환경에서 윤리적으로 개인화된 기만 콘텐츠를 비교할 수 있도록 설계되었습니다.

실험 설계

1. 타겟 모집: 41명의 개인이 성명, 직업, 취미, 최근 소셜 미디어 게시물 등의 개인 데이터를 제공하는 설문에 참여했습니다. 이 중 25명이 평가 단계에 다시 참여했습니다.
2. 메시지 생성:
   • AI 조건: GPT-4(OpenAI API, temperature 0.7)가 타겟의 데이터를 사용하여 공유된 프롬프트 구조를 기반으로 메시지를 생성했습니다.
   • 인uman 조건: 99명의 초보 학생 저자(학부 사이버 보안/우등생)가 동일한 프롬프트 구조를 사용하여 시간 제한(약 15분) 하에 메시지를 작성했습니다.
   • 주제: 각 타겟에 대해 세 가지 특정 맥락(직무 관련, 취미 관련, 소셜 미디어 관련)으로 메시지를 생성했습니다.
   • 볼륨: 각 타겟은 총 12개의 메시지(AI 생성 6개, 인간 작성 6개; 주제당 각각 2개씩)를 받았습니다.
3. 평가 절차 (TRAPD):
   • 순위 매기기: 참가자들은 12개의 메시지를 클릭할 가능성이 높은 순서에서 낮은 순서로 물리적으로 배열했습니다.
   • 임계값 설정: 참가자들은 순위 목록에서 클릭할 의사가 있는 지점을 나타내는 임계값을 표시했습니다.
   • 질적 설명: 참가자들은 순위 및 임계값에 대한 근거를 설명했습니다.
   • 출처 귀속: 참가자들은 어떤 메시지가 AI에 의해 생성되었다고 믿는지 식별하고 그 기준을 설명했습니다.
4. 컴퓨터 분석: 시맨틱 임베딩(text-embedding-3-small)을 사용하는 로지스틱 회귀 분류기를 학습시켜 두 메시 세트를 구분했습니다. 이 분석에는 분류기가 깊은 텍스트 패턴에 의존하는지 테스트하기 위해 명백한 표면 특징(URL, 이모지, 길이, 구두점)을 정규화하는 민감도 테스트가 포함되었습니다.

주요 기여

1. 통제된 비교: 기존 문헌이 주로 이메일이나 대량 피싱에 집중했던 것과 달리, GPT-4 생성 및 인간 작성의 개인화된 스미싱 메시지에 대한 직접적인 타겟 내 비교를 제공합니다.
2. 출처 귀속 평가: AI와 인간의 출처를 구별하는 인간 타겟의 정확도를 기록하고, 그들이 의존하는 구체적인 단서(또는 결여된 부분)를 분석합니다.
3. 특징 분석: 참가자들이 설득력 또는 의심과 연관 짓는 메시지 특성(관련성, 발신자 신원, URL 구조, 스타일, 긴급성)을 식별합니다.
4. 컴퓨터적 구별 가능성: 인간은 출처를 구별할 수 없는 반면, 텍스트 자체는 표면적인 특징을 제어한 후에도 컴퓨터적으로 구별 가능하다는 점을 입증합니다.
5. TRAPD 프레임워크: TRAPD 프리임워크를 소개하고, 생태적 타당성을 일부 희생하더라도 엄격한 타겟 내 통제와 풍부한 질적 데이터를 제공할 수 있는, 개인화된 기만 콘텐츠의 통제된 비교를 위한 실현 가능성과 한계를 문서화합니다.

결과

설득력 (RQ1 & RQ2)

• AI vs. 인간: GPT-4 생성 메시지는 **28.0%**의 경우 클릭 의사를 유발한 반면, 인간 작성 메시지는 **21.3%**였습니다. 그러나 이 차이는 통계적으로 신뢰할 수 없었습니다 (95% CI: -2.9 ~ 16.3 퍼센트 포인트; p = 0.147). 본 연구는 AI가 인간보다 우수하다거나 두 조건이 동일하다는 것을 확립하지 못했습니다.
• 주제의 영향: 직무 관련 메시지가 취미나 소셜 미디어 메시지보다 유의미하게 더 설득력이 있었습니다. 직무 관련 메시지의 38%가 의도된 클릭 임계값을 초과한 반면, 취미는 19%, 소셜 미디어는 17%였습니다. 직무 메시지는 다른 두 카테고리에 비해 의도된 클릭 확률이 유의미하게 높았습니다 (Holm 조정 후 p < 0.05).
• 질적 동인: 참가자들은 개인적 관련성(76%), 발신자 신원(68%), URL 특성(64%)을 주요 요인으로 꼽았습니다. 정확한 개인화는 신뢰도를 높였으나, 불일치(예: 잘못된 동료, 부적절한 주제)는 의구심을 불러일으켰습니다.

출처 귀속 (RQ3 & RQ4)

• 인간의 정확도: 참가자들이 출처(AI vs. 인간)를 정확히 식별한 비율은 **52.0%**에 불과했으며, 이는 우연에 의한 수준과 다를 바 없었습니다 (p = 0.597).
• 사용된 단서: 낮은 정확도에도 불구하고, 참가자들은 "스타일"(격식, 일반적인 어조), "단어 선택"(유행어 vs. 속어), "문법"(완벽함 vs. 오류), "이모지"와 같은 일관되지 않은 단서에 의존했습니다. 많은 참가자가 구체적인 기준보다는 "직감"에 의존하며 불확실성을 표현했습니다.

컴퓨터적 출처 귀속 (RQ5)

• 기계적 구별 가능성: 인간의 성능과 대조적으로, 컴퓨터 분류기는 엄격한 정규화(URL, 이모지 제거, 길이/대소문자 표준화) 후에도 높은 정확도로 메시지 세트를 구별할 수 있었습니다.
• 성능: 가장 엄격한 조건(길이 균등화, 정규화된 텍스트)에서 분류기는 미학습 타겟에 대해 균형 정확도(Balanced Accuracy) 88.7% 및 ROC AUC 0.954를 달s성했습니다. 이는 연구 특정 메시지 세트가 인간은 감지할 수 없지만 기계는 감지할 수 있는 미세하고 분산된 텍스트 패턴을 포함하고 있음을 시사합니다.

의의 및 주장

본 논문은 접근 가능한 AI 보조 개인화가 개별 AI 메시지가 현재 인간보다 우월하지 않더라도, 사회 공학적 위협의 실질적 규모를 증가시킬 수 있다고 주장합니다. 핵심 발견은 간단한 프롬프트만으로도 검증된 초보 인간 작성자와 비교했을 때 (이 파일럿 연구의 불확실성 범위 내에서) 대등하게 설득력 있는 개인화된 메시지를 생성할 수 있다는 것입니다.

본 연구는 특히 스미싱에서 **직장 관련 프리텍스트(Pretext)**가 매우 강력하다는 점을 강조하며, 이에 대한 교육과 방어 측면에서의 특별한 주의를 촉구합니다. 또한 중요한 불일치를 지적합니다: 인간은 AI 저자성을 신뢰성 있게 감지할 수 없지만, 텍스트는 계산 가능한 신호를 유지한다는 점입니다. 그러나 저자들은 이러한 컴퓨터적 결과가 본 연구의 조건(특정 모델, 특정 프롬프트, 초보 저자)에 국한된 것이며, 이를 일반적인 AI 탐지기로 간주해서는 안 된다고 경고합니다. 특히 공격자가 탐지를 피하기 위해 텍스트를 수정할 수 있기 때문입니다.

마지막으로, 본 논문은 TRAPD를 가치 있고 윤리적인 프레임워크로 제시하며, 실제 라이브 피싱 실험이 제공할 수 없는 통제된 비교와 상세한 추론 분석을 허용하는 동시에, 생태적 타당성 및 일반화 가능성에 대한 한계를 인정합니다.