VEXA: Evidence-Grounded and Persona-Adaptive Explanations for Scam Risk Sensemaking

기술 요약: VEXA – 증거 기반 및 페르소나 적응형 설명을 통한 사기 위험 의미 형성(Sensemaking)

문제 정의

이메일, SMS, 소셜 미디어를 가로지르는 온라인 사기는 생성형 AI가 유창하고 문맥에 맞는 기만 기술을 가능하게 함에 따라 더욱 심화된 보편적 보안 과제로 진화했습니다. 트랜스포머 기반 탐지기들은 높은 예측 정확도를 달вле하지만, 그 내부 결정 과정은 비전문가 사용자가 이해하기에는 불투명합니다. 기존의 설명 가능한 AI(XAI) 기술(예: SHAP, LIME)은 일반적으로 해석하기 어려운 토큰 수준의 시각화를 제공합니다. 또한, 대규모 언어 모델(LLM)은 자연어 생성 능력은 갖추고 있으나, 특정 탐지기의 결정 과정보다는 파라미터 지식에 의존하는 경우가 많아, 근거를 조작하거나 위험에 대한 잘못된 정신 모델을 형성할 수 있는 "불충실한(unfaithful)" 설명을 생성할 위험이 있습니다. 아울러, 보안 심리학 연구에 따르면 사용자는 위험 인식 및 정보 처리 스타일(예: 성격 특성에 기반함)에서 차이를 보이지만, 현재의 보안 개입은 다양한 학습자에게 적응형 스캐폴딩(scaffolding)을 제공하지 못하고 단일한 일률적 경고만을 전달한다는 한계가 있습니다.

방법론: VEXA 프레임워크

저자들은 VEXA(취약성 인지 및 증거 기반 페르소나 적응형 설명)를 제안합니다. 이는 탐지 모델에 충실하면서도 사용자의 취약성 프로필에 따라 스타일이 적응되는 학습자 대상 사기 설명을 생성하도록 설계된 시스템 레벨 프레임워크입니다. 이 프레임워크는 네 가지 순차적 단계로 작동합니다:

1. 사기 탐지: 고정된 BERT 기반 분류기(특히 가장 높은 Macro F1을 위해 선택된 DeBERTa-v3-base)가 이메일, SMS 또는 SNS로부터 입력된 메시지를 분석하여 이진 사기 예측을 생성합니다.
2. XAI 증거 추출: 시스템은 임베딩 공간에서 GradientSHAP을 적용하여 예측에 기여하는 핵심 토큰을 식별합니다. 이러한 기여도는 단어 수준의 점수로 집계되고, 불용어를 제거하는 동시에 위험 관련 토큰(URL, 통화 언급, 강조 구두점 등)을 유지하도록 필터링되어 압축된 증거 구절 세트를 형성합니다.
3. 페르소나 선택: VEXA는 개별 사용자를 모델링하는 대신, Big Five 성격 특성에서 도출된 이론 기반의 취약성 페르소나를 활용합니다. 두 가지 이진 페르소나가 정의됩니다:
   • 고취약성(High Vulnerability): 높은 신경증과 낮은 성실성을 특징으로 합니다. 이 페르소나를 위한 설명은 더 차분하고, 맥락적이며, 지원적인 방식으로 설계됩니다.
   • 저취약성(Low Vulnerability): 높은 성실성과 낮은 정서적 반응성을 특징으로 합니다. 이 페르소나를 위한 설명은 간결하고, 분석적이며, 명시적 증거를 전면에 내세웁니다.
     이러한 페르소나는 개인의 행동을 예측하기 위한 것이 아니라, 톤과 구조를 조절하기 위한 설계 구성 요소로 사용됩니다.
4. LLM 설명 생성: LLM은 원본 메시지, 추출된 XAI 증거, 그리고 페르소나별 지침을 프롬프트로 받습니다. LLM은 탐지기 유래 단서들을 접근 가능한 자연어로 번역하며, 증거를 참조하도록 제한하는 동시에 선택된 페르소나에 따라 스타일을 적응시킵니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 증거 기반 프레임워크: 이질적인 통신 맥락(이메일, SMS, SNS) 전반에서 모델 유래 결정 증거에 기반함으로써 설명의 충실성을 보장하는 시스템 레벨 접근 방식을 제시합니다.
2. 페르소나 기반 적응: 개별 수준의 사용자 데이터나 행동 예측 없이도, 이론 기반의 취약성 페르소나를 사용하여 설명 스타일을 체계적으로 조절할 수 있음을 입증합니다.
3. 다채널 적용 가능성: 다양한 통신 제약 조건 하에서도 일관된 설명 설계를 보여주는 다채널 사기 모달리티(SNS, SMS, 이메일)에 대한 프레임워크 검증을 수행합니다.
4. 설계 중심 분석: 위험 의미 형성을 중요한 디지털 리터러시로 프레이밍하여, 증거 기반 구축과 페르소나 적응이 시스템 설계 관점에서 보안 설명을 어떻게 형성하는지 분석합니다.

실험 결과

저자들은 다채널 사기 및 정상 메시지 코퍼스를 사용하여 VEXA를 평가하였으며, 네 가지 생성 설정(Pure LLM, LLM + XAI (중립), LLM + XAI + 고취약성, LLM + XXI + 저취약성)을 비교하였습니다.

• 충실성(Faithfulness): XAI 증거에 기반한 설명은 (페르소나와 관계없이) 높고 일관된 충실도 점수(~0.745–0.749)를 달성하였으며, 이는 근거가 없는 베이스라인 모델을 크게 상회했습니다. 페르소나 조건화는 핵심 증거 토큰의 포함 여부에 영향을 미치지 않았습니다.
• 정확성(Semantic Reliability): 설명을 증거에 기반시키는 것은 의미적 정확성을 (베이스라인의 0.366에서 XAI 전용 조건의 0.592로) 유의미하게 향상시켰습니다. 이러한 개선은 언어적 복잡성을 증가시키지 않고도 이루어졌습니다.
• 가독성(Stylistic Variation): 페르소나 조건화는 표면적인 언어적 복잡성을 성공적으로 조절했습니다. 고취약성 페르노는 더 낮은 Flesch–Kincaid Grade Level (FKGL) 점수(12.01)를 생성하여, 더 단순하고 맥락적인 구절을 나타냈습니다. 저취약성 페르소나는 더 높은 FKGL 점수(14.39)를 기록하여, 간결하고 분석적인 언어를 반영했습니다. 결정적으로, 이러한 스타일 변화는 의미적 신뢰성을 저해하지 않았습니다.
• 전문가 평가: 도메인 전문가들은 설명이 타당하며 실제 사기 식별 관행과 일치한다고 평가했습니다. 전문가들은 페르소나 기반의 차이가 합리적(지원적 vs 분석적)이며, 명시적 단서에 기반한 것이 일반적인 경고보다 명확성을 높였다고 언급했습니다. 또한 관련 지표를 그룹화하고 홍보성 주장과 실행 유도 문구를 구분하는 등의 추가적인 정교화가 필요하다고 제안했습니다.

의의 및 주장

본 논문은 VEXA가 비형식적 보안 학습을 위한 페르소나 적응형, 증거 기반 설명 생성이 가능하다는 것을 입증한다고 주장합니다. 밝혀진 핵심 설계 통찰은 증거 기반 구축이 의미적 정확성을 규정하여 설명이 실제 모델의 로직을 반영하도록 보장하는 반면, 페르소나 기반 적응은 제시 방식(스타일, 톤, 구조) 차원에서 작동한다는 것입니다.

저자들은 이 두 메커니즘이 서로 경쟁하는 목표가 아니라 상호 보완적인 차원에서 작동한다고 주장합니다. (증거에 의해 제약되는) 의미적 내용과 (페르소나에 의해 조절되는) 스타일적 전달을 분리함으로써, 프레임워크는 해석 가능성, 개인화, 그리고 신뢰성 사이의 원칙적인 균형을 제공합니다. 본 연구는 침해적인 사용자 모델링 없이도 위험 의미 형성을 지원하는 신뢰할 수 있는 보안 설명에 대한 설계 지침을 제공합니다.

저자들은 현재의 평가가 실제 학습이나 행동 결과를 측정하는 인간 피험자 연구가 아닌 전문가 평가에 의존하고 있다는 점을 인정하며 주장에 대해 겸허한 태도를 유지합니다. 또한, 단순화된 페르소나 정의가 사용자의 경험 다양성을 모두 포착하지 못할 수 있으며, 실제 환경에서의 의사결정에 미치는 효과를 평가하기 위한 향후 연구가 필요함을 명시했습니다.