1. 문제 정의 (Problem Definition)

기존의 피싱 웹사이트 탐지 기술은 주로 정적 블랙리스트 (Blocklist) 나 수동으로 정의된 휴리스틱 규칙에 의존합니다. 이러한 방식은 알려진 공격에는 효과적이지만, 공격자가 새로운 도메인을 등록하거나 콘텐츠를 흐리게 하거나 (Obfuscation), 인프라를 변경하는 등 빠르게 진화하는 공격에는 대응이 느리고 취약합니다.

최근 대규모 언어 모델 (LLM) 을 활용한 접근법들이 등장했으나, 대부분 고정된 프롬프트 기반의 결정론적 파이프라인으로 구성되어 있어 다음과 같은 한계가 있습니다:

• 제한된 추론 능력: 단순한 프롬프트 입력에 의존하여 복잡한 증거 수집과 다단계 추론을 수행하지 못함.
• 적응성 부재: 새로운 피싱 패턴에 맞춰 도구 (Tool) 를 동적으로 선택하거나 재배열하지 못함.
• 기억 부재 (Memory-less): 과거의 조사 경험이나 유사한 사례를 학습하여 현재의 판단에 반영하지 못함.

따라서, 실시간으로 변화하는 웹 환경에서 적응적으로 증거를 수집하고, 과거 경험을 활용하여 정확한 탐지가 가능한 새로운 아키텍처가 필요합니다.

2. 방법론 (Methodology)

저자들은 MemoPhishAgent (MPA) 라는 새로운 멀티모달 LLM 에이전트를 제안했습니다. 이는 정해진 워크플로우를 따르는 것이 아니라, 현재 증거 상태에 기반하여 피싱 전용 도구들을 동적으로 조율하고, 과거의 추론 궤적 (Episodic Memories) 을 활용하여 의사결정을 내리는 시스템입니다.

2.1 핵심 아키텍처

MPA 는 ReAct (Reasoning + Acting) 프레임워크를 기반으로 하며, 다음과 같은 구성 요소로 이루어져 있습니다:

1. 5 가지 전문화된 멀티모달 도구 (Specialized Tools):

   • Crawl Content: 페이지의 원시 HTML 을 LLM 친화적인 마크다운 형식으로 변환하여 의미 있는 신호에 집중하도록 함.
   • Check Screenshot: 전체 페이지 스크린샷을 분석하여 시각적 의심 징후를 평가.
   • Check Image: 전체 페이지가 불명확할 때, 중요한 그래픽 요소를 분리하여 정밀 분석.
   • Intelligent Search: LLM 의 내부 지식이 부족할 때, 증거 기반 검색 쿼리를 생성하여 외부 지식을 확보 (예: "이 도메인이 합법적인가?").
   • Extract Targets: 리디렉션, 임베디드 링크, 자식 URL 등을 식별하여 심층 조사가 필요한 타겟을 발굴.

2. 에피소드 기억 시스템 (Episodic Memory System):

   • 구성 (Construction): 과거의 URL 조사 과정에서 추출된 키워드 (LLM 이 요약), 도구 호출 순서, 최종 판단 결과를 벡터 인덱스에 저장.
   • 검색 및 활용 (Retrieval & Management): 새로운 URL 이 들어오면 유사한 과거 사례 (에피소드) 를 검색하여 활용합니다.
     • 완전 일치 (Full Match): 저장된 유사 사례들의 다수결 (Majority Vote) 로 빠른 판단.
     • 부분 일치 (Partial Match): 과거 사례를 컨텍스트 예시 (In-context exemplars) 로 활용하여 필요한 도구만 재사용.
     • 불일치 (No Match): 기본 ReAct 루프를 통해 처음부터 추론 수행.

3. 동적 도구 선택: 에이전트는 현재 불확실성 (Uncertainty) 상태에 따라 도구를 순서대로 선택하거나 건너뛰거나 반복할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 실제 환경 특화 에이전트 프레임워크: 정적 규칙이나 고정된 워크플로우가 아닌, 실시간 증거 상태에 따라 도구를 동적으로 선택하는 최초의 멀티모달 LLM 에이전트 기반 피싱 탐지 프레임워크를 제안했습니다.
2. 에피소드 기억 시스템 도입: 과거의 추론 궤적과 결과를 저장하고 검색하여, 반복되는 패턴에 대한 빠른 판단과 어려운 사례에 대한 정밀한 예시 제공을 가능하게 했습니다. 이는 추가적인 계산 오버헤드 없이 성능을 크게 향상시킵니다.
3. 실제 배포 및 검증: 공개 벤치마크뿐만 아니라, 소셜 미디어에서 실제로 크롤링된 2,765 개의 URL 데이터셋 (SocPhish) 에서 검증되었으며, 실제 산업 환경 (Amazon) 에서 주당 약 6 만 개의 고위험 URL 을 처리하며 운영 중입니다.

4. 실험 결과 (Results)

MPA 는 두 가지 공개 데이터셋 (TR-OP, DynaPD) 과 실제 크롤링 데이터셋 (SocPhish) 에서 최신 기법 (SOTA) 들과 비교 평가되었습니다.

• 성능 향상:
  • TR-OP 데이터셋: 기존 최첨단 모델 대비 Recall(재현율) 을 13.6% 향상 (MPA: 98.56%).
  • SocPhish (실제 환경): 실제 소셜 미디어에서 수집된 데이터에서 Recall 을 20% 향상 (MPA: 91.44%). 이는 기존 모델들이 URL 단축이나 플랫폼 호스팅 경로로 인한 피싱을 놓치는 문제를 해결함을 의미합니다.
  • 처리 속도: 평균 URL 당 4.46 초로, 다른 LLM 기반 에이전트들보다 빠릅니다.
• Ablation Study (성분 분석):
  • 모든 5 가지 도구가 성능에 기여하며, 특히 '스크린샷 확인'과 '타겟 추출' 도구가 제거될 때 정확도가 크게 하락했습니다.
  • 기억 시스템의 효과: 기억 시스템이 없을 때 Recall 이 63.69% 로 급감하는 반면, 활성화 시 91.44% 로 크게 개선되었습니다. 기억 시스템이 전체 Recall 향상에 약 27% 기여함을 확인했습니다.
• 강건성 (Robustness):
  • 프롬프트 주입 공격: 시각적 증거를 조작하는 프롬프트 주입 공격에 대해 MPA 는 기존 MLLM 모델보다 훨씬 높은 강건성을 보였습니다 (Recall 0.88 유지 vs MLLM 0.52). 이는 다중 도구와 기억 기반의 다수결 투표가 단일 시각적 조작을 상쇄하기 때문입니다.
  • 노이즈 내성: 기억 데이터의 일부가 오염되더라도 성능이 점진적으로만 저하되어 시스템의 안정성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

MemoPhishAgent 는 피싱 탐지 분야에서 멀티모달 추론과 에피소드 기억의 결합이 실제 사용자 노출 환경에서 강력한 방어 수단이 될 수 있음을 입증했습니다.

• 실용성: 단순한 연구 모델을 넘어, Amazon 에서 주당 수만 건의 고위험 URL 을 실시간으로 처리하며 수백만 사용자를 보호하는 프로덕션 환경에 배포되었습니다.
• 패러다임 전환: 정적 규칙이나 고정된 파이프라인에서 벗어나, 에이전트가 과거 경험을 학습하고 동적으로 도구들을 조율하는 적응형 (Adaptive) 탐지 시스템의 가능성을 열었습니다.
• 효율성: 추가적인 계산 비용 없이 기억 시스템을 통해 재발생하는 공격 패턴에 대한 탐지 속도와 정확도를 동시에 개선했습니다.

이 연구는 LLM 기반 에이전트가 사이버 보안, 특히 진화하는 피싱 위협에 대응하는 데 있어 핵심적인 역할을 할 수 있음을 보여주는 중요한 사례입니다.