PhishLumos: An Adaptive Multi-Agent System for Proactive Phishing Campaign Mitigation

기술 요약: PhishLumos

문제 정의
피싱 공격은 지속적인 사회적 위협으로, 특히 취약 계층에게 상당한 경제적 손실을 입히고 디지털 서비스에 대한 신뢰를 저하시킵니다. 현재의 방어 전략은 주로 반응적인 콘텐츠 기반 탐지 방식(예: 시각적 유사성, 로고 인식, 텍스트 분석)에 의존합니다. 그러나 현대의 공격자들은 자동화된 스캐너에게는 무해하거나 빈 페이지(예: 404 오류)를 보여주는 반면, 인간 사용자에게는 악성 콘텐츠를 전달하는 **클로킹(cloaking)**과 같은 정교한 회피 전술을 사용합니다. 이는 전통적인 콘텐츠 기반 탐지기를 무력화합니다. 본 논문은 사이버 보안의 핵심적인 비대칭성을 지적합니다. 즉, 공격자는 조율된 캠페인을 쉽게 확장할 수 있는 반면, 방어는 자원 집약적이고 전문가 중심적인 작업으로 남아 있다는 것입니다. 또한, 콘텐츠 접근이 불가능한 시나리오의 보편성이 증가하여, 2025년 초 관찰된 캠페인의 100%가 자동화된 스캐너에게 복구 가능한 콘텐츠를 제공하지 못했습니다.

방법론: PhishLumos
저자들은 단 하나의 URL로부터 전체 피싱 캠페인을 선제적으로 완화하기 위해 설계된 적응형 멀티 에이전트 시스템인 PhishLumos를 소개합니다. 이 시스템은 콘텐츠를 사용할 수 없는 상황을 실패가 아니라, 조사 방향을 공격자의 기저 인프라로 전환(pivot)해야 하는 신호로 취급하는 피벗 분석(Pivotal Analysis) 원칙에 따라 작동합니다.

• 아키텍처: 시스템은 전문화된 에이전트와 합성 에이전트들을 지휘하는 중앙 **감독 에이전트(Supervisor Agent)**에 의해 조율됩니다.
  • 전문화된 에이전트(Specialized Agents): 이 에이전트들(URL 분석, 도메인 분석, IP 분석, 인증서 분석)은 외부 위협 인텔리전스 API(예: urlscan.io, VirusTotal)를 쿼리하여 역사적 DNS 레코드, IP 주소 이력, TLS 인증서 데이터를 수집합니다.
  • 합성 에이전트(Synthesis Agents): **캠페인 분석 에이전트(Campaign Analysis Agent)**는 발견된 내용을 상관 분석하여 캠페인을 프로파일링하며, **규칙 생성 에이전트(Rule Generation Agent)**는 탐지 규칙을 생성하고 검증합니다.
• 적응형 워크플로우: 감독 에이전트는 대규모 언어 모델(LLM)을 사용하여 수집된 증거를 평가하고 다음 조사 단계를 동적으로 결정합니다(알고리즘 1). 초기 스캔에서 클로킹이나 의심스러운 인프라 패턴(예: 비-CDN IP 상의 여러 무관한 도메인)이 발견되면, 시스템은 공유 호스팅, 인증서 또는 등록 패턴을 분석하도록 피벗합니다.
• 컨텍스트 관리: LLM의 컨텍스트 제한을 처리하기 위해, 시스템은 선택적 데이터 추출, 구조화된 에이전트 간 통신, 그리고 계층적 요약을 사용하여 가공되지 않은 API 데이터를 간결한 증거 그래프로 정제하는 전략을 채택합니다.
• 규칙 생성: 시스템은 후보 탐지 규칙(예: 인프라 기반 쿼리)을 생성하고, 이를 작은 데이터 샘플에 대해 경험적으로 검증하여 높은 정밀도를 확보하고 차단 목록(blocklist)에 삽입하기 전 오탐을 방지합니다.

주요 기여

1. 반응적 대응에서 선제적 대응으로의 전환: PhishLumos는 개별 URL을 차단하는 것을 넘어, 공유 인프라 흔적을 식별함으로써 전체 피싱 캠페인을 완화합니다.
2. 회피에 대한 탄력성: 콘텐츠가 숨겨질 때 성능이 저하되는 기존 연구와 달리, PhishLumos는 인프라 신호(IP, 인증서, ASN)를 활용하여 페이지 콘텐츠가 클로킹되거나 접근 불가능한 경우에도 캠페인을 탐지합니다.
3. 멀티 에이전트 오케스트레이션: 시스템은 LLM 기반 에이전트를 활용하여 복잡하고 상태를 인지하는 조사를 조율하고, 나타나는 증거에 따라 동적으로 초점을 전환하는 새로운 응용 사례를 보여줍니다.
4. 실행 가능한 인텔리전스: 시스템은 단순한 이진 분류가 아닌, 검증된 탐지 규칙(예: 차단 목록을 위한 검색 쿼리)을 출력하여 보안 생태계에 직접 통합될 수 있도록 합니다.

실험 결과
시스템은 JPCERT/CC에 의해 검증된 103개의 고유한 피싱 캠페인(6,020개 URL)과 양성(benign) 데이터셋을 사용하여 평가되었습니다.

• 캠페인 커버리지: PhishLumos는 **중앙값 캠페인 커버리지 100%**를 달iel했습니다. 즉, 생성된 규칙이 캠페인 내의 거의 모든 알려진 URL을 성공적으로 식별했음을 의미합니다.
• 선제적 탐지: 시스템은 인간 전문가가 이를 확인하기 전 중앙값 192.8시간(약 8일) 전에 캠페인을 식별하여, 예방적 방어를 위한 중요한 시간을 확보했습니다.
• 회피 시나리오에서의 성능: 콘텐츠 접근이 불가능한 시나리오(85개 캠페인)에서 PhishL포스(PhishLumos)는 F1-Score 0.994와 재현율(recall) 1.000을 달성했습니다. 반면, 최신 베이스라인 모델들(ChatPhishDetector, Phishpedia, VisualPhishNet)은 성능이 급격히 하락하여, 시각 기반 방식의 경우 F1-score가 0.000까지 떨어졌습니다.
• 정밀도: 시스템은 모든 시나리오에서 0.001이라는 최소한의 오탐율(False Positive Rate)을 유지했습니다.
• 절제 연구(Ablation Study): "피벗 분석" 기능을 제거했을 때 평균 커버리지가 93.0%에서 56.1%로 감소하여, 인프라 피벗의 필요성을 확인했습니다. "규칙 생성" 에이전트(특히 다중 가설 검증 단계)를 제거했을 때 중앙값 커버리지가 2.2%로 급락하여, 엄격한 규칙 검증의 중요성을 입증했습니다.

의의
본 논문은 PhishLumos가 사이버 보안 방어의 실질적인 변화를 나타낸다고 주장합니다. 전문가 수준의 캠페인 인프라 조사를 자동화함으로써, 공격자와 방어자 사이의 규모 격차 문제를 해결합니다. 캠페인 인프라를 조사하는 능력은 공식 검증 전 며칠 이전에 캠페인을 탐지할 수 있게 하여, 보안 벤더와 조직이 피해가 발생하기 전 네트워크 전체에 차단 규칙을 배포할 수 있도록 합니다. 이 연구는 현대적이고 회피적인 피싱에 대한 효과적인 방어가 반드시 악성 콘텐츠에 접근할 필요는 없으며, 오히려 이러한 캠페인을 지원하는 지속적인 인프라를 추론하는 능력에 달려 있음을 보여줍니다.