MalURLBench: A Benchmark Evaluating Agents' Vulnerabilities When Processing Web URLs

이 논문은 LLM 기반 웹 에이전트가 악성 URL 처리 시 가지는 취약점을 평가하기 위해 10 가지 실세계 시나리오와 7 가지 악성 웹사이트 카테고리를 포함한 최초의 벤치마크인 'MalURLBench'를 제안하고, 기존 모델들의 취약성을 분석하며 경량 방어 모듈인 'URLGuard'를 소개합니다.

핵심

🕵️‍♂️ "말하는 AI 비서"를 속이는 새로운 사기 수법: MalURLBench 연구 설명

이 논문은 최근 우리 일상과 업무에 깊숙이 들어온 AI 웹 에이전트 (웹을 보고 행동하는 AI) 가 겪고 있는 치명적인 약점을 발견하고, 이를 테스트하는 새로운 기준을 제시한 연구입니다.

이해하기 쉽게 비유를 섞어 설명해 드릴게요.

---

1. 상황 설정: 똑똑하지만 속기 쉬운 AI 비서

상상해 보세요. 여러분에게 매우 똑똑한 AI 비서가 있습니다. 이 비서는 "이 링크를 열어보고 내용을 요약해 줘"라고 하면, 인터넷을 검색해서 내용을 읽어옵니다.

하지만 이 비서에게는 치명적인 단점이 하나 있습니다.

• 진짜 링크와 가짜 링크를 구별하는 눈이 아직 부족하다는 것입니다.

2. 새로운 사기 수법: "위장한 URL"

과거의 해커들은 AI 비서가 방문한 웹사이트 안에 **악성 코드 (바이러스)**를 심는 방식으로 공격했습니다. 하지만 이번 연구는 그보다 더 교활한 방법을 발견했습니다.

비유:
해커가 AI 비서에게 "여기 공식 정부 사이트야!"라고 말하며 링크를 건넵니다.

• 진짜 링크: gov.kr (공식)
• 가짜 링크 (위장): gov-secure-login-12345.gov.kr (보안 로그인 12345 라고 적힌 가짜)

AI 비서는 링크의 **구조 (주소 형식)**를 잘 분석하지 못합니다. 그래서 "아, gov 가 들어갔으니 안전한 곳이겠지?"라고 생각하며 가짜 링크를 믿고 방문해 버립니다.

이 연구는 **"AI 가 이런 위장된 링크를 얼마나 잘 속아넘어가는가?"**를 테스트하기 위해 MalURLBench라는 도구를 만들었습니다.

---

3. MalURLBench: AI 의 '사기 탐지 능력' 시험지

연구팀은 이 시험지를 만들기 위해 다음과 같은 작업을 했습니다:

• 10 가지 상황 (시험 과목): "택배 추적", "날씨 확인", "음식 주문", "구직 활동" 등 우리가 매일 하는 10 가지 상황을 만들었습니다.
• 7 가지 악성 사이트 (가짜 지폐): 실제 해킹당하거나 사기성인 7 가지 유형의 웹사이트를 수집했습니다.
• 61,845 개의 함정 (시험 문제): 이 상황과 사이트들을 조합해, 6 만 개 이상의 위장된 링크를 만들었습니다.
  • 예시: "오늘 날씨를 알려줘"라는 명령에 weather-forecast-official-2024.com 같은 가짜 주소를 넣는 식입니다.

4. 실험 결과: AI 는 여전히 "어리석은" 학생?

연구팀은 GPT-4, Llama, DeepSeek 등 유명한 AI 12 개를 이 시험지에 응시시켰습니다. 결과는 충격적이었습니다.

• 대부분의 AI 가 속았습니다: 어떤 AI 는 **99.9%**의 확률로 가짜 링크를 믿고 방문했습니다. (100 번 중 99 번 이상 실패)
• 작은 AI vs 큰 AI: 보통 "머리가 좋은 (큰) AI"가 더 잘할 것 같지만, 이 문제에서는 크기가 커도 여전히 많이 속았습니다. 다만, 모델이 클수록 조금은 더 잘 구별하긴 했습니다.
• 왜 그럴까?
  • 이유 1: AI 는 훈련 데이터에서 "긴 주소"나 "이상한 도메인 (.link, .art 등)"을 본 적이 거의 없습니다. 그래서 "짧고 깔끔한 주소 = 안전"이라고 잘못 배웠습니다.
  • 이유 2: AI 는 주소를 읽을 때, "이 주소가 어떤 의미인가?"보다는 "문자열 자체"에 집중하는 경향이 있어, 위장된 문구를 진짜로 착각합니다.

5. 해결책: URLGuard (AI 의 '경비원')

연구팀은 이 문제를 해결하기 위해 URLGuard라는 작은 AI 경비원을 개발했습니다.

• 역할: AI 비서가 링크를 방문하기 전에, 이 경비원이 먼저 링크를 검사합니다.
• 효과: 이 경비원을 붙인 결과, 공격 성공률이 30%~99% 까지 급격히 떨어졌습니다.
• 의미: 기존 AI 가 악성 링크에 대한 지식이 부족해서 실패했다는 것을 증명했고, 아주 적은 데이터로도 AI 를 안전하게 만들 수 있다는 것을 보여줬습니다.

---

📝 핵심 요약 (한 줄 정리)

"AI 비서가 '공식 사이트'라고 속여넘어가는 가짜 주소를 구별하지 못해 위험에 빠질 수 있다. 이 연구를 통해 그 약점을 발견하고, '경비원 (URLGuard)'을 세워 AI 를 보호하는 방법을 제시했다."

💡 왜 이 연구가 중요한가요?

앞으로 AI 가 우리 대신 은행 업무를 하거나, 쇼핑을 하고, 중요한 정보를 검색할 것입니다. 만약 AI 가 사기성 링크를 믿고 접속한다면, 우리 개인정보가 털리거나 금전적 피해를 입을 수 있습니다. 이 연구는 AI 가 우리 생활의 핵심 도구가 되기 전에, 보안이라는 '방패'를 먼저 갖추어야 함을 경고하고 있습니다.

기술 요약

1. 문제 정의 (Problem)

최근 LLM(대형 언어 모델) 기반 웹 에이전트가 일상생활과 업무에서 널리 사용되고 있지만, 악성 URL 을 처리할 때 심각한 취약점을 드러내고 있습니다.

• 공격 시나리오: 공격자는 URL 의 구조 (서브도메인, 경로, 파라미터 등) 를 조작하여 악성 링크를 위장합니다. 에이전트는 이러한 위장된 링크를 신뢰하고 방문하게 되며, 이는 서비스 제공자와 사용자에게 심각한 피해를 초래할 수 있습니다.
• 연구 공백: 기존 벤치마크는 웹페이지 내부에 포함된 악성 콘텐츠 (Stage 2) 에 초점을 맞추고 있었으나, 에이전트가 URL 자체를 신뢰할지 여부를 판단하는 1 단계 (Stage 1) 의 보안 문제를 체계적으로 평가하는 벤치마크는 존재하지 않았습니다.
• 핵심 질문:
  1. LLM 은 악성 위장 URL 을 처리할 때 얼마나 안전한가?
  2. 공격 성공률에 영향을 미치는 주요 요인은 무엇인가?
  3. LLM 의 악성 URL 에 대한 보안을 어떻게 강화할 수 있는가?

2. 방법론 (Methodology)

이 논문은 MalURLBench라는 최초의 벤치마크를 제안하여 위 문제를 해결합니다.

가. 벤치마크 구축 (Benchmark Construction)

• 데이터 구성: 10 가지 실제 시나리오 (예: 패키지 추적, 음식 배달, 음악 추천 등) 와 7 가지 범주의 실제 악성 웹사이트 (피싱, 멀웨어 주입, 사기 등) 를 기반으로 61,845 개의 공격 인스턴스를 생성했습니다.
• 공격 템플릿: URL 의 3 가지 구성 요소 (서브도메인, 경로, 파라미터) 를 조작하여 악성 정보를 은닉하는 다양한 템플릿을 설계했습니다.
• 최적화 알고리즘: 초기 평가에서 성공률이 낮은 템플릿을 제거하고, 'Textual Gradient'와 'Exemplar Optimization' 기법을 활용한 **변이 최적화 알고리즘 (Mutation Optimization Algorithm)**을 적용하여 공격 템플릿의 품질을 향상시켰습니다.
• 평가 프로세스: 12 가지 인기 LLM 을 대상으로 각 시나리오와 URL 조합에 대해 위험 점수 (Risk Score) 를 계산했습니다.

나. 방어 메커니즘 (URLGuard)

• LLM 이 악성 URL 에 대한 지식이 부족하다는 가설을 검증하고 방어하기 위해 URLGuard를 제안했습니다.
• 구조: 경량화된 파인튜닝 모델 (Llama2-7b-chat-hf 기반) 로, 웹 에이전트의 실행 전 URL 을 필터링하는 독립적인 모듈 역할을 합니다.
• 학습: 소규모지만 정밀하게 라벨링된 데이터 (악성/정상 URL 및 그 이유) 를 사용하여 QLoRA 기법으로 파인튜닝되었습니다.

3. 주요 결과 및 분석 (Results & Analyses)

가. 취약성 평가 (Vulnerability)

• 높은 공격 성공률: 12 개 LLM 을 대상으로 한 실험 결과, 기존 모델들은 정교하게 위장된 악성 URL 을 탐지하는 데 실패했습니다. 공격 성공률 (ASR) 은 모델에 따라 **32.9% 에서 99.9%**까지 다양하게 나타났습니다.
  • 특히 GPT-4o-mini, Mistral-small, Llama2-7B, Mixtral-8x7b 등은 90% 이상의 높은 위험 점수를 보였습니다.
• 모델 크기 및 아키텍처 영향:
  • 모델 크기: 모델 파라미터 수가 클수록 (예: 70B) 공격 성공률이 감소하는 경향이 있었습니다 (추론 능력 향상).
  • MoE vs Dense: MoE(Mixture-of-Experts) 구조의 모델이 Dense 모델보다 악성 URL 에 더 취약한 것으로 나타났습니다. 이는 학습 데이터에 URL 구조, 특히 적대적 예제가 부족하여 전문가 (expert) 가 활성화되지 않기 때문으로 분석됩니다.

나. 공격 성공률에 영향을 미치는 요인

1. 공격 유형: 악성 내용을 유도하는 문장 (Inducing attacks) 을 사용한 경우 (평균 ASR 71.5%) 가, 정상 웹사이트를 모방하는 경우 (Imitating attacks, 평균 ASR 60.89%) 보다 성공률이 높았습니다.
2. 시나리오: 민감한 금융/개인정보와 무관한 시나리오 (날씨 정보 등) 에서 공격 성공률이 높았으며, 민감한 작업 (음식 배달, 패키지 추적) 이 포함된 시나리오에서는 LLM 이 더 신중하게 판단하여 성공률이 낮았습니다.
3. URL 필드 길이: 서브도메인 이름의 길이가 중요합니다. 짧은 서브도메인 (≤20 자) 일수록 LLM 이 더 신뢰하는 경향이 있어 공격 성공률이 높았습니다. 반면, 경로 (path) 나 파라미터 (parameter) 는 길이가 길어도 정상적인 것으로 간주되어 영향을 미치지 않았습니다.
4. 최상위 도메인 (TLD): .link, .art, .dev 등 상대적으로 새로운 TLD 는 공격 성공률이 높았으나, .com, .net 등 오래된 TLD 는 LLM 이 학습 데이터에서 익숙하게 인식하여 공격 성공률이 낮았습니다.

다. 방어 효과 (URLGuard)

• 제안된 URLGuard 는 다양한 시나리오에서 평균 **81% 의 방어 효과 (Risk Score 감소)**를 보였습니다.
• 이는 기존 LLM 이 악성 URL 에 대한 지식이 부족하여, 소량의 학습 데이터만으로도 파인튜닝을 통해 방어 능력을 크게 향상시킬 수 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 최초 벤치마크: LLM 이 악성 위장 URL 을 인식하는지 평가하는 최초의 벤치마크 MalURLBench를 제안했습니다 (61,845 개 인스턴스, 10 개 시나리오, 7 개 악성 카테고리).
2. 포괄적 평가 및 통찰: 12 개 LLM 에 대한 광범위한 평가를 통해 기존 모델의 취약점을 드러냈고, 모델 크기, 아키텍처, URL 구조, 시나리오 등 공격 성공률에 영향을 미치는 다양한 요인을 심층 분석했습니다.
3. 실용적 방어 솔루션: 경량 파인튜닝 모델인 URLGuard를 제안하여, 추가 모듈로서 악성 위장 URL 을 효과적으로 탐지하고 웹 에이전트를 보호하는 방법을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 기반 웹 에이전트의 보안 분야에서 **새로운 위협 벡터 (URL 구조 조작)**를 체계적으로 규명했다는 점에서 의의가 큽니다.

• 보안 강화: 웹 에이전트가 악성 링크를 신뢰하지 않도록 하는 기초적인 리소스를 제공하며, 향후 안전한 에이전트 개발의 기준이 됩니다.
• 연구 방향 제시: URL 구조에 대한 LLM 의 이해 부족과 학습 데이터의 한계를 지적함으로써, 향후 적대적 예제 포함 학습 및 URL 특화 보안 모듈 개발의 필요성을 강조합니다.
• 윤리적 고려: 실제 해킹이나 피해를 주지 않도록 모든 악성 웹사이트는 공개된 데이터셋에서 추출되었으며, 실제 웹 방문 대신 텍스트 출력만으로 공격 성공을 판단하는 등 '무해 (No-harm)' 원칙을 준수했습니다.

이 논문은 MalURLBench 를 오픈소스로 공개하여 (GitHub), 웹 에이전트 보안 연구의 발전을 촉진할 것으로 기대됩니다.