Eliciting Least-to-Most Reasoning for Phishing URL Detection

기술 요약: 피싱 URL 탐지를 위한 최소-에서-최대(Least-to-Most) 추론 유도

문제 정의
피싱은 사이버 공격과 데이터 유출의 주요 경로로 남아 있습니다. 전통적인 탐지 방법(머신러닝, 딥러닝 및 URL 기반 접근 방식)은 높은 정확도를 제공하지만, 특정 URL이 왜 정상 또는 악성으로 분류되었는지에 대한 해석 가능성이 부족한 "블랙박스" 형태로 작동하는 경우가 많습니다. 또한, 이러한 지도 학습 모델은 일반적으로 대규모의 레이블이 지정된 데이터셋을 필요로 하며, 서로 다른 데이터셋 간의 일반화 능력이 떨어집니다. 거대 언어 모델(LLM)은 퓨샷 프롬프팅(few-shot prompting)을 통해 피싱 탐지에서 가능성을 보여주었으나, 기존 방식들은 모델의 추론을 단일 단계 프로세스나 블랙박스로 취급하여, 추론 과정 자체가 최종 예측에 어떻게 영향을 미치는지 분석하지 못한다는 한계가 있습니다.

방법론
저자들은 피싱 URL 탐지에 특화된 최소-에서-최대(Least-to-Most) 프롬프팅 프레임워크를 제안합니다. 단일 프롬프트나 단일 체인 내에서 예측을 생성하는 표준 프롬프팅 전략(One-shot 또는 Chain-of-Thought 등)과 달리, 이 프레임워크는 LLM이 분류 문제를 더 작고 반복적인 하위 문제들로 분해하도록 지시합니다.

본 연구의 새로운 구성 요소는 "답변 민감도(answer sensitivity)" 메커니즘입니다. 이 반복 과정에서:

1. LLM은 URL의 특정 특징(예: 도메인 구조, 디렉토리 이름)에 관한 하위 질문을 생성합니다.
2. 모델은 해당 하위 질문에 답하고, URL이 피싱일 가능성에 대한 백분율 추정치(0% = 정상, 100% = 피싱)를 제공합니다.
3. 이 백분율은 반복 과정을 안내하는 가이드 역할을 합니다. 프로세스는 민감도 점수가 사용자 정의 임계값(예: 피싱의 경우 ≥90%, 정상의 경우 ≤10%)을 넘을 때까지 계속됩니다.
4. 무한 루프를 방지하기 위해, 프레임워크는 반복 횟수를 프로그래밍 방식으로 10회로 제한합니다. 10번째 반복까지 임계값을 넘지 못하면, 최종 점수를 바탕으로 보수적으로 분류합니다.

주요 기여

1. 프레임워크 제안: 문제를 반복적인 하위 질문으로 명시적으로 분해하는 피싱 URL 탐지용 최소-에서-최대 프롬프팅 프레임워크를 도입했습니다.
2. 답변 민감도 메커니즘 개발: 백분율 기반의 확신도 추정치를 통해 반복적인 추론 과정을 유도하는 메커니즘을 개발하여, 모델이 단일 단계 답변에 매몰되지 않고 여러 단계를 거쳐 예측을 정교화할 수 있도록 했습니다.
3. 실증적 평가: 세 가지 공개 URL 데이터셋(HP, EBBU, ISCX)과 네 가지 최첨단 LLM(Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash)을 사용하여 종합적인 평가를 수행했습니다. 프레임워크는 One-shot 프롬프팅 베이스라인 및 지도 학습 기반의 BERT 모델(URLTran)과 비교되었습니다.

결과
실험 결과, 최소-에서-최대 프레임워크는 레이블이 지정된 학습 데이터가 전혀 필요 없음에도 불구하고, One-shot 베이스라인보다 일관되게 우수한 성능을 보였으며 지도 학습 모델인 URLTran의 성능에 근접했습니다.

• 성능 향상: 최소-에서-최대 방식은 모든 데이터셋과 모델에 대해 평균 0.9040의 F1 점수를 달성하였으며, 이는 One-shot 베이스라인의 0.8726과 비교하여 평균 0.03 F1의 개선을 보인 수치입니다.
• 지도 학습 모델과의 비교: 가장 성능이 좋은 설정(Gemini 2.5-Flash)에서, 본 프레임워크는 평균 0.9621의 F1 점수를 달성하였으며, 이는 지도 학습 모델인 URLTran의 점수인 0.99와 0.03 F1 차이 이내입니다.
• 반복의 효과성: 분석 결과, 많은 정답 예측이 적은 횟수의 반복을 필요로 했지만, 상당수의 정답 예측은 "아웃라이어(outlier)" 수준의 반복 횟수를 거친 후에야 가능했습니다. 답변 민감도 메커니즘은 One-shot 방식이 놓쳤을 법한 초기 오분류(예: 처음에 피싱 확률이 25%였던 URL이 6번의 반복 후 90%로 상승하는 경우)를 모델이 스스로 수정할 수 있게 해주었습니다.
• 일관성: 거의 모든 경우에서, 최소-에서-최대는 Llama와 같은 저성능 모델에서도 One-shot 방식보다 더 많은 고유한 정답 예측을 생성하고 더 적은 오답을 생성했습니다.

의의
본 논문은 이 연구가 보안 작업에서 LLM의 구조화된 다단계 추론의 가치를 입증한다고 주장합니다. 단일 단계 프롬프팅을 넘어, 이 프레임워크는 광범한 학습 데이터나 퓨샷 예시 없이도 예측 정확도를 높이는 강력한 추론 능력을 이끌어냅니다. "답변 민감도" 메커니즘은 모델이 URL의 악성 여부를 반복적으로 정교화할 수 있게 함으로써 이러한 성과를 견인하는 핵심 요소로 강조됩니다. 저자들은 이 단순하면서도 강력한 프롬프팅 전략이 피싱 탐지에 있어 기존의 지도 학습 모델 및 표준 프롬프팅 기법에 대한 견고하고 해석 가능한 대안을 제공한다고 결론짓습니다.