기술 요약: MINES – 웹 API 불변성 추론을 통한 설명 가능한 이상 탐지

문제 정의

정부 및 기업의 핵심 인프라 역할을 하는 현대 웹 애플리케이션은 노출된 웹 API(예: RESTful, SOAP, WebSockets)에 점점 더 많이 의존하고 있습니다. 이러한 API는 의도적인 공격과 의도치 않은 불법 접근의 빈번한 표적이 되며, 이는 비정상적인 시스템 동작으로 이어집니다. 기존의 로그 기반 이상 탐지 방법들은 두 가지 근본적인 과제에 직면해 있습니다:

1. 로그를 넘어서는 관측 가능성 (C1): 진정한 시스템 정상 상태는 원시 로그에 포착되지 않는 정보(예: 주문이 취소되기 전에 반드시 "결제" 상태여야 한다는 특정 데이터베이스 상태나 세션 환경 정보 등)에 의존하는 경우가 많습니다. 계측된 로그에만 의존하는 것은 이러한 중요한 인과 관계 요인들을 놓치게 됩니다.
2. 노이즈가 있는 로그 인스턴스로부터의 진정한 불변성 도출 (C2): 포괄적인 로깅은 종종 노이즈를 유발합니다. 원시 로그 인스턴스로 학습된 학습 기반 모델은 인과 관계보다는 가짜 상관관계(예: 특정 API 호출 시퀀스)를 포착할 수 있어, 거짓 양성(false positives) 또는 거짓 음성(false negatives)을 초래할 수 있습니다. 또한, 기존의 규칙 학습 방식은 로그에서 결정적인 컨텍스트가 누락되었을 때 실패하는 피상적인 규칙을 로그 패턴으로부터 도출하곤 합니다.

LogRobust, LogFormer와 같은 모델 학습 방식이나 WebNorm과 같은 규칙 학습 방식 모두, 공격 로그가 텍stual하게는 정상 로그와 유사하지만 기저의 시스템 불변성(예: 데이터베이스 제약 조건)을 위반하는 경우, 정상 로그와 공격 로그를 구분하는 데 어려움을 겪습니다.

방법론: MINES

저자들은 상세한 원시 로그 인스턴스가 아닌 스키마 레벨(API 시그니처 및 데이터베이스 스키마)로부터 설명 가능한 API 불변성을 추론하는 기술인 MINES(Mining Invariants for aNomaly dEtection via Schema)를 제안합니다. MINES는 이상 탐지를 명세 마이닝(specification mining) 문제로 취급합니다.

핵심 워크플로우

1. 스키마 파싱 및 증강:

   • MINES는 API 시그니처, 데이터베이스 스키마 및 환경 정보(예: 세션 데이터)를 파싱합니다.
   • API 이름을 엔티티로 하고 매개변수/반환 값을 속성으로 하여 API 시그니처를 엔티티 유형으로 변환합니다.
   • 이러한 API 엔티티를 데이터베이스 테이블 및 환경 엔티티와 통합하여 증강된 엔티티-관계(ER) 다이어그램을 형성합니다.

2. 관계 추론 (단계 1):

   • 대규모 언어 모델(LLM)을 사용하여 증강된 엔티티 간의 관계를 추론합니다:
     • API-DB 관계: API 매개변수와 데이터베이스 컬럼을 연결하는 외래 키 제약 조건.
     • API-API 관계: 서로 다른 API 호출 간의 시간적 의존성.
     • API-Env 관계: API 호출과 세션/환경 데이터 간의 연결.
   • 잘못된 관계를 걸러내기 위해 휴리스틱 규칙(예: 값 중첩 임계값, 시퀀스 확률을 위한 은닉 마르코프 모델)이 적용됩니다.

3. 불변성 생성 (단계 2):

   • 추론된 관계를 바탕으로 MINES는 관련 엔티티 테이블을 조인(join)합니다.
   • LLM은 조인된 테이블에 대해 후보 불변성(제약 조건)을 생성하도록 프롬프트됩니다. 이 불변성은 상식적 제약, 형식 제약, 데이터베이스 제약, 환경 제약, 관련 API 제약의 다섯 가지 범주를 다룹니다.
   • 추론된 제약 조건은 실행 가능한 Python 코드로 번역됩니다.

4. 불변성 정제:

   • LLM의 환각(hallucination)과 거짓 양성을 완화하기 위해, 생성된 불변성은 알려진 정상 로그 집합을 통해 검증됩니다.
   • 만약 불변성이 정상 데이터에서 경보를 발생시키면, 해당 오류는 LLM에 피드백되어 불변성을 수정하거나 폐기하도록 합니다. 이 반복 루프는 불변성이 모든 정상 로그에 대해 성립할 때까지 계속됩니다.

5. 런타임 검증:

   • 오프라인 탐지: 시스템은 오프라인 방식으로 작동합니다. 로그 수집기가 런타임 로그를 수집하면, 오프라인 체커가 학습된 Python 불변성을 해당 로그에 대해 실행합니다.
   • 바이너리 로그 트래킹: 동적인 데이터베이스 상태 문제를 해결하기 위해, MINES는 데이터베이스 바이너리 로그를 재생하여 각 API 호출 시점의 과거 데이터베이스 상태를 재구성함으로써 정확한 불변성 평가를 보장합니다.

주요 기여

• 방법론: 로그 전용 방식의 한계를 해결하기 위해 API 시그니처, 데이터베이스 스키마 및 세션 정보를 통합하여 인과적 불변성을 도출하는 스키마 기반 명세 마이닝 기술을 제시합니다.
• 도구: API 시그니처와 데이터베이스 스키마만 있으면 되는 Java 기반 웹 애플리케이션용 프레임워크 구현을 통해 실제 배포를 용이하게 합니다.
• 벤치마크: Train-Ticket 및 NiceFish를 대상으로 31가지 유형의 공격을 포함하는 새로운 웹 변조 공격 데이터셋을 구축하였으며, 정상 및 비정상 로그를 생성하기 위한 동적이고 재현 가능한 스크립트를 특징으로 합니다.
• 평가: LogRobust, LogFormer, WebNorm과 같은 최신 베이스라인 모델들과의 광범적인 평가 및 Gitea, Mastodon, NextCloud와 같은 인기 있는 산업용 애플리케이션에 대한 일반화 테스트를 수행했습니다.

결과

평가 결과, MINES는 웹 이상 탐지 분야에서 새로운 SOTA(State-of-the-art)를 달성했습니다:

• 높은 재현율 및 정밀도: Train-Ticket 및 NiceFish 벤치마크에서 MINES는 100% 정밀도와 각각 94.8% 및 **91.7%**의 재현율을 달성했습니다. 이는 LogRobust, LogFormer, WebNorm에 비해 재현율이 14% 이상 향상된 수치입니다.
• 제로 거짓 양성: 정제 과정을 통해 거짓 경보를 성공적으로 제거하여 거의 제로에 가까운 거짓 양성을 기록했습니다.
• 효율성: MINES는 Train-Ticket에서 초당 $4.0 \times 10^5$개의 로그 처리량을 보여주며, 이는 모델 학습 기반 베이스라인보다 훨씬 빠릅니다.
• 강건성:
  • LLM 독립성: 본 방식은 다양한 LLM(GPT-4o, Claude 3.7, DeepSeek-V3)에 걸쳐 높은 성능을 유지하지만, GPT-4o-mini와 같은 작은 모델은 코드 생성 능력에서 약간 낮은 성능을 보였습니다.
  • 일반화: MINES는 Gitea, Mastodon, NextCloud와 같은 인기 있는 오픈 소스 애플리케이션에 성공적으로 일반화되어 높은 정밀도와 재현율을 달성했습니다.
  • 절제 연구(Ablation Studies): 스키마 기반 추론이나 특정 관계 유형(API-DB, API-Env)을 제거하면 재현율이 크게 감소하여, 스키마 레벨 추론과 컨텍스트 정보의 필요성을 확인했습니다.

의의

본 논문은 MINES가 노이즈가 많은 로그 인스턴스로부터 학습하는 패러다임에서 추상적 스키마로부터 명세를 도출하는 패러다임으로 전환함으로써, 웹 애플리케이션 운영을 위한 새로운 SOTA를 확립한다고 주장합니다. API와 데이터베이스 사이의 구조적 무결성을 활용함으로써, MINES는 로그 전용 모델에는 보이지 않는 이상 징후(예: 데이터베이스 상태 불일치를 악용하는 공격)를 탐지할 수 있습니다. 이 접근 방식은 높은 설명 가능성(불변성을 나타내는 실행 가능한 Python 코드를 통해 제공)과 매우 낮은 거짓 양성을 갖춘 높은 정확도를 제공하여 신뢰할 수 있는 웹 서비스 유지보수에 적합합니다. 저자들은 이 방법이 의미 있는 명명 규칙(naming conventions)에 의존하지만, 일반적인 엔지니어링 관행에 대해 강건하며 최소한의 문서화만으로도 더욱 향상될 수 있다고 언급했습니다.