💻 computer science

Near-Deterministic Reconstruction of Enterprise Firewall Decisions for Policy Audit: Proxy Structure, Context Shift, and Residual Uncertainty

본 연구는 기업 방화벽 결정이 지도 학습을 통해 트래픽 로그로부터 거의 결정론적으로 재구성될 수 있음을 입증하며, 높은 모델 정확도가 독립적인 위협 탐지보다는 특정 정책 프록시와 문맥 의존적 규칙의 복제를 반영한다는 점을 밝힘으로써, 사후 정책 감사를 가능하게 하는 동시에 교차 환경 일반화 및 불확실성 보정 측면에서의 중대한 한계를 강조한다.

원저자: Özkan Canay, Cem Özkurt, Fatmir Garri

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Özkan Canay, Cem Özkurt, Fatmir Garri

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 어떤 엄격한 클럽의 가드(bouncer)가 왜 어떤 사람들은 들여보내고 다른 사람들은 돌려보내는지 그 이유를 알아내려 한다고 상상해 보십시오. 당신에게는 가드가 한 행동을 정확하게 기록한 수백만 개의 항목이 담긴 거대한 노트가 있습니다: "허용(Allowed)", "드롭(Dropped)", 또는 "거부(Denied)". 컴퓨터 보안의 세계에서 이 노트는 "방화벽 로그(firewall log)"라고 불리며, 가드는 방화벽(firewall) 즉, 기업 네트워크를 나쁜 의도를 가진 공격자로부터 보호하는 디지털 문지기입니다. 보통 보안 전문가들은 해커를 추적하기 위해 이 로그를 사용하여 "위험!"이라고 외치는 패턴을 찾습니다. 하지만 까다로운 문제가 하나 있습니다. 때때로 가드의 결정은 그 사람이 실제로 범죄자인지 여부에 관한 것이 아니라, 단지 그 클럽의 특정 드레스 코드나 멤버십 목록에 부합하는지에 관한 것일 수 있습니다. 만약 당신이 컴퓨터에게 가드의 결정을 추측하도록 훈련시킨다면, 컴퓨터는 천재적인 탐정이 되는 것이 아니라, 단지 드레스 코드를 완벽하게 학습하게 될 수도 있습니다. 왜냐하면 노트에 담긴 단서들(예를 들어 사람의 신발 사이즈나 도착 시간)이 정답을 너무 쉽게 알려주기 때문입니다. 이 논문은 매혹적인 질문을 던집니다. 만약 우리가 명백한 단서들을 숨긴다면, 컴퓨터가 여전히 가드의 움직임을 거의 완벽한 정확도로 맞출 수 있을까요? 만약 그렇다면, 그것은 컴퓨터가 똑똑한 것일까요, 아니면 단서들이 너무 찾기 쉬웠던 것일까요?

이 연구는 실제 기업용 방화벽(구체적으로 Palo Alto 장비)에서 발생한 100만 개 이상의 기록이 담긴 거대한 노트를 깊이 파고듭니다. 연구진은 직접적인 결정 이유를 숨기면서도 주변의 세부 사항만을 이용해 방화벽의 "결정 경계(decision surface)"—즉, 누가 들어올지를 결정하기 위해 방화벽이 그리는 보이지 않는 선—를 재구성할 수 있는지 확인하고자 했습니다. 그들은 방화벽의 선택(허용, 드롭, 거부)을 하나의 퍼즐처럼 다루었습니다. 그들은 가장 명백한 퍼즐 조각들, 예를 들어 특정 애플리케이션 이름이나 해당 동작을 유발한 규칙 번호 등을 제거하여, 남은 단서들(예를 들어 데이터 패킷의 크기나 포트 번호)이 정답을 맞히기에 충분한지 확인했습니다.

그 결과는 마치 클럽의 가드가 사실 매우 경직되고 예측 가능한 대본을 따르고 있다는 것을 알아내는 것과 같습니다. 연구진은 가장 명백한 "지름길"(예: 애플리케이션 이름)을 제거한 후에도, "트리 앙상블(tree ensembles)"(여러 단계의 예/아니오 질문을 던지는 똑똑한 결정 트리라고 생각하면 됩니다)이라 불리는 강력한 컴퓨터 프로그램들이 방화벽의 결정을 거의 완벽하게 맞출 수 있다는 것을 발견했습니다. 실제로 XGBoost와 LightGBM이라는 두 프로그램은 테스트 데이터에서 실수 하나 없이 완벽한 점수를 기록했습니다. 결국 방화벽의 결정은 다른 세부 사항들과 너무 밀접하게 연결되어 있어서, 규칙을 알 필요조차 없이 결과를 알 수 있다는 것이 밝혀졌습니다. 예를 들어, 그들은 단지 "소스 포트(Source Port)"(연결을 식별하는 특정 번호)와 "바이트(Bytes)"(데이터의 크기)를 아는 것만으로도 수백만 건의 사례에서 결정을 결정할 수 있다는 것을 발견했습니다.

하지만 이 논문은 이것을 해킹 탐지를 위한 "승리"라고 부르지 않도록 매우 주의를 기울입니다. 저자들은 이 완벽에 가까운 점수가 컴퓨터가 진짜 해커를 찾아내는 법을 배웠다는 의미가 아니라고 주장합니다. 대신, 컴퓨터가 방화벽의 내부 "문법"을 학습했다는 것을 의미합니다. 이는 수학을 이해하기보다 시험의 정답지를 암기한 학생과 같습니다. 연구진이 데이터의 크기나 국가 정보와 같은 더 많은 단서를 제거하여 퍼즐을 더 어렵게 만들었을 때, 컴퓨터의 완벽한 점수는 떨어졌지만 여전히 놀라울 정도로 높았습니다. 이는 방화벽의 결정이 "중복 인코딩(redundantly encoded)"되어 있음, 즉 로그의 여러 필드에 동일한 정보가 반복되어 나타나고 있음을 시사합니다.

이 연구는 또한 컴퓨터가 이전에 본 적이 없는 상황(예: 새로운 유형의 앱이나 다른 목적지)을 마주했을 때 어떤 일이 발생하는지도 조사했습니다. 여기서 마법의 주문은 깨집니다. 컴퓨터의 확신은 흔들리고 실수를 하기 시작하며, 특히 희귀한 "거부(Deny)" 결정에서 그러합니다. 연구진은 불확실성을 측정하기 위해 특별한 도구를 사용했는데, 이를 통해 컴퓨터가 익숙한 영역에서는 방화벽의 움직임을 추측하는 데 달인이지만, 맥락이 바뀌면 길을 잃는다는 것을 보여주었습니다. 그들은 만약 "애플리케이션" 세부 사항을 숨기면 컴퓨터가 99.9%의 확률로 맞출 수 있지만, "볼륨(volume)"과 "지속 시간(duration)"을 숨기면 정확도가 약간 떨어진다는 것을 발견했으며, 이는 해당 세부 사항들이 숨겨진 지름길 역할을 하고 있었음을 증в합니다.

궁극적으로, 이 논문은 더 나은 해커 탐지기를 만드는 것에 관한 것이 아니라, 방화벽 자체를 감사(audit)하는 것에 관한 것입니다. 이 연구는 특정 기업과 특정 시간대(약 46분간의 트래픽)에 대해 방화벽의 결정이 주변 데이터로부터 거의 전적으로 예측 가능하다는 것을 보여줍니다. 연구진은 단 4개의 필드만으로 완벽하게 결과를 예측할 수 있는 7가지의 아주 작은 조합을 찾아냈습니다. 그러나 그들은 이것이 "근사 결정론적(near-deterministic)" 재구성임을 경고합니다. 즉, 이것이 작동하는 이유는 데이터가 일관적이기 때문이지, 컴퓨터가 보안을 이해하기 때문이 아닙니다. 만약 방화벽의 규칙이 바뀌거나 네트워크 환경이 변한다면, 이 완벽한 예측은 사라질 수 있습니다. 논문은 우리가 방화벽의 결정 과정을 높은 정확도로 재구성할 수는 있지만, 이 재구성이 새로운 미지의 위협을 감지하는 진정한 능력으로 오인되지 않도록 주의해야 한다고 결론짓습니다. 이것은 방화벽이 일관되게 작동하는지 확인하는 강력한 도구이지만, 미래를 보는 수정구슬은 아닙니다.

기술 요약: 엔터프라이즈 방화벽 결정의 근-결정론적 재구성 (Near-Deterministic Reconstruction of Enterprise Firewall Decisions)

문제 정의
본 연구는 네트워크 보안 머신러닝에서의 방법론적 해석 위험, 즉 방화벽 로그에 대한 고성능 지도 학습(supervised learning)과 독립적인 위협 탐지를 혼동하는 문제를 다룬다. 엔터프라이즈 방화벽의 결정(Allow, Drop, Deny)은 인간이 검증한 악성 여부의 라벨이 아니라, 구성된 정책, 애플리케이션 식별 및 세션 종료 동작에 의해 생성되는 결정론적 결과물이다. 모델이 이러한 로그에서 완벽에 가까운 정확도를 달행할 때, 이것이 일반화 가능한 보안 추론을 학습한 것인지, 아니면 단순히 특정 장치의 결정 표면(decision surface)을 구성하는 "운영 문법(operational grammar)"과 프록시 구조를 학습한 것인지 불분명하다. 본 논문은 직접적인 라벨 소스 필드를 제외한 후, 구조화된 로그 필드로부터 배포된 방화벽의 결정 표면을 어디까지 재구성할 수 있는지, 그리고 프록시 변수가 감소하거나 컨텍스트가 변화할 때 잔여 불확실성이 어떻게 남는지 조사한다.

연구 방법론
본 연구는 46분 동안 캡처된 Palo Alto Networks 차세대 방화벽의 실제 트래픽 로그 레코드 1,048,576개를 활용한다. 타겟 변수는 트래픽 서브타입(traffic subtype)과 세션 종료 사유(session-end reason) 필드로부터 구성된 3클래스 운영 결정(Allow, Drop, Deny)이다.

데이터 전처리: 직접적인 라벨 소스 필드(raw action, traffic subtype, session-end reason)는 모든 예측 뷰(predictor views)에서 엄격히 제외된다. 데이터셋은 80/20 층화 홀드아웃(무작위 및 시간 순서 변형)과 교차 검증을 위한 캡드 샘플(capped sample)로 분할된다.
특성 뷰(Feature Views): 프록시 의존성을 테스트하기 위해 다음과 같은 특성 구성을 사용한다:
- 코어 베이스라인(Core Baseline): 애플리케이션 컨텍스트, 존(zone), 인터페이스, 포트, 국가, 그리고 결정 후 텔레메트리(바이트, 지속 시간)를 포함한 24개 필드.
- 애플리케이션 컨텍스트 제외(No-Application-Context): 명시적인 애플리케이션 프록시에 대한 의존도를 테스트하기 위해 애플리케이션 분류 및 카테고리 필드를 제거함.
- 엄격한 최소 프록시(Strict Proxy-Minimal): 애플리케이션, 볼륨, 정책 인접 필드를 제거하고 존/인터페이스 및 트랜스포트/포트 필드(국가 포함/제외)만을 유지함.
- 정책 포함(With-Policy): 경험적 상한 진단으로서 룰(rule) 및 액션 소스 필드를 추가함.
모델 프리 감사(Model-Free Audit): 분류기를 학습시키기 전, 저자들은 최소 결정 집합(결정을 완벽하게 예측하는 필드 부분 집합)을 식별하고 조건부 엔트로피를 계산하기 위해 정밀 그룹화(exact grouping)를 이용한 결정론적 감사를 수행한다. 여기에는 충돌 행(multiple labels를 가진 컨텍스트) 및 싱글톤 컨텍스트(singleton contexts) 확인이 포함된다.
머신러닝 모델: 스케일러블 트리 앙상블(XGBoost, LightGBM, Extra Trees, CatBoost)과 단일 결정 트리를 평가한다. 모델은 심각한 클래스 불균형(Allow: ~77%, Drop: ~22%, Deny: ~1.3%)을 해결하기 위해 균형 잡힌 클래스 가중치와 함께 학습된다.
불확실성 진단: 잔여 불확실성, 보정(calibration, ECE, Brier score), 그리고 컨텍스트 변화 시의 에러 포켓(error pockets)을 정량화하기 위해 컨포멀 예측(conformal prediction, 한계 및 Mondrian 변형), 적응형 예측 세트(APS), 선택적 분류(confidence-based abstention)를 사용한다.

주요 기여

모델 프리 재구성 가능성 감사: 본 연구는 전체 엑스포트에서 결정을 완벽하게 결정하는 7개의 최소 4개 필드 결정 집합을 식별하였다. 이 집합들은 일관되게 소스 포트(Source Port)와 세션 종료 바이트(session-end Bytes)를 다른 두 필드(예: 아웃바운드 인터페이스, 애플리케이션 카테고리)와 결합하여 포함한다. 감사는 관찰된 엑스포트에서 충돌 행이 0임을 확인하여 경험적 결정론을 확립했다.
경계 스트레스 진단: 특성 패밀리 절제(feature-family ablations) 및 컨텍스트 홀드아웃 테스트(애플리케이션/카테고리, 목적지 서비스, 또는 룰 그룹 전체를 홀드아웃)를 통해 결정 경계의 안정성을 매핑한다. 애플리케이션 컨텍스트를 제거해도 재구성이 완벽에 가깝게 유지되지만, 엄격한 최소 프록시 뷰와 컨텍스트 변화 하에서는 성능이 크게 저하됨을 입증한다.
컨포멀 및 선택적 진단: 마진 컨포멀 예측(marginal conformal prediction)이 희소 클래스인 "Deny"의 미커버리지(undercoverage)를 숨길 수 있음을 밝혀낸다. 확률 임계값 큐(probability-threshold queues)와 신뢰도 기반 선택적 분류가 모델 표현(서수형 vs 네이티브 범주형) 및 보정(calibration)에 매우 민감하며, 특히 컨텍스트 변화 시 그러함을 보여준다.
스키마 독립적 인스턴스화: 프로토콜을 독립적인 공개 데이터셋(UCI Internet Firewall)에 적용하여 높은 재구성 가능성과 "정확도 vs 소수 클래스 성능" 간의 격차를 재현함으로써, 관찰된 패턴이 특정 엔터프라이즈 엑스포트의 스키마에 국한된 것이 아님을 확인한다.

결과

재구성 성능: 코어 베이스라인(직접 라벨 소스 제외)에서 XGBoost와 LightGBM은 완벽한 홀드아웃 성능(Macro-F1 1.000, 에러 0)을 달성했다. "애플리케이션 컨텍스트 제외" 절제 모델에서도 성능은 근-완벽(Macro-F1 0.999981)을 유지했다.
결정론: 모델 프리 감사 결과, 64.7%에서 71.4%의 레코드가 싱글톤 키 컨텍스트를 점유하고 있었다. 발견된 7개의 결정 4개 필드 세트는 학습 전용 데이터 발견에서도 정확히 유지되었으며, 홀드아웃 테스트에서도 관찰된 컨텍스트에 대해 동일한 합의를 유지했다.
프록시 감소: 볼륨 및 지속 시간 필드를 제거하면 Macro-F1이 0.9962로 감소했다. 더 엄격한 최소 프록시 뷰(존, 인터페이스, 포트만 포함)에서는 성능 저하가 뚜렷했다. XGBoost는 약 0.951 Macro-F1에서 안정화된 반면, LightGBM은 랜덤 시드에 따라 0.42~0.90 사이를 오가며 불안정한 모습을 보였다.
컨텍스트 변화: 전체 애플리케이션/카테고리 그룹을 홀드아웃했을 때, 서수형(ordinal) LightGBM의 Macro-F1은 약 0.673으로 떨어졌다. 그러나 네이티브 범주형(native-categorical) CatBoost는 동일한 데이터에서 이를 0.9923까지 회복시켰으며, 이는 표현 방식(미관측 카테고리 처리)이 컨텍스트 변화 성능의 핵심 요소임을 나타낸다.
불확실성: 무작위 분할에서는 불확실성 지표(엔트로피, ECE)가 0에 가까웠다. 컨텍스트 변화 시에는 불확실성이 상승했고, 컨포멀 세트가 확장되거나 빈 값이 되었다. 결정적으로, 마진 컨포멀 세트는 희소 클래스인 "Deny"에 대해 유의미한 미커버리지를 보였으나(예: $\alpha=0.10$ 에서 커버리지 58%), Mondrian(클래스 조건부) 컨포멀 예측을 통해 이를 90% 이상으로 복구할 수 있었다.
런타임: 100만 행 규모의 전체 재구성은 적절한 클라우드 하드웨어에서 계산적으로 실행 가능했다. XGBoost는 약 25초 만에 학습을 완료했고, 1,000행당 약 6ms의 속도로 예측을 수행했다.

의의 및 주장
본 논문은 완벽에 가까운 방화적 결정 점수가 일반적인 공격 탐지나 독립적인 보안 추론의 증거가 아니라, 특정 엑스포트 내의 안정적이고 결정론적인 결정 표면의 증거로 해석되어야 한다고 주장한다. 높은 재구성 가능성은 운영 로그가 결정(예: 세션 종료 바이트 및 포트)을 생성한 정책의 중복적인 흔적을 포함하고 있기 때문에 발생한다.

본 연구는 이러한 모델을 회고적, 클레임 제한적 결정 재구성(retrospective, claim-bounded decision reconstruction) 및 시뮬레이션된 불확실성 진단을 위한 도구로 포지셔닝한다. 저자들은 이러한 모델이 정책 감사, 마이그레이션 리허설, 구성 불일치 또는 데이터 품질 문제 식별에는 가치가 있지만, 결정론적 규칙 분석이나 교차 환경 침입 탐지기를 대체할 수는 없다고 주장한다. 본 연구의 결과는 보안 ML에서의 "완벽한" 점수가 종종 데이터의 출처와 프록시 구조를 반영한다는 점을 강조하며, 운영적 결론을 도출하기 전에 엄격한 절제, 컨텍스트 변화 테스트, 그리고 불확실성 정량화가 필요함을 시사한다.

유사한 논문