🤖 machine learning

Reliable Hierarchical Operating System Fingerprinting via Conformal Prediction

본 논문은 OS 핑거프린팅에서의 평면적 분류(flat classification)가 갖는 한계를 해결하기 위해 계층별 CP(Level-wise CP)와 투영 기반 CP(Projection-based CP)라는 두 가지 구조화된 신뢰 예측(Conformal Prediction) 전략을 도입하고 평가하며, 전자가 제공하는 더 조밀하고 인간 친화적인 예측 집합과 후자가 제공하는 구조적으로 일관되며 정책 적용이 가능한 예측 집합 사이의 근본적인 트레이드오프를 입증한다.

원저자: Rubén Pérez-Jove, Osvaldo Simeone, Alejandro Pazos, Jose Vázquez-Naya

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rubén Pérez-Jove, Osvaldo Simeone, Alejandro Pazos, Jose Vázquez-Naya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 인터넷에서 자신에게 말을 걸고 있는 컴퓨터가 어떤 종류인지 알아내려는 디지털 탐정이라고 상상해 보십시오. 그것은 윈도우 노트북인가요, 안드로이드 폰인가요, 아니면 리눅스 서버인가요? 이 탐정 업무를 "OS 핑거프린팅(OS fingerprinting)"이라고 부릅니다. 보통 탐정들은 컴퓨터가 메시지를 보내는 방식의 작고 독특한 특징들, 예를 들어 핸드셰이크를 시작하는 특정한 방식이나 데이터 패킷의 크기 등을 살펴봅니다. 하지만 문제는 인터넷은 혼돈스러운 곳이라는 점입니다. 때때로 단서들은 흐릿하며, 표준적인 탐정은 "이것은 분명히 안드로이드입니다!"라고 자신 있게 외치지만 실제로는 아이폰일 수도 있습니다. 고도의 보안이 요구되는 상황에서, 그런 자신만만한 실수는 재앙이 될 수 있습니다.

이를 해결하기 위해 과학자들은 "컨포멀 예측(Conformal Prediction)"이라는 수학적 도구를 사용합니다. 이것을 단 하나의 정답을 주는 수정구슬이 아니라, 하나의 "안전망"이라고 생각하십시오. "그것은 X이다"라고 말하는 대신, "그것은 거의 확실하게 X, Y, Z 중 하나이다"라고 말하는 것입니다. 여기에는 보증이 따릅니다. 만약 당신이 안전망을 95%의 사례를 잡도록 설정한다면, 데이터가 아무리 이상하더라도 실제로 95%의 확률로 잡아낼 것입니다. 하지만 함정이 있습니다. 운영 체제(OS)는 단순히 이름이 나열된 평면적인 목록이 아니라, 하나의 가계도와 같습니다. 윈도우가 조부모라면, 윈도우 10은 부모이고, 윈도우 10 22H2는 자식입니다. 만약 당신의 안전망이 "그것은 맥(Mac)이다"라고 말하면서 동시에 "그것은 윈도우 10이다"라고 말한다면, 이는 논리적인 엉망진창이 됩니다. 이 논문은 가계도를 존중하는 안전망을 구축하는 방법을 탐구합니다. 즉, 만약 당신이 자식을 추측했다면, 반드시 올바른 부모도 함께 추측하도록 만드는 것입니다.

가계도 문제

네트워크 보안의 세계에서 운영 체제(OS)를 식별하는 것은 발소리만 듣고 군중 속에서 사람을 식별하는 것과 같습니다. 당신은 무거운 부츠 소리(윈도우), 가벼운 운동화 소리(리눅스), 또는 특정 브랜드의 러닝화 소리(안드로이드)를 들을 수 있습니다. 전통적으로 보안 시스템은 한 사람을 가리키며 "저 사람이 용의자다!"라고 외치는 단호한 탐정처럼 행동합니다. 하지만 탐정이 틀렸다면, 전체 보안 계획은 실패하게 됩니다.

이 논문의 저자들은 OS가 가계도처럼 자연스러운 계층 구조를 가지고 있다는 점을 깨달았습니다. 최상위에는 "윈도우"나 "리눅스" 같은 광범위한 가족이 있습니다. 그 아래에는 "윈도우 10"이나 "우분투 20.04" 같은 주요 버전이 있습니다. 그리고 맨 아래에는 "윈도우 10 22H2"와 같은 구체적인 마이너 버전이 있습니다. 문제는 표준적인 "안전망" 방식(컨포멀 예측)이 보통 모든 OS를 목록상의 서로 관련 없는 별개의 항목으로 취급한다는 점입니다. 만약 그들에게 추측을 요청하면, 그들은 "윈도우 10"과 "안드로이드 11"을 목록에 포함하면서도 "윈도우"라는 가족을 빠뜨리거나, 더 심하게는 "안드로이드"가 가족인데 "윈도우 10"이 구체적인 버전이라고 말할 수도 있습니다. 이것은 "이 동물은 개이지만, 동시에 고양이이기도 하다"라고 말하는 것과 같습니다. 이는 말이 되지 않습니다.

안전망을 구축하는 두 가지 방법

연구진은 대학의 10만 개 이상의 실제 네트워크 트래픽 기록 데이터셋을 사용하여 이 논리적 엉망을 해결하기 위한 두 가지 다른 전략을 테스트했습니다. 그들은 어떤 방법이 너무 모호하지 않으면서도 안전하고 논리적인 가능성 목록을 제공할 수 있는지 확인하고자 했습니다.

전략 1: 독립적인 추측가들 (계층별 CP - Level-wise CP)
동일한 사건을 조사하는 세 명의 서로 다른 탐정이 있다고 상상해 보십시오. 한 명의 탐정은 가족 이름만 보고, 다른 한 명은 주요 버전만 보고, 세 번째 탐정은 마이너 버전만 봅니다. 그들은 서로 대화하지 않습니다.

작동 방식: 각 탐정은 독립적으로 자신만의 안전망을 구축합니다.
결과: 이 방법은 매우 날카롭습니다. 매우 작고 구체적인 목록을 제공합니다. 만약 가족 담당 탐정이 "윈도우"라고 확신한다면, 목록은 매우 작아집니다.
결함: 서로 대화하지 않기 때문에, 때때로 서로 모순됩니다. 가족 담당 탐정은 "리눅스"라고 말하는데, 마이너 버전 담당 탐정은 "윈도우 10"이라고 말할 수 있습니다. 이 방식은 효율적이지만, 논리적으로는 망가져 있습니다. 테스트에서 약 30%~40%의 "계층적 불일치율(HIR)"을 보였습니다. 효율적이긴 하지만 논리적으로는 결함이 있는 것입니다.

전략 2: 상향 투영기 (투영 기반 CP - Projection-based CP)
이제 가장 작은 세부 사항(마이너 버전)을 보고 가계도를 거슬러 올라가는 단 한 명의 탐정이 있다고 상상해 보십시오.

작동 방식: 탐정은 구체적인 잎사귀(예: "윈도우 10 22H2")를 찾은 다음, "좋아, 이것이 맞다면 이것은 또한 '윈도우 10'이어야 하고 '윈도우'여야 한다"라고 말합니다. 빈칸을 채우기 위해 답을 위쪽으로 투영합니다.
결과: 이 방법은 완벽하게 논리적입니다. "계층적 불일치율"이 정확히 0입니다. "윈도우" 가족이면서 "안드로이드" 자식을 갖는 식의 오류는 절대 발생하지 않습니다.
결함: 조금 더 신중한 편입니다. 특정 추측의 모든 가능한 부모를 포함해야 하기 때문에, 상위 레벨(가족 레벨)의 목록이 커지게 됩니다. 만약 탐정이 특정 버전에 대해 확신이 없다면, 전체 가계도가 안전망에 포함되어 상위 레벨에서의 목록이 덜 정밀해집니다.

거대한 트레이드오프 (Trade-Off)

이 논문의 핵심 발견은 효율성(작고 정밀한 목록)과 일관성(논리적으로 완벽한 목록) 사이의 근본적인 트레이드오프입니다.

만약 결과물을 사람이 읽어야 한다면: "독립적인 추측가들(계층별 CP)"이 더 낫습니다. 인간 분석가는 "가족: 윈도우, 버전: 안드로이드 11"이라는 목록을 보고 "아, 기계가 버전에 대해서는 혼란스러워하지만, 확실히 윈도우구나"라고 깨달을 수 있습니다. 인간은 자신의 지능을 사용하여 실수를 바로잡을 수 있습니다.
만약 컴퓨터가 결정을 내려야 한다면: "상향 투영기(투영 기반 CP)"가 승자입니다. 자동화된 시스템은 모순을 처리할 수 없습니다. 만약 컴퓨터에게 "안드로이드를 차단하라"고 명령했는데 목록에 "가족: 윈도우"라고 되어 있다면, 컴퓨터는 멈춰버립니다. 투영 방식은 목록이 다소 길어지더라도 항상 말이 되는 목록을 보장합니다.

연구 결과

연구진은 확실히 하기 위해 테스트를 50번 반복했습니다. 그들은 두 방법 모두 (설정한 목표값에 따라) 최소 95%의 확률로 정답을 잡아내는 데 성공했음을 확인하여, 안전망이 제대로 작동함을 입증했습니다. 그러나 "독립적" 방식은 가족 레벨에서 목록이 약 10-20% 더 작았지만 논리적으로는 엉망이었습니다. "투영" 방식은 완벽하게 논리적인 목록을 만들어냈지만, 모든 가능성을 고려해야 했기에 가족 레벨의 목록이 약간 더 컸습니다.

결론적으로, 이 논문은 단 하나의 "최고의" 방법은 없다는 점을 시사합니다. 그것은 누가 답을 사용하는지에 달려 있습니다. 만약 인간이 포렌식 작업을 수행하고 있다면, 다소 엉망이지만 정밀한 방식이 괜찮습니다. 하지만 로봇이 네트워크 접근을 차단해야 한다면, 바보 같은 실수를 피하기 위해 완벽하게 논리적이고 약간 더 긴 목록이 필요합니다. 저자들은 다른 사람들이 자신의 네트워크에서도 이 방법들을 직접 시도해 볼 수 있도록 코드와 데이터를 공개하여, 우리가 무엇을 상대하고 있는지 정확히 알 수 있는 더 안전한 인터넷을 만드는 데 기여하고 있습니다.

기술 요약: 컨포멀 예측(Conformal Prediction)을 통한 신뢰할 수 있는 계층적 운영체제 핑거프린팅

문제 정의
운영체제(OS) 핑거프린팅은 네트워크 보안, 자산 관리 및 사고 대응의 핵심적인 구성 요소이다. 그러나 기존의 핑거프린팅 방식은 일반적으로 점 예측(단일 OS 레이블 출력)에 의존하며, 이는 심각한 클래스 불균형과 네트워크 트래픽의 오픈셋(open-set) 특성 하에서 매우 취약하다. BYOD(Bring-Your-Own-Device) 강제 적용과 같이 이해관계가 걸린 환경에서는, 확신이 있지만 틀린 예측을 내놓는 것이 보안 침해로 이어질 수 있다. 또한, 기존 방식들은 OS 식별을 평면적인 분류 문제로 취급하여 운영체제의 내재적 분류 체계(예: 패밀리 $\to$ 메이저 버전 $\to$ 마이너 버전)를 무시한다. 이러한 단순화는 동일한 OS 패밀리의 두 버전을 혼동하는 것과 패밀리 자체를 오분류하는 것 사이의 운영적 심각도 차이를 구분하지 못한다. 아울러, 기존 방법론들은 공식적인 불확실성 정량화 메커니즘이 부족하다.

방법론
저자들은 OS 핑거프린팅을 계층적 분류 문제로 프레임워크화하고, 보장된 한계 피복률(marginal coverage)을 가진 예측 집합을 생성하기 위해 **컨포멀 예측(Conformal Prediction, CP)**을 적용할 것을 제안한다. 본 연구는 대학 환경에서 수집된 112개의 IP, TCP, TLS 및 HTTP 계층 특징을 가진 109,663개의 수동 네트워크 플로우 레코드를 활용한다. 그라운드 트루스(ground truth) 레이블은 OS 패밀리, 메이저 버전, 마이너 버전의 세 단계로 구조화되어 있다.

방법론의 핵심은 각 계층 수준에 대해 독립적인 다층 퍼셉트론(MLP) 분류기를 훈련시키고, 이를 두 가지 서로 다른 구조적 CP 전략으로 감싸는 것이다:

단계별 CP (Level-wise CP, L-CP): 이 접근 방식은 각 계층 수준에서 독립적으로 컨포멀 예측을 적용한다. 각 단계(패밀리, 메이저, 마이너)는 각각의 비정상성 점수(non-conformity scores)와 캘리브레이션 세트를 사용하여 별도로 캘리브레이션된다. 이는 해당 단계에 특화된 한계 피복 보장을 갖는 각 단계별 예측 집합을 생성한다.
투영 기반 CP (Projection-based CP, P-CP): 이 접근 방식은 리프 단계(마이너 버전)에만 CP를 적용한다. 생성된 예측 집합은 유지된 모든 리프의 조상(ancestors)을 포함함으로써 상위의 더 거친 단계로 투영된다. 이는 예측 집합이 계층적으로 일관되고 중첩되도록(즉, 예측된 자식은 그 부모 또한 예측됨을 의미함) 보장한다.

평가는 50회의 몬테카를로 반복 시행를 사용하는 엄격한 프레임워크를 채택하며, 논리적 위반(예: 부모 없이 자식만 예측되는 "고아(orphan)" 위반, 또는 자식 없이 부모만 예측되는 "불임(sterile)" 위반)을 정량화하기 위해 새로운 지표인 **계층적 불일치율(Hierarchical Inconsistency Rate, HIR)**을 도입한다.

주요 기여

최초의 계층적 CP 적용: 본 논문은 컨포멀 예측을 계층적 OS 핑거프린팅에 적용한 첫 사례로, 분류학적 일관성과 다단계 불확실성 문제를 해결한다.
구조적 CP 전략: 로컬 효율성과 글로벌 구조적 일관성 사이의 서로 다른 트레이드오프를 제공하는 L-CP와 P-CP를 소개한다.
새로운 평가 지표: 표준적인 피복률 및 집합 크기 지표를 넘어, 계층적 예측의 논리적 일관성을 측정하기 위한 계층적 불돌치율(HIR)을 제안한다.
재현성: 프레임워크와 실험 파이프라인에 대한 완전한 오픈 소스 구현을 공개한다.

결과
유의 수준( $\alpha$ ) 0.02에서 0.20 사이에서 평가된 실험 결과는 단계별 효율성과 구조적 일관성 사이의 근본적인 트레이드오프를 드러낸다:

타당성(Validity): 두 방법 모두 한계 피복 보장을 충족한다. L-CP는 모든 단계에서 명목 목표치( $1-\alpha$ )에 근접한 피복률을 달성한다. P-CP는 더 거친 단계에서 체계적인 과잉 피복(over-coverage)을 보인다(예: 목표가 90%일 때 패밀리 단계에서 약 96%의 피복률 달성). 이는 패밀리 집합이 유효한 리프의 조상들의 합집합으로 구성되기 때문이다.
효율성 (집합 크기): L-CP는 P-CP(약 1.06)에 비해 패밀리 단계에서 더 타이트한 예측 집합(예: 평균 집합 크기 $\approx$ 0.92 at $\alpha=0.10$ )을 생성한다. L-CP의 집합은 높은 불확실성이나 분포 외(out-of-distribution) 샘플을 나타내는 빈번한 빈 집합(empty sets)으로 인해 크기가 1.0 미만으로 떨어질 수 있다.
구조적 일관성 (HIR): P-CP는 모든 $\alpha$ 에 대해 정확히 0.0의 HIR를 달성하여, 중첩되고 일관된 집합을 보장한다. 반면, L-CP는 빈번한 분류학적 위반을 겪으며, HIR은 $\alpha=0.25$ 에서 약 37%까지 정점을 찍는다. L-CP의 HIR은 단계 간의 탈동기화(예: 부모는 단일 원소를 반환하는데 자식은 빈 집합을 반환하는 경우)로 인해 비단조적(non-monotonic)이다.
사용성: L-CP는 P-CP보다 패밀리 단계에서 더 빠르게 높은 단일 원소 비율(정밀한 예측)을 달당한다. 그러나 P-CP는 리프의 모든 자손이 거부될 때만 패밀리가 제외되므로, 더 거친 단계에서 빈 집합을 더 적게 생성한다.

의미 및 운영적 시사점
본 논문은 L-CP와 P-CP 사이의 선택이 구체적인 운영 배포 시나리오에 따라 달라져야 한다고 결론짓는다:

자동화된 정책 강제 적용: 저자들은 P-CP를 권장한다. 자동화된 시스템은 정책을 실행하기 위해(예: "Android 11 이상을 제외한 모든 Android 버전 차단") 논리적 일관성이 필요하다. 불일치하는 L-CP 출력(예: 패밀리 예측은 "Windows"인데 "Android 11"을 예측하는 경우)은 자동화된 로직에 실행 불가능한 정보를 제공한다. P-CP의 중첩된 집합 보장은 모든 예측이 OS 분류 체계 내의 유효한 경로에 대응함을 보장한다.
포렌식 조사(Forensic Triage): 저자들은 인간 분석가에게는 L-CP가 더 선호될 수 있다고 제안한다. 분석가들은 종종 사건을 분류하기 위해 OS 패밀리를 우선시하며, 구조적 불일치를 해결하기 위해 도메인 지식을 사용할 수 있다. L-CP의 더 타이트하고 캘리브레이션된 패밀리 예측은 리프 단계의 노이즈로 인해 부풀려진 집합보다 분석가에게 더 가치 있다.

본 연구는 점 예측의 취약성을 넘어 캘리브레이션된 계층적 집합으로 나아감으로써, 운영자가 신뢰도를 위해 예측 집합의 크기를 명시적으로 절충할 수 있게 하여 더욱 신뢰할 수 있는 네트워크 가시성을 향한 기초적인 발판을 제공한다. 향후 연구로는 하이브리드 캘리브레이션 또는 계층적 손실 함수를 통해 효율성 손실을 완화하고, 극심한 클래스 불균형을 처리하기 위해 Mondrian CP를 탐색하는 것이 제안되었다.

가계도 문제

안전망을 구축하는 두 가지 방법

거대한 트레이드오프 (Trade-Off)

연구 결과

유사한 논문