🤖 AI

AnonShield: Scalable On-Premise Pseudonymization for CSIRT Vulnerability Data

이 논문은 취약점 데이터 처리 시 높은 정확도를 유지하면서도 최대 738배의 속도 향상을 달밀하기 위해 GPU 가속 NER 및 스트리밍 프로세싱을 활용하는 고처리량 온프레미스 가명화 시스템인 AnonShield를 소개하며, 이를 통해 CSIRT를 위한 규정 준수 및 확장 가능한 데이터 공유를 가능하게 한다.

원저자: Cristhian Kapelinski, Douglas Lautert, Beatriz Machado, Diego Kreutz, Isadora Garcia Ferrão

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cristhian Kapelinski, Douglas Lautert, Beatriz Machado, Diego Kreutz, Isadora Garcia Ferrão

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 보안 팀(CSIRT라고 불리는)이 거대한 디지털 탐정 사무소처럼 활동한다고 상상해 보세요. 매일 그들은 컴퓨터 네트워크를 스캔하여 "버그"나 약점(취약점)을 찾아냅니다. 이 스캔 작업은 방대한 양의 보고서를 생성하는데, 이는 마치 매우 상세한 범죄 현장 사진과 같습니다.

문제는 이 사진들에 민감한 정보가 포함되어 있다는 점입니다. 사진은 단순히 버그만 보여주는 것이 아니라, 건물의 이름, 특정 방 번호, 심지어 그곳에 사는 사람들의 이름까지도 보여줍니다. 만약 팀이 도움을 받기 위해 외부 전문가와 이 사진들을 공유하거나 AI를 훈련시키는 데 사용하고 싶다면, 먼저 이 이름들을 가려야 합니다. 이 과정을 **가명화(pseudonymization)**라고 합니다.

이 논문은 이 '가리는 작업'을 수행하기 위한 새로운 도구인 AnonShield를 소개합니다. 작동 방식은 다음과 같이 쉽게 설명할 수 있습니다.

문제점: "느리고 위험한" 기존 방식

이전에는 이 방대한 보고서를 가리는 작업이 마치 칫솔로 거대한 창고를 청소하려는 것과 같았습니다.

너무 느림: 기존 도구들(이전 버전인 AnonLFI v2.0 등)은 대규모 파일 하나를 처리하는 데 92시간 이상이 걸렸습니다. 이는 방 하나를 청소하는 데 꼬박 나흘을 소비하는 것과 같습니다.
너무 위험함: 일부 도구들은 데이터를 "클라우드"(외부 서버)로 보내서 작업하려고 했습니다. 이는 마치 비밀스러운 범죄 사진을 가리기 위해 낯선 사람에게 우편으로 보내는 것과 같습니다. 이는 데이터가 건물 밖으로 나가게 하므로 데이터 프라이버시 규정을 위반하게 됩니다.
너무 투박함: 다른 도구들은 둔탁한 망치와 같아서, 민감한 이름과 함께 중요한 기술적 세부 사항(예: 버그의 이름 자체)까지 실수로 가려버려 보고서를 분석에 쓸모없게 만들었습니다.

해결책: AnonShield

AnonShield는 칫솔에서 고속 산업용 진공청소기로 업그레이드하는 것과 같습니다. 단, 이 청소기는 여러분의 건물 안에서만 작동합니다.

1. 초고속 엔진 (GPU 가속)
기존 도구가 책을 한 페이지씩 읽는 한 명의 작업자라면, AnonShield는 강력한 그래픽 카드(GPU)를 사용하여 수천 페이지를 동시에 읽고 가릴 수 있는 전체 팀을 고용하는 것과 같습니다.

결과: 과거에 92시간이 걸리던 작업이 이제 10분 미만으로 줄어들었습니다. 이는 거의 738배 빠른 속도 향상입니다.

2. 스마트 필터 (문맥 인식)
당신이 이야기를 편집하고 있다고 상상해 보세요. 당신은 등장인물의 이름은 가려야 하지만, 괴물이나 무기의 이름은 가리면 안 됩니다. 왜냐하면 그 이야기는 그 괴물들과 싸우는 것에 관한 것이기 때문입니다.

AnonShield는 그 차이를 구분할 만큼 똑똑합니다. 이 도구는 특정 사이버 보안 용어(예: "CVE" 또는 "CPE" 코드)를 인식하여, 민감한 이름은 가리되 이러한 용어들은 명확하게 유지합니다.
이 도구는 "스키마 인식(schema-aware)" 설정을 사용하여 체크리스트를 가진 것처럼 작동합니다. 만약 체크리스트에 "'호스트 이름(Host Name)' 열에 있는 모든 것을 가려라"라고 되어 있다면, 텍스트를 읽을 필요도 없이 즉시 실행하여 훨씬 더 빠르게 처리합니다.

3. "마법 잉크" (가명화)
이름을 단순히 검게 칠해 없애는 대신(데이터를 파괴하는 방식), AnonShield는 이를 고유하고 깨지지 않는 코드(비밀 별명 같은 것)로 대체합니다.

만약 보고서에 "Server-1"이라는 이름이 100번 나타난다면, AnonShield는 매번 동일한 코드(예: "X-999")로 변경합니다.
이를 통해 데이터의 유용성을 유지합니다: 분석가는 실제 이름이 "Server-1"이었다는 것은 모르더라도, "X-999"가 세 번 공격받았다는 사실을 여전히 알 수 있습니다.
비밀 키를 가진 팀장만이 이 코드를 다시 실제 이름으로 되돌릴 수 있습니다.

4. "노 클라우드(No-Cloud)" 약속
모든 과정은 데이터가 존재하는 바로 그 컴퓨터 내부에서 일어납니다. 데이터는 절대 인터넷으로 전송되지 않습니다. 이를 통해 조직은 해커로부터 안전하게 보호되며, GDPR과 같은 개인정보 보호법을 준-수할 수 있습니다.

결과

연구진은 70,000개 이상의 레코드(약 550MB의 데이터)가 담긴 방대한 데이터셋을 통해 이 도구를 테스트했습니다.

속도: 기다림의 시간을 며칠에서 몇 분 단위로 단축했습니다.
정확도: 이 도구는 믿을 수 없을 정도로 정밀했습니다. 민감한 정보를 찾아내는 능력(재현율, Recall)은 **96.7%**에 달했으며, 분석을 위한 데이터 유용성(F1-score)은 **94.2%**를 기록했습니다.
신뢰성: 이 도구는 이미지 포함된 PDF와 같은 복잡한 파일 형식이나 거대한 스프레드시트를 오류 없이 안정적으로 처리했습니다.

요약

AnonShield는 보안 팀이 취약점 보고서를 안전하고 빠르게 공유할 수 있게 해주는 도구입니다. 이 도구는 여러분의 컴퓨터 안에서 작동하는 매우 빠르고 똑똑한 편집자 역할을 하며, 민감한 이름을 비밀 코드로 교체하여 실제 누가 또는 무엇이 스캔되었는지 밝히지 않고도 데이터를 분석이나 AI 훈련에 사용할 수 있게 합니다. 이 도구는 4일짜리 업무를 10분짜리 업무로 바꿔놓습니다.

기술 요약: AnonShield

문제 정의

컴퓨터 보안 사고 대응팀(CSIRT)은 데이터 주권 및 개인정보 보호 규정(GDPR, LGPD)을 엄격히 준수하면서 분석, 머신러닝 파이프라인 및 합성 데이터 생성을 위해 취약점 스캔 데이터(OpenVAS, Tenable 등에서 생성된)를 공유해야 하는 중대한 운영적 과제에 직면해 있습니다. 이러한 보고서에는 기술적 발견 사항과 함께 민감한 개인 식별 정보(PII), 네트워크 식별자(IP, 호스트 이름), 자격 증명 등이 포함되어 있습니다.

기존 솔루션들은 대규모 CSIRT 배포의 특정 요구사항을 충족하지 못합니다:

클라우드 기반 도구(예: Google Cloud DLP, Amazon Comprehend)는 데이터를 외부 엔드포인트로 전송해야 하므로 데이터 주권을 위반합니다.
온프레미스 범용 도구(예: Microsoft Presidio)는 사이버 보안 특화 엔티티(CVE, CPE, 암호화 해시)에 대한 인식기가 부족하여 취약점 프로필이 노출될 위험이 있습니다.
이전 연구 버전(AnonLFI v1.0 및 v2.0)은 확장성 문제를 겪고 있습니다. AnonLFI v2.0은 계층적 형식(XML/JSON)과 OCR을 지원하지만, 메모리 집약적인 DOM 파싱과 하드웨어 가속의 부재로 인해 550MB 데이터셋(70,951개 레코드)을 처리하는 데 92시간 이상이 소요되어 실제 운영에 활용하기에는 부적합합니다.

방법론: AnonShield 프레임워크

AnonShield는 로컬에서 취약점 데이터를 처리하도록 설계된 고처리량 온프레미스 가명화 시스템입니다. 이 시스템은 민감한 엔티티를 결정론적 의사명(HMAC-SHA256 슬러그)으로 대체하여, 원본 데이터를 노출하지 않으면서도 보고서 간의 참조 무결성을 유지합니다.

프레임워크는 다섯 가지 순차적 단계로 작동합니다:

입력 처리: 다양한 형식(XML, JSON, JSONL, CSV, TXT, LOG, PDF, DOCX, XLSX)을 지원합니다. 대용량 파일은 메모리에 전체를 로드하지 않도록 스트리밍 I/O(JSON의 경우 ijson, XML의 경우 SAX 사용)를 통해 처리됩니다.
엔티티 탐지 (NER): 다음을 결합한 하이브리드 접근 방식을 사용합니다:
- GPU 가속 트랜스포머 모델: Davlan/xlm-roberta-base-ner-hrl 또는 사이버 보안에 특화된 attack-vector/SecureModernBERT-NER와 같은 구성 가능한 모델.
- 사용자 정의 정규 표현식(RegEx) 패턴: IP, URL, 해시, 인증서, CVE/CPE 식별자 및 자격 증명을 포함하는 21개 패턴.
- LRU 캐싱: 레코드 전반에 걸친 반복적인 조회를 분할 amortize(분할 상환)합니다.
가명화: 엔티티는 운영자가 정의한 비밀 키를 사용하여 계산된 HMAC-SHA256 슬러그로 교체됩니다. 슬러그 길이는 구성 가능하며(0–64 헥사 문자), 엔티티 유형은 접두사(예: [IP_ADDRESS_48624b5cdc])로 보존됩니다.
영속성: 로컬 SQLite 데이터베이스에 원본 엔티티와 슬러그 간의 매핑을 저장하여, 키와 데이터베이스를 보유한 관리자에 의한 통제된 재식별을 가능하게 합니다.
출력: 구조화된 형식은 스키마와 구조를 유지하면서 값만 교체합니다. 비구조화된 형식(PDF, DOCX, 이미지)은 OCR 또는 텍스트 추출을 통해 일반 텍스트로 처리됩니다.

주요 아키텍처 특징:

스키마 인지형 구성: anonymization_config 메커니즘을 통해 알려진 필드에 대해 per-field 정책(예: force_anonymize, fields_to_exclude)을 적용함으로써 NER 오버헤드를 우회하고 성능을 크게 높일 수 있습니다.
다중 전략: 사용자는 다음 중 하나를 선택할 수 있습니다:
- Standalone (독립형): 최고 처리량, Presidio를 완전히 우회함.
- Hybrid/Filtered (하이브리드/필터링): 사이버 보안 관련 엔티티로 인식기를 제한하여 정확도와 성능의 균형을 맞춤.
- Presidio: 재현율(Recall)을 극대화하지만 도메인과 무관한 패턴으로부터 오탐(False Positive)이 발생할 수 있음.

주요 기여

확장 가능한 아키텍처: 운영 규모의 취약점 데이터셋(최대 550 MB, 약 71k 레코드)을 온프레미스에서 거의 선형적인 복잡도로 처리할 수 있는 시스템.
포괄적 평가: 이질적인 테스트베드부터 실제 운영 데이터에 이르는 데이터셋을 사용하여 이전 세대(AnonLFI v1.0/v2.0) 및 상용 도구와 네 가지 전략(standalone, hybrid, presidio, filtered)을 비교 분석함.
정확도 검증: 13개 엔티티 유형을 포함하는 전문가 주석 샘플(67개 레코드)을 사용하여 정밀도(Precision), 재현율(Recall), F1-Score를 측정하는 통계적 평가 수행.

실험 결과

평가에는 D1~D3를 포함한 네 가지 데이터셋이 사용되었으며, 여기에는 CAIS/RNP의 70,951개 취약점 레코드가 포함된 550 MB 운영 데이터셋(D2)이 포함됩니다.

성능 (처리량 및 지연 시간):

속도 향상: AnonShield는 550 MB 운영 데이터셋 처리에 소요되는 시간을 AnonLFI v2.0의 추정치인 92시간 이상에서 10분 미만(453초)으로 단축하여 738배의 속도 향상을 달전했습니다.
확장성: AnonShield는 근선형 복잡도( $\alpha \approx 1$ )를 보여줍니다. 반면, AnonLFI v2.0은 DOM 파싱으로 인해 초선형적으로 저하됩니다.
최적화: CSV 데이터에 대해 스키마 인지형 구성을 활성화하면 실행 시간이 12.55초(34,341 KB/s)로 더욱 단축되어, 전체 NER 추론 대비 46.9배의 이득을 얻었습니다.
하드웨어 독립성: CPU 전용 하드웨어에서도 AnonLFI v2.0 대비 ≥535배의 속도 향상을 달성하여, 이러한 이점이 단순히 하드웨어 덕분이 아닌 아키텍처에 의한 것임을 확인했습니다.

정확도:

지표: Filtered 및 Hybrid 전략은 F1-score 94.2% 및 **Recall 96.7%**를 달성했습니다.
비교: 이는 AnonLFI v1.0 (F1: 23.7%) 및 v2.0 (F1: 54.0%)에 비해 유의미한 개선입니다.
오류 분석: 미검출(False Negatives)은 주로 결정론적 요소(속성 문자열 내 인식되지 않은 조직 이름 및 자유 텍리 내 포트 번호와 같은 구조적 아티팩트)에서 발생했습니다. 오탐(False Positives)은 도메인과 무관한 인식기(예: 버전 문자열을 날짜로 오분류)를 억제함으로써 Filtered/Hybrid 모드에서 크게 감소했습니다.

의의 및 주장

본 논문은 취약점 데이터의 확장 가능한 온프레미스 가명화가 분석적 효용을 희생하지 않고도 운영적으로 가능하다고 주장합니다. 높은 처리량과 높은 재현율을 달려냄으로써 AnonShield는 다음을 가능하게 합니다:

준수적인 데이터 공유: GDPR 및 LGPD를 준수하면서 취약점 데이터를 다운스트림 LLM 파이프라인 및 합성 데이터 생성에 사용할 수 있도록 촉진합니다.
운영 가능성: 대규모 엔터프라이즈 환경을 위해 비실용적인 처리 시간(>92시간)에서 근실시간 처리 능력(<10분)으로 전환합니다.
문맥 인지 보안: 사이버 보안 식별자(CVE, CPE)가 특정 맥락에서 민감하다는 점을 인식하여, 제네릭 PII 도구가 남긴 공백을 메우고 무엇을 가명화할지에 대한 세밀한 제어를 허용합니다.

저자들은 이미지 전용 PDF에 대한 특정 OCR 라이스브러리 의존도와, 가명화 후에도 원본 취약점 데이터를 공개하는 것의 본질적인 어려움(공격자의 탐색 범위를 좁힐 위험 때문)을 한계점으로 인정합니다. 따라서 이들은 가명화를 외부 공유를 위한 합성 데이터 생성의 보완 단계로 위치시키면서도, 내부적인 LLM 보조 분석을 위해서는 필수적인 단계로 간 vị합니다.