Addressing Labelled Data Scarcity: Taxonomy-Agnostic Annotation of PII Values in HTTP Traffic using LLMs

기술 요약: LLM 을 활용한 HTTP 트래픽 내 PII 값의 분류 체계 무관 주석

문제 제기

웹 및 모바일 애플리케이션의 자동화된 개인정보 보호 감사 (privacy audits) 는 increasingly PII(개인식별정보) 유출을 탐지하기 위해 아웃바운드 HTTP 트래픽 분석에 의존하고 있습니다. 그러나 기존 학습 기반 탐지기는 두 가지 중요한 한계에 직면해 있습니다:

1. 데이터 부족: 고품질의 수동 레이블이 지정된 데이터셋에 의존하는데, 이는 생성에 많은 노력이 필요하고 유지보수가 어렵습니다.
2. 분류 체계의 경직성: 이러한 모델들은 고정된 레이블 분류 체계에 밀접하게 결합되어 있습니다. 개인정보 정의가 진화하거나 도메인 간에 상이할 경우 (예: GDPR 대 mHealth 대 Play Store 정책), 재학습이 필요하며, 분류 체계나 데이터 분포에 사소한 변화가 발생하더라도 성능이 크게 저하되는 경우가 많습니다.

본 논문은 일반 목적 모델로서 재학습 없이 제로샷 (zero-shot) 또는 퓨샷 (few-shot) 태스크 수행이 가능한 대규모 언어 모델 (LLM) 이 런타임 시 PII 값의 분류 체계 무관 주석 (taxonomy-agnostic annotation) 을 가능하게 하는 잠재적 해결책을 제시한다고 주장합니다.

방법론

저자들은 두 가지 주요 구성 요소로 이루어진 포괄적인 프레임워크를 제안합니다: 다단계 주석 파이프라인과 합성 데이터 생성기입니다.

1. 다단계 주석 파이프라인
이 파이프라인은 HTTP 트래픽의 다양성을 처리하고 정확도를 향상시키기 위해 복잡한 PII 탐지 작업을 전문화된 하위 문제로 분해합니다:

• 결정론적 전처리: HTTP 메시지 본문을 정규화하여 인코딩 변이를 완화합니다. 여기에는 URL 디코딩 (RFC 3986), HTML 문자 참조 해석, 그리고 특정 구문 패턴과 일치하는 부분 문자열에 대한 선택적 애플리케이션 계층 디코딩 (예: Base64) 이 포함됩니다. 추적 가능성을 위해 원본 및 정규화된 표현 모두를 보존합니다.
• 이단계 주석:
  • 레이블 수준 분류: LLM 이 메시지에 명시적으로 포함된 PII 레이블 집합 ($L_m$) 을 예측하며, 엄격한 "명시적 값" 요구사항 (빈 키로부터 추론 금지) 을 준수합니다.
  • 인스턴스 수준 추출: 두 번째 LLM 이 예측된 레이블에 조건부로 정규화된 본문에 대해 표적화된 개체명 인식 (NER) 을 수행합니다. 이 단계는 컨텍스트 단서 (키 이름, 값 패턴, 구조적 위치) 를 사용하여 경계 탐지 및 모호성 해소에 중점을 둡니다.
• 주석 후 검토: 세 번째 LLM 단계가 검토자 역할을 하여 초기 주석을 정제하고, 오탐 (false negatives), 레이블 불일치, 경계 오류를 수정합니다.
• LLM 추론 하네스: 견고성을 보장하기 위해 파이프라인은 프롬프트에 작업 관련 예시 (구조적 및 레이블 특정) 를 주입하기 위해 검색 증강 생성 (RAG) 을 활용합니다. 결정론적 유효성 검사 계층은 목표 분류 체계에 대한 코사인 유사도를 사용하여 스키마 준수를 강제하고 레이블 출력을 정규화합니다 (예: "E-mail"을 "Email"로 매핑).

2. 합성 HTTP 메시지 생성기
실제 사용자 트래픽을 노출하지 않고 레이블이 지정된 데이터의 부족 문제를 해결하기 위해, 저자들은 분류 체계 기반 생성기를 도입합니다:

• 시나리오 생성: LLM 이 제공된 분류 체계를 기반으로 시나리오 템플릿 (예: 계정 생성, 체크아웃) 을 생성합니다.
• 메시지 인스턴스화: LLM 이 명시적인 PII 값을 포함하는 구체적인 HTTP 요청 (및 선택적으로 응답) 을 생성합니다.
• 검증: 유효성 검사 계층은 구조적 형식 준수, 분류 체계 준수, 그리고 모든 주석된 값이 생성된 페이로드에 그대로 나타나는지 확인합니다.
• 커버리지 추적: 시스템은 분류 체계 전반에 걸쳐 다양한 표현을 보장하기 위해 레이블 커버리지를 모니터링합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

• C1 (주석 파이프라인): 재학습 없이 런타임 시 레이블 분류 체계를 전환할 수 있는 HTTP 페이로드 내 세분화된 PII 식별을 위한 다단계 LLM 기반 접근법.
• C2 (합성 생성기): 변화하는 분류 체계에 대한 수동 큐레이션 의존도를 줄이기 위해, 기준이 되는 PII 주석이 포함된 합성 HTTP 트래픽을 생성하는 LLM 기반 메커니즘.
• C3 (평가): 유연성과 성능을 평가하기 위해 서로 다른 도메인과 세분화 수준을 다루는 세 가지 다른 분류 체계 (AI4Privacy, mHealth, PlayStore) 에 대한 포괄적인 평가.

결과

평가에는 합성 생성기에서 파생된 세 가지 데이터셋이 사용되었으며, 평가 및 RAG 예시를 위해 80/20 비율로 분할되었습니다. 성능은 레이블 수준 및 인스턴스 수준에서 정밀도 (Precision), 재현율 (Recall), F1 점수로 측정되었습니다.

• 전체 성능: 파이프라인은 AI4Privacy(53 개 클래스) 및 mHealth(38 개 클래스) 분류 체계에서 강력한 성능을 달성했습니다. 분류 단계에서 레이블 수준 탐지는 거의 한계에 근접했으며 (F1 > 0.98), 인스턴스 수준 추출도 높게 유지되었습니다 (F1 > 0.95).
• 분류 체계 변동성: 더 높은 수준의 정책 지향 카테고리를 사용하는 PlayStore 분류 체계 (38 개 클래스) 에서는 성능이 낮았습니다. 이는 주석의 난이도가 분류 체계의 의미적 세분화와 상관관계가 있음을 시사합니다. 광범위한 카테고리는 구체적인 PII 유형보다 특정 페이로드 값에 매핑하기가 더 어렵습니다.
• 아키텍처 영향:
  • 이단계 구성(분류 후 표적 추출) 은 주로 인스턴스 수준 재현율을 개선하여 AI4Privacy 및 mHealth 에서 단일 단계 주석보다 일반적으로 더 나은 성능을 보이거나 이를 달성했습니다.
  • PlayStore 에서는 이단계 접근법이 레이블 탐지를 개선했으나 더 나은 인스턴스 추출로 이어지지 않았으며, 이는 노이즈가 있는 분류기 출력이 복잡한 분류 체계에서 오류를 전파할 수 있음을 나타냅니다.
• 검토 단계: 검토 단계는 제한된 순이익을 제공했으며, 때로는 성능을 저하시켰습니다. 저자들은 주석과 검토에 동일한 모델 계열을 사용했기 때문에 독립적인 수정 대신 공유된 가정을 재생산했을 가능성이 있다고 제안합니다.

중요성 및 주장

본 논문은 LLM 이 유연하고 분류 체계 무관인 트래픽 주석을 위한 유망한 기반이 된다고 주장합니다. 주요 교훈은 다음과 같습니다:

• 실현 가능성: LLM 은 런타임 시 분류 체계가 제공될 때 명시적으로 전송된 PII 값을 정확하게 식별하고 주석할 수 있으며, 새로운 레이블 세트에 대한 재학습이 필요하지 않습니다.
• 데이터 생성: 기준이 되는 주석이 포함된 합성 HTTP 트래픽은 통제된 평가 및 퓨샷 프롬프팅을 위한 타당한 기질 (substrate) 이며, 레이블이 지정된 실제 데이터의 부족을 완화합니다.
• 한계 및 범위: 저자들은 이 접근법을 경량 생산 탐지기의 직접적인 대체제로 배포하는 데 있어 겸손한 입장을 취합니다. 그들은 다음과 같은 점을 지적합니다:
  • 성능은 분류 체계 설계 및 페이로드 구조에 크게 의존합니다.
  • 합성 데이터는 평가에 유용하지만, 실제 트래픽의 분포 (예: 은폐, malformed 페이로드) 를 완전히 포착하지 못할 수 있습니다.
  • 현재 평가는 요청 본문의 명시적으로 전송된 값에 국한되어 있으며, 헤더, 쿠키, 암호화된 트래픽은 제외됩니다.
• 미래 경로: 저자들은 가장 유망한 향후 경로로 하이브리드 접근법을 제안합니다: 변화하는 분류 체계 하에서 레이블이 지정된 데이터셋을 생성하거나 정제하기 위해 LLM 기반 주석을 사용하고, 이후 이러한 주석을 고처리량 배포를 위한 더 작고 차별화된 모델로 증류 (distill) 하는 것입니다.