논문 개요

이 논문은 VirusTotal, URLScan.io, Wayback Machine 등 다양한 공개 플랫폼에 의해 수집 및 아카이빙된 수백만 개의 공개 URL 을 대상으로, 민감한 정보가 실수로 유출된 사례를 대규모로 측정하고 분석한 연구입니다. 연구팀은 자동화된 시스템을 구축하여 텍스트, 메타데이터, 동적 렌더링된 콘텐츠에서 인증 토큰, 금융 정보, 개인 식별 정보 (PII) 등의 유출을 탐지했습니다.

1. 문제 제기 (Problem)

• URL 의 진화: 과거 단순한 리소스 위치 지정자였던 URL 이 이제는 인증 토큰, 문서 식별자, 비밀번호 재설정 링크 등 민감한 데이터를 운반하는 매체로 변모했습니다.
• 공개 아카이빙의 부작용: 보안 분석 서비스, 웹 아카이브, 페이스트 사이트 (Paste sites) 등은 보안 분석을 위해 사용자 제출 URL 을 공개적으로 저장합니다. 이 과정에서 API 키, 로그인 토큰, 개인 문서 링크 등 민감한 정보가 포함된 URL 이 무의식적으로 공개되어 장기적으로 유출될 위험이 있습니다.
• 연구 공백: 기존 연구들은 URL 기반의 민감한 데이터 노출을 다루었으나, 동적 렌더링이 필요한 콘텐츠나 대규모 아카이브를 포괄적으로 측정하여 유출의 규모와 지속성을 정량화한 연구는 부재했습니다.

2. 방법론 (Methodology)

연구팀은 6,094,475 개의 URL 을 대상으로 4 단계의 자동화된 탐지 파이프라인을 구축했습니다.

데이터 수집 (Data Collection)

2025 년 1 월부터 4 월까지 다음 5 가지 공개 소스에서 데이터를 수집했습니다:

1. URLScan.io: 검색 API 를 통해 550 만 개 이상의 URL 수집.
2. VirusTotal: 위험한 도메인 (결제, 인증 등) 중심의 13 만 개 이상 URL 수집.
3. Wayback Machine: CDX API 를 통한 아카이브 URL 36 만 개 이상 수집.
4. Hybrid Analysis: 공개 샌드박스 리포트에서 6 만 개 이상 URL 추출.
5. RedHunt Paste Sites: 공개 페이스트 사이트 스크래핑을 통해 1 만 3 천 개 이상 URL 수집.

4 단계 탐지 파이프라인

1. Stage 1: URL 필터링 (Lexical & Structural Filtering)

   • 정적 리소스 (.css, .woff, .ico 등) 는 제외하되, 텍스트 추출이 가능한 PDF 는 유지.
   • 302 개의 식별자 (auth, token, invoice 등) 를 기반으로 URL 경로 및 쿼리 파라미터에 대한 어휘적 매칭 수행.
   • 구조적 기준 (5 개 이상의 파라미터, 150 자 초과 길이, 4 단계 이상의 디렉토리 등) 을 적용하여 잠재적 유출 URL 선별.
   • 결과: 609 만 개 → 83 만 개로 축소.

2. Stage 2: 콘텐츠 검색 (Retrieve Content)

   • Selenium 을 사용하여 URL 의 도달 가능성 확인 (HEAD/GET 요청).
   • 리디렉션 최대 3 회 허용, '접근 거부' 또는 '404' 페이지는 제외.
   • 결과: 83 만 개 → 14 만 9 천 개 (실제 접근 가능한 콘텐츠가 있는 URL) 로 축소.

3. Stage 3: 렌더링 및 추출 (Render and Extract)

   • 클라이언트 측 렌더링 (JavaScript) 이 필요한 콘텐츠를 포착하기 위해 헤드리스 브라우저 사용.
   • 5 초 렌더링 후 DOM 분석, 숨겨진 입력 필드, 메타데이터 추출.
   • 이미지 내 텍스트 추출을 위해 Tesseract OCR 적용.
   • 비영어권 텍스트는 Google Translate API 를 통해 번역.

4. Stage 4: 콘텐츠 분석 (Content Analysis)

   • HTML 스크립트/스타일 제거 후, 402 개의 확장된 식별자 목록과 매칭.
   • 가시적 텍스트, 입력 필드 값, 메타데이터 속성을 분석하여 유출 가능성 판별.

3. 주요 결과 (Key Results)

전체 609 만 개 URL 중 12,331 개의 잠재적 유출이 발견되었습니다.

• 유출 카테고리 분포:
  • 인증 및 토큰 (Authentication & Tokens): 5,343 건 (43.3%) - 가장 많음. (예: API 키, 세션 토큰)
  • 금융 정보 (Financial): 2,412 건 (19.6%) - 결제 토큰, 주문 ID 등.
  • 개인 식별 정보 (PII): 1,440 건.
  • 메타데이터, 여행, 소셜 미디어, 문서 등 기타 카테고리 포함.
• 출처별 기여도:
  • URLScan.io 가 전체 유출의 63.5% 를 차지 (가장 큰 비중).
  • Wayback Machine (14.6%), VirusTotal (11.7%) 이 그 뒤를 이음.
• 중요 발견 (Critical Findings):
  • 2FA 백업 코드: 7 개의 완전 노출 및 16 개의 부분 노출 발견.
  • 비밀번호 재설정 링크: 26 개의 활성 링크 발견 (일시적 토큰 포함).
  • JWT 토큰: 만료 기한이 없거나 장기 유효한 62 개의 JWT 발견.
  • 전자 서명 워크플로우: 12 개의 공개적으로 접근 가능한 계약서 및 서명 세션 발견.
• 정확도: 수동 검증을 통해 위양성 (False Positive) 비율을 추정하였으며, 인증/토큰 카테고리의 경우 95% 신뢰구간에서 약 74% 가 실제 유출 (True Positive) 로 확인됨.

4. 주요 기여 (Contributions)

1. 대규모 데이터셋 구축: 5 개의 공개 소스에서 약 600 만 개의 URL 을 수집한 최초의 크로스 플랫폼 데이터셋 구축.
2. 확장 가능한 탐지 방법론: 어휘적 필터링, 동적 렌더링, OCR, 구조적 분석을 결합한 경량화된 자동화 시스템 개발.
3. 실증적 측정: 공개 URL 저장소에서의 민감한 데이터 유출 규모를 정량화하고, 유출의 유형과 지속성을 분석함.
4. 책임 있는 공개 (Responsible Disclosure): 발견된 유출에 대해 저장소 운영자 및 53 개 영향받은 당사자에게 통보하여 수정 조치를 유도함.

5. 의의 및 시사점 (Significance)

• 시스템적 위험의 발견: URL 유출은 드문 현상이 아니라, 수천 개의 활성 링크가 공개되어 있어 계정 탈취, 사기, 대규모 데이터 유출로 이어질 수 있는 시스템적 위험임을 입증했습니다.
• 보안 관행의 재고: "URL 은 비밀이다 (Security through Obscurity)"라는 가정이 무효임을 보여줌. 민감한 자원은 URL 자체의 복잡성에 의존하지 않고 명확한 접근 제어 (Access Control) 를 통해 보호해야 함을 강조.
• 대응 방안 제안:
  • 저장소 운영자: 민감 파라미터 자동 마스킹, 엔트로피 기반 휴리스틱 적용, 공개 전 지연 정책 도입.
  • 개발자: GET 파라미터를 통한 인증 정보 전달 지양, 단기 토큰 사용, 캐시 제어 강화.
  • 기업: 내부 네트워크에서 민감한 URL 이 공개 저장소로 전송되지 않도록 모니터링 및 차단.

이 연구는 웹 측정 (Web Measurement) 과 보안 자동화의 중요성을 부각시키며, 향후 데이터 유출 방지를 위한 기술적, 정책적 개입의 필요성을 강력하게 시사합니다.