Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections

이 논문은 웹 아카이브의 **절대적 크롤링 커버리지 **(Absolute Web Crawl Coverage)를 추정하기 위한 새로운 방법론을 제안합니다. 기존 연구들이 여러 크롤러 간의 비교나 외부 기준 데이터 (Ground Truth) 에 의존했던 것과 달리, 이 연구는 **단일 아카이브의 시계열 **(Longitudinal)만 사용하여 커버리지를 추정하는 혁신적인 접근법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 커버리지의 불확실성: 웹 크롤링은 특정 시점에 정해진 수의 URL(M) 을 수집하지만, 실제로 수집 가능한 전체 URL 공간 (N) 의 크기는 알 수 없습니다. 따라서 수집된 데이터가 전체 웹 공간의 얼마나 많은 부분 (c = M/N) 을 차지하는지 (커버리지) 를 파악하는 것이 근본적으로 어렵습니다.
• 기존 방법의 한계:
  • 상대적 비교: 여러 검색 엔진의 크롤링 결과를 비교하여 상대적인 크기 비율만 알 수 있을 뿐, 절대적인 웹 크기를 추정할 수 없습니다.
  • 외부 기준 데이터 의존: 특정 엔티티 (예: 학술 기관) 를 기준으로 한 외부 데이터셋을 필요로 하며, 이는 전체 URL 공간의 커버리지를 대표하지 못합니다.
  • 단일 크롤의 한계: 단일 크롤링 작업만으로는 수집된 데이터가 전체 중 어느 정도인지 판단할 수 없습니다.

2. 방법론 (Methodology)

이 논문은 **우르 모델 **(Urn Model)을 기반으로 한 통계적 추정 방식을 제안합니다.

• 우르 모델 가정:
  • **인구 **(N) 크롤 가능한 전체 URL 집합을 우르 (Urns) 에 담긴 공으로 간주합니다.
  • **교체 **(Turnover) 시간 (t) 이 지남에 따라 URL 집합은 일정 비율 (1-α) 만큼 사라지고 새로운 URL 로 대체됩니다. 여기서 α는 URL 의 시간적 지속성 (persistence) 을 나타냅니다.
  • 샘플링: 각 크롤링 시점에 우르에서 M 개의 URL 을 무작위로 추출합니다.
• 수학적 유도:
  • 두 번의 크롤링 (시간 $t_1$과 $t_2$) 사이에서 관찰되는 URL 겹침 (Overlap) 비율은 **포함도 **(Containment)로 정의됩니다: $g(u_i, u_j) = |u_i \cap u_j| / |u_i|$.
  • 이론적으로 시간 차이 $\Delta t = |i-j|$에 따른 겹침 비율은 다음 식으로 모델링됩니다:
    $$f(T) = c \cdot \alpha^{T-1}$$
    (여기서 $c$는 커버리지, $\alpha$는 URL 지속성 계수)
  • 양변에 로그를 취하면 선형 회귀 모델이 됩니다:
    $$\log(g(u_i, u_j)) = \log(c) + |i-j| \cdot \log(\alpha)$$
• 추정 과정:
  1. 시계열 크롤링 데이터에서 모든 크롤 쌍의 겹침 비율을 계산합니다.
  2. 시간 차이 ($\Delta t$) 와 로그 변환된 겹침 비율 ($\log g$) 간의 관계를 선형 회귀로 피팅합니다.
  3. **절편 **(y-intercept)에서 **커버리지 ($c$)**를, **기울기 **(slope)에서 **URL 지속성 ($\alpha$)**을 추정합니다.

3. 주요 기여 (Key Contributions)

1. 외부 데이터 불필요: 외부 기준 데이터나 다른 크롤러와의 비교 없이, 단일 아카이브의 시계열 데이터만으로 절대적 커버리지를 추정할 수 있는 최초의 방법론을 제시했습니다.
2. 이론적 근거: 웹 크롤링의 겹침 현상을 생태학의 '포획 - 재포획 (Capture-Recapture)' 모델인 우르 모델로 설명하고, 이를 웹 아카이브 분석에 적용했습니다.
3. 해석 가능성: 추정된 파라미터가 명확한 의미를 가집니다 (절편 = 수집 비율, 기울기 = 콘텐츠 소멸 속도).

4. 실험 결과 (Results)

• 데이터: 2013 년 12 월부터 2021 년 12 월까지 8 년간 6 개월마다 수행된 **독일 학술 웹 **(German Academic Web, GAW)의 15 회 크롤링 데이터 (약 1 억 5 천만 건의 레코드, 150 개 대학 도메인 기반) 를 적용했습니다.
• 커버리지 추정: 회귀 분석 결과, 안정적인 크롤링 설정 하에서 약 46% 의 크롤 가능 URL 공간이 아카이브에 수집된 것으로 추정되었습니다.
• URL 지속성: 연간 URL 지속성 계수 $\alpha \approx 0.73$을 얻었으며, 이는 연간 약 27% 의 URL 교체율을 의미합니다. 이는 기존 연구 (Koehler, 2002) 에서 보고된 웹 페이지의 약 2 년 반감기와 일치합니다.
• 시간적 추이: 시간에 따른 회귀 분석을 통해 2013 년부터 2021 년까지 커버리지 ($c$) 가 점차 증가하는 경향을 발견했습니다. 이는 크롤링 효율성 향상 또는 대상 웹 공간의 축소 때문으로 해석됩니다.
• 검증: 실제 데이터와 우르 모델을 기반으로 한 확률적 시뮬레이션 결과가 거의 완벽하게 일치하여 방법론의 타당성을 입증했습니다.

5. 의의 및 의의 (Significance)

• 아카이브 운영자를 위한 도구: 외부 데이터 없이도 아카이브의 완성도를 지속적으로 모니터링하고 평가할 수 있는 자기完結적 (Self-contained) 인 도구를 제공합니다.
• LLM 및 연구 활용: 웹 기반 데이터셋 (예: LLM 학습용 데이터) 의 품질과 범위를 평가할 때, 수집된 데이터가 전체 웹의 어느 정도를 대표하는지에 대한 정량적 근거를 제공합니다.
• 확장성: 이 방법은 특정 도메인 (학술, 정부, 문화유산 등) 에 국한된 집중 크롤링 (Focused Crawl) 이나 일반적인 웹 크롤링 (Common Crawl 등) 에도 적용 가능한 범용적인 방법론입니다.

한계점:

• 크롤러의 편향성 (예: 연결된 페이지 위주 탐색) 을 완전히 보정하지는 못하며, 이는 '커버리지'를 크롤 설정에 가중치가 적용된 형태로 해석하게 합니다.
• 대상 웹 공간의 크기가 급격히 변하는 경우 (급성장하는 소셜 미디어 등) 에는 추정치가 왜곡될 수 있습니다.
• URL 수준의 겹침을 기반으로 하므로, URL 은 유지되지만 콘텐츠가 완전히 바뀐 경우를 감지하지는 못합니다.

결론적으로, 이 논문은 웹 아카이브의 '얼마나 많이' 수집되었는지에 대한 근본적인 질문에 답하기 위해, 시계열 데이터의 교차점을 통계적으로 분석하는 간결하고 강력한 방법론을 제시했습니다.