기술 요약: WCXB – 다중 유형 웹 콘텐츠 추출 벤치마크

문제 제기

웹 콘텐츠 추출은 페이지의 주요 콘텐츠를 주변 보일러플레이트(내비게이션, 광고, 푸터 등)에서 분리해내는 과정으로, 검색 색인화, 검색 증강 생성 (RAG), NLP 데이터셋 구축, 대규모 언어 모델 (LLM) 학습을 위한 필수 전제 조건입니다. 그 중요성에도 불구하고, 이 분야의 진전은 기존 평가 벤치마크의 한계에 의해 제약받아 왔습니다. 현재 데이터셋은 일반적으로 규모가 작고 (100~800 페이지), 거의 독점적으로 뉴스 기사에 국한되거나 10 년 이상 이전의 HTML 구조를 기반으로 합니다.

중요하게도, 기존 벤치마크는 현대 웹의 구조적 다양성을 고려하지 못합니다. 웹 크롤러는 구조화된 사양이 있는 제품 페이지, 중첩된 사용자 게시물이 있는 포럼, 코드 블록이 있는 문서, 독립적인 <section> 요소에 분산된 콘텐츠 섹션이 있는 서비스 페이지 등을 마주칩니다. 기사 추출에 최적화된 휴리스틱은 이러한 다른 유형에서는 예측 가능하게 실패하지만, 현재 존재하는 벤치마크 중에는 이러한 명확한 구조적 범주 전반에 걸쳐 추출 성능을 평가하는 것은 없습니다. 이러한 "기사 전용" 편향은 현재 추출 시스템의 중요한 성능 격차와 맹점을 가립니다.

방법론

WCXB 데이터셋

저자들은 2,008 개의 웹 페이지와 1,613 개의 고유 도메인으로 구성된 웹 콘텐츠 추출 벤치마크 (WCXB) 데이터셋을 소개합니다. 이 데이터셋은 일반화 검증을 보장하기 위해 페이지 유형 분포가 일치하는 1,497 페이지 개발 세트와 511 페이지 홀드아웃 테스트 세트로 나뉩니다.

페이지 유형 분류 체계:
기존 연구가 시맨틱 콘텐츠에 따라 페이지를 분류하는 것과 달리, WCXB 는 추출 전략을 결정하는 HTML 구조적 특성에 기반하여 일곱 가지 페이지 유형을 정의합니다:

1. Article (기사): 순차적인 단락이 있는 단일 콘텐츠 컨테이너.
2. Forum (포럼): 투표 컨트롤과 메타데이터를 가진 여러 사용자 게시물.
3. Product (제품): 구조화된 데이터 (JSON-LD), 사양 및 가격 정보.
4. Collection (컬렉션): 필터 패널과 페이지네이션이 있는 제품 그리드.
5. Listing (목록): 요약이 포함된 반복되는 카드 요소.
6. Documentation (문서): 코드 블록, 사이드바 내비게이션, 버전 관리된 콘텐츠.
7. Service (서비스): 독립적인 <section> 요소에 분산된 다중 섹션 레이아웃 (히어로, 기능, 고객 후기 등).

주석 파이프라인

고품질 보장을 위해 엄격한 5 단계 파이프라인을 통해 기준 주석이 생성되었습니다:

1. LLM 지원 초안 작성: LLM(Claude) 이 내비게이션과 보일러플레이트를 제외하고 초기 추출물을 생성합니다.
2. 자동 검증: 스크립트가 인코딩, JSON 스키마 유효성 및 콘텐츠 범위를 확인합니다.
3. 최첨단 모델 검토: Claude Opus 에이전트가 네 번의 독립적인 패스를 통해 콘텐츠 완전성, 경계, 메타데이터 및 일관성을 검토합니다.
4. 스니펫 및 품질 검증: 자동 스크립트가 필수 "with" 스니펫이 추출물에 포함되고 "without" 보일러플레이트 스니펫이 포함되지 않았는지 확인합니다.
5. 인간 검토: 인간 주석가가 이견을 조정하고 최종 품질 보안을 수행합니다.

주석에는 주요 콘텐츠가 일반 텍스트로 포함되며, 구 수준에서 정밀도와 재현율을 평가하기 위한 특정 "with"(반드시 포함) 및 "without"(반드시 제외) 텍스트 스니펫이 포함됩니다.

평가 시스템 및 지표

본 논문은 13 개의 추출 시스템을 평가합니다: 11 개의 휴리스틱 시스템 (규칙 기반 및 rs-trafilatura, Resiliparse, Trafilatura와 같은 하이브리드 규칙+ML 시스템 포함) 과 2 개의 신경망 시스템 (MinerU-HTML 및 ReaderLM-v2).

지표:

• 단어 수준 F1: 토큰화된 단어 가방 (소문자, 비문자/숫자 분리) 에서 계산되어 콘텐츠 중복도를 측정하며, 공백이나 단락 순서 차이에 대한 패널티를 피합니다.
• 스니펫 기반 지표: "With recall"(콘텐츠 완전성) 과 "Without inclusion"(보일러플레이트 오염).
• 속도: 페이지당 밀리초 단위로 측정됩니다.

주요 결과

전반적 성능

개발 세트에서 rs-trafilatura(하이브리드 규칙+ML 시스템) 가 44ms 의 처리 속도로 0.859의 최고 전체 F1 점수를 달성했습니다. 신경망 시스템인 **MinerU-HTML**이 0.827로紧随其后했으며, ReaderLM-v2(15 억 파라미터) 는 0.741의 F1 점수로 여러 휴리스틱 시스템보다 낮은 성능을 보였습니다.

"기사 vs 구조" 격차

가장 중요한 발견은 페이지 유형에 따른 성능의 분기입니다:

• 기사: 성능이 포화 상태입니다. 모든 최상위 시스템이 0.871~0.932 사이의 F1 점수로 수렴합니다. 최상위 휴리스틱과 최상위 신경망 시스템 간의 격차는 무시할 수 있을 정도로 작습니다 (0.4 점).
• 구조적 유형: 성능이 급격히 갈라집니다.
  • 포럼: F1 범위는 0.520~0.794(27.4 점 차이) 입니다.
  • 컬렉션: F1 범위는 0.415~0.713(29.8 점 차이) 입니다.
  • 제품: F1 범위는 0.464~0.670(20.6 점 차이) 입니다.
  • 서비스 페이지: F1 범위는 0.708~0.843입니다.

일반화 및 교차 벤치마크 검증

• 일반화: 홀드아웃 테스트 세트에서 평가했을 때, 모든 시스템은 성능이 균일하게 상승했습니다 (더 깨끗한 테스트 주석과 기사의 비율이 약간 높아진 것으로 인한 것으로 보임), 하지만 최상위 시스템의 상대적 순위는 안정적으로 유지되었습니다.
• 교차 벤치마크: 기사 전용인 ScrapingHub 벤치마크에서 최상위 시스템은 0.96에 가까운 F1 점수를 달성했습니다. 그러나 WCXB 에서는 전체 F1 이 0.859로 하락했습니다. 저자들은 기사 전용 성능과 다중 유형 성능 사이의 7.3 점 격차가 기존 벤치마크의 "맹점"을 정량화한다고 지적합니다.

신경망 vs 휴리스틱

신경망 모델이 더 잘 일반화한다는 가정과 달리, 결과는 신경망 시스템이 휴리스틱 시스템과 동일한 기사 편향을 계승함을 보여줍니다. MinerU-HTML 은 7 가지 페이지 유형 중 6 가지에서 최상위 휴리스틱보다 뒤처졌으며, ReaderLM-v2 는 전체적으로 세 가지 휴리스틱 시스템보다 낮은 성능을 보였습니다. 모델 크기가 커진다고 해서 구조적 유형에서 더 나은 성능과 상관관계가 있는 것은 아니었습니다.

중요성과 주장

본 논문은 기사 추출이 대부분 해결된 문제이며, 현재 아키텍처의 성능 한계에 도달했다고 주장합니다. 따라서 웹 콘텐츠 추출의 향후 진전은 구조적 페이지 유형(포럼, 제품, 컬렉션 등) 을 해결하는 데서 이루어져야 하며, 이는 시스템 간 20~30 점의 성능 격차가 존재하는 미해결 문제입니다.

저자들은 다음과 같이 주장합니다:

1. 기존 벤치마크는 불충분하다: 비기사 페이지에서의 치명적인 실패를 가려내어 잘못된 진전 감각을 조성한다.
2. 신경망 접근법은 다양성을 해결하지 못했다: 현재 LLM 기반 추출기는 구조적 변형에 더 잘 일반화되지 않으며, 종종 더 빠른 휴리스틱 방법보다 낮은 성능을 보인다.
3. 구조적 분류 체계는 필수적이다: 추출 전략은 시맨틱 콘텐츠 범주가 아닌 HTML 구조적 속성 (예: JSON-LD 처리, 다중 섹션 병합) 에 의해 주도되어야 한다.

CC-BY-4.0 라이선스로 공개된 WCXB 데이터셋은 현대 웹의 전체 복잡성을 처리할 수 있는 유형 인식 추출 시스템에 대한 연구를 주도하기 위해 필요한 인프라 (다양한 페이지 유형, 기준 주석, 베이스라인) 를 제공합니다.