Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

이 논문은 웹 페이지의 주요 콘텐츠를 추출하기 위해 생성형 LLM 의 높은 비용과 할루시네이션 문제를 해결하면서도 전통적 휴리스틱 방법보다 뛰어난 정확도를 보여주는 경량화된 프레임워크 'Dripper'를 제안하고, 이를 통해 고품질 학습 코퍼스 구축과 모델 성능 향상을 가능하게 했음을 보여줍니다.

핵심

🌐 웹의 거대한 도서관을 정리하는 'Dripper' 이야기

이 논문은 **"인터넷의 거대한 도서관 (웹) 에서 정말 중요한 책 (주요 내용) 만 골라내는 기술"**에 대한 이야기입니다.

지금까지의 방법들은 두 가지 극단적인 문제가 있었습니다.

1. 구식 청소부 (기존 도구): 빠르지만, 책의 내용도 함께 버리거나 광고를 책으로 착각하는 경우가 많았습니다.
2. 천재 사서 (거대 AI): 내용을 아주 잘 이해하지만, 너무 느리고 비싸서 도서관 전체를 정리하는 데는 쓸 수 없었습니다.

이 논문은 Dripper라는 새로운 도구를 소개하며, **"천재 사서의 눈썰미"**를 **"빠른 청소부"**에게 심어주었습니다.

---

🧠 핵심 아이디어: "두 가지 눈"을 가진 시스템

Dripper 는 웹페이지를 처리할 때 두 가지 다른 방식으로 동시에 작업합니다. 마치 요리사가 재료 목록과 완성된 요리를 동시에 관리하는 것과 같습니다.

1. 첫 번째 눈: "요약된 메뉴판" (Simplified HTML)

• 상황: 웹페이지는 광고, 스크립트, 복잡한 디자인 등으로 가득 차 있어 AI 가 읽기엔 너무 복잡합니다.
• Dripper 의 방법: AI 가 읽을 때는 이 복잡한 장식을 다 걷어내고, **"이게 광고야, 이게 본문이야"**만 적힌 아주 간단한 **메뉴판 (요약본)**을 만들어 AI 에게 보여줍니다.
• 효과: AI 는 이 간결한 메뉴판만 보고도 "어, 이 부분은 중요해, 저 부분은 쓰레기야"라고 아주 빠르게 판단할 수 있습니다. (기존보다 22 배나 빠르고 저렴해짐!)

2. 두 번째 눈: "원본 요리" (Mapping HTML)

• 상황: AI 가 "이 부분은 중요해"라고 표시를 했다고 해서, 그 부분을 잘라낼 때 원본의 모양 (글꼴, 테이블, 코드 등) 이 깨지면 안 됩니다.
• Dripper 의 방법: AI 가 판단하는 동안, **원본 웹페이지 (요리)**는 그대로 보관해 둡니다.
• 효과: AI 가 "여기 중요함!"이라고 표시한 번호를 원본에 대입하면, 원래의 아름다운 디자인과 구조가 그대로 살아있는 깨끗한 글만 남게 됩니다.

🍳 비유:
마치 식당에서 손님이 메뉴를 보고 주문하는 것과 같습니다.

• 기존 방법: 손님이 복잡한 주방 전체를 구경하며 주문해야 하느라 시간이 걸리고, 실수할 확률이 높습니다.
• Dripper 방법: 손님은 깔끔한 메뉴판만 보고 "이거 주세요"라고 주문하고, 주방은 그 주문대로 원래의 맛있는 요리를 그대로 서빙해 줍니다.

---

🚀 Dripper 가 가져온 4 가지 혁신

1. 🏎️ "천재도 빠르게 달릴 수 있다" (효율성)

기존의 거대 AI 는 웹페이지 하나를 읽는 데 너무 많은 전력을 썼습니다. 하지만 Dripper 는 **작은 AI (0.6B 모델)**를 사용하면서도, 입력 데이터를 깔끔하게 정리해 주어 초당 3 페이지를 처리할 수 있게 했습니다. 이는 기존 방식보다 훨씬 빠르고 저렴합니다.

2. 📚 "가장 공정한 시험지" (WebMainBench)

이 연구팀은 AI 의 능력을 제대로 평가할 수 있는 **새로운 시험지 (WebMainBench)**를 만들었습니다.

• 기존 시험지: 오래된 문제나 애매한 정답이 많았습니다.
• 새로운 시험지: 7,800 개 이상의 다양한 웹사이트 (뉴스, 포럼, 블로그 등) 를 인간이 직접 꼼꼼히 정답을 체크한 데이터입니다.
• 결과: Dripper 는 이 시험에서 기존 최고의 도구들보다 훨씬 잘했고, 심지어 **최고급 상용 AI(GPT-5 등)**와 거의 비슷한 점수를 받았습니다.

3. 🌱 "더 좋은 음식 재료 = 더 맛있는 요리" (다운스트림 효과)

이건 가장 중요한 부분입니다. 연구팀은 Dripper 로 정리한 웹데이터로 **새로운 AI 모델 (1B 모델)**을 훈련시켰습니다.

• 결과: Dripper 로 정리한 데이터로 만든 AI 는, 기존 도구로 정리한 데이터로 만든 AI 보다 훨씬 더 똑똑해졌습니다.
• 의미: "데이터의 질이 AI 의 지능을 결정한다"는 것을 증명했습니다. Dripper 는 단순히 글을 잘 뽑아내는 게 아니라, 미래의 AI 를 더 똑똑하게 만드는 핵심 인프라 역할을 합니다.

4. 🆓 "열린 보물창고" (오픈소스)

이 모든 기술 (모델, 코드, 데이터) 을 무료로 공개했습니다. 누구나 이 도구를 써서 더 좋은 데이터를 만들 수 있게 했습니다.

---

💡 한 줄 요약

Dripper는 **"복잡한 웹페이지를 깔끔하게 정리해 주는 똑똑하고 빠른 도구"**로, 거대 AI 의 지능을 작은 AI 에게 심어주어 빠르고 정확하며 저렴하게 인터넷의 보물 (데이터) 을 캐낼 수 있게 해줍니다.

이제 우리는 더 이상 "빠르지만 부정확한 도구"와 "정확하지만 느린 도구" 사이에서 고민할 필요가 없습니다. Dripper가 그 모든 것을 해결해 줍니다! 🎉

기술 요약

1. 문제 정의 (Problem)

현대 웹은 방대한 양의 데이터를 생성하지만, 이를 대규모 AI 학습 코퍼스 (Training Corpus) 로 활용하기 위해서는 원시 HTML 을 고품질의 구조화된 텍스트로 변환하는 과정이 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 겪고 있습니다:

• 전통적 휴리스틱/규칙 기반 추출기 (Heuristic Extractors): Trafilatura, Readability 등은 계산 효율성이 높지만, 현대 웹의 복잡한 구조적 이질성 (Heterogeneity) 을 처리할 수 있는 의미적 추론 능력이 부족합니다. 시각적 레이아웃이 우선시되거나 <div> 태그가 남용되는 경우 주요 콘텐츠를 누락하거나 노이즈를 포함하기 쉽습니다.
• 대규모 생성형 LLM (Generative LLMs): GPT-4, DeepSeek 등은 뛰어난 문서 이해 능력을 가지지만, 원시 HTML 의 긴 시퀀스 (Context Window) 를 처리하기 위한 과도한 계산 비용, 제한된 컨텍스트 창, 그리고 생성 시 발생할 수 있는 할루시네이션 (Hallucination) 문제로 인해 웹 규모의 대량 처리에는 비실용적입니다.

2. 방법론 (Methodology)

저자들은 Dripper라는 경량 프레임워크를 제안하여, 추출 작업을 '생성 (Generation)'이 아닌 '제약된 시퀀스 레이블링 (Constrained Sequence Labeling)' 문제로 재정의했습니다. 핵심 아키텍처는 다음과 같습니다:

가. 듀얼 브랜치 전략 (Dual-Branch Strategy)

효율성과 충실도 (Fidelity) 의 균형을 맞추기 위해 입력 HTML 을 두 개의 병렬 시퀀스로 변환합니다.

1. Simplified HTML (모델 입력용):
   • 시각적 노이즈 (<script>, <style>, <header> 등) 를 제거하고, 속성 중 class 와 id 만 남깁니다.
   • 인라인 태그를 의미 있는 블록 단위로 집계하여 토큰 수를 약 84.4% 감소시킵니다.
   • 경량 모델이 긴 문서의 구조를 효율적으로 분석할 수 있도록 압축된 컨텍스트를 제공합니다.
2. Mapping HTML (재구성용):
   • Simplified HTML 과 동일한 블록 분할 로직을 따르지만, 원본 DOM 의 구조적 충실도를 유지합니다.
   • 모델이 예측한 라벨을 이 시퀀스에 적용하여 최종 콘텐츠를 정밀하게 복원합니다.

나. 모델 및 추론 (Model & Inference)

• 모델: Qwen3-0.6B 기반의 경량 모델 (Dripper-0.6B) 을 사용합니다.
• 작업: 각 HTML 블록에 대해 main(주요 콘텐츠) 또는 other(노이즈) 의 이진 레이블을 예측하는 시퀀스 레이블링 작업으로 수행합니다.
• 제약된 디코딩 (Constrained Decoding): 모델이 JSON 형식 ({"1": "main", "2": "other"}) 을 따르도록 정규식 (Regex) 기반의 제약 디코딩을 적용합니다. 이는 할루시네이션을 방지하고, 모델의 용량을 의미적 판단에만 집중시켜 추론 속도를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 토큰 효율적인 추출 패러다임: 생성형 LLM 대신 경량 SLM 을 활용한 제약된 시퀀스 레이블링 방식을 도입하여, 단일 A100 GPU 에서 초당 3.08 페이지 처리 속도를 달성하면서도 할루시네이션을 제거했습니다.
2. WebMainBench 구축: 7,809 개의 인간이 주석한 웹 페이지 (5,434 개 도메인, 다국어) 로 구성된 엄격한 벤치마크를 공개했습니다. 이는 기존 벤치마크보다 더 정밀한 HTML 태그 수준의 평가 기준을 제공합니다.
3. 하류 작업 (Downstream) 성능 입증: Dripper 로 정제된 630 억 토큰의 코퍼스로 1B 파라미터 모델을 사전 학습 (Pre-training) 한 결과, 기존 휴리스틱 도구로 학습한 모델보다 하류 작업 (일반 지식, 추론, 독해) 에서 유의미한 성능 향상을 보였습니다. 이는 추출 품질이 기초 모델의 성능에 결정적임을 증명합니다.
4. 오픈소스 공개: Dripper-0.6B 모델 가중치, 전체 코드베이스, 그리고 WebMainBench 벤치마크를 공개하여 커뮤니티의 고품질 데이터 구축을 지원합니다.

4. 실험 결과 (Results)

• 성능 비교 (WebMainBench):
  • **Dripper-0.6B (F1: 0.8779)**는 전통적인 휴리스틱 도구인 Trafilatura (F1: 0.6402) 나 magic-html (F1: 0.7138) 을 압도적으로 능가합니다.
  • 거대 상용 모델인 DeepSeek-V3.2 (F1: 0.9098), GPT-5 (F1: 0.9024), Gemini-2.5-Pro (F1: 0.8979) 와 비교했을 때, 0.6B 파라미터 모델이 거의 근접한 성능을 보여주며 효율성과 정확도의 최적 균형을 이룹니다.
  • 특히 복잡한 구조 (Hard difficulty, 포럼, 대화형 콘텐츠) 에서 기존 도구들이 실패하는 경우에도 높은 성능을 유지합니다.
• 계산 효율성:
  • 입력 토큰 길이를 84.4% 줄이고, 생성형 방식 대신 분류 방식으로 전환함으로써 전체 계산 비용 (FLOPs) 을 기존 방식 대비 약 95.6% (22.6 배) 감소시켰습니다.
• 사전 학습 영향:
  • Dripper 로 추출된 데이터로 학습된 1B 모델은 RefinedWeb이나 FineWeb 같은 기존 고품질 코퍼스로 학습된 모델보다 평균 정확도에서 1.08%p 더 높은 성능을 기록했습니다.

5. 의의 및 결론 (Significance)

Dripper 는 웹 콘텐츠 추출 분야에서 휴리스틱의 속도와 LLM 의 의미적 추론 능력 사이의 간극을 성공적으로 메웠습니다.

• 경제성: 거대 모델을 사용하지 않고도 상용 모델 수준의 정확도를 달성하여 대규모 데이터 파이프라인의 비용을 획기적으로 절감합니다.
• 신뢰성: 제약된 디코딩을 통해 생성형 모델의 할루시네이션 문제를 해결하여, 원본 HTML 의 구조와 스타일을 완벽하게 보존한 정밀한 추출을 가능하게 합니다.
• 인프라적 가치: 고품질 데이터 추출이 기초 모델 (Foundation Model) 의 성능을 직접적으로 결정한다는 것을 실증적으로 증명함으로써, 차세대 AI 코퍼스 구축을 위한 핵심 인프라로 자리 잡았습니다.

이 연구는 오픈소스된 Dripper 를 통해 연구자와 개발자들이 고품질의 웹 기반 학습 데이터를 효율적으로 구축할 수 있는 새로운 표준을 제시합니다.