기술 요약: ScrapeGraphAI-100k

문제 정의

현대적인 대규모 언어 모델 (LLM) 은 도구 사용, 구조화된 추출, 지식베이스 구축과 같은 핵심 작업에 대해 지정된 JSON 스키마에 부합하는 출력을 생성할 수 있는 능력이 필요합니다. 이러한 능력의 중요성에도 불구하고, 연구 커뮤니티는 비구조화된 웹 콘텐츠, 자연어 프롬프트, 대상 스키마, 그리고 결과적인 모델 출력이라는 완전한 '추출 4 중주 (extraction four-tuple)'를 포착하는 공개 대규모 데이터셋을 보유하고 있지 않습니다. 기존 자원들은 다음과 같은 심각한 결함을 안고 있습니다:

• 사전 학습 코퍼스(예: C4, FineWeb) 는 양을 제공하지만, 전처리 과정에서 HTML 태그와 계층적 메타데이터와 같은 구조적 신호를 제거합니다.
• 콘텐츠 추출 벤치마크(예: WebMainBench) 는 HTML 에서 마크다운으로 주요 콘텐츠를 분리하는 데 중점을 두지만, 해당 콘텐츠를 구조화된 스키마에 매핑하는 문제는 다루지 않습니다.
• 구조화된 추출 데이터셋(예: SWDE, OpenCeres) 은 종종 규모가 작고, 구식이며, 영어로만 제한되거나, 원시 웹 입력이 아닌 정제된 텍스트를 기반으로 작동합니다.
• 생성형 벤치마크는 종종 합성 프롬프트나 정제된 텍스트에 의존하여 실제 생산 파이프라인의 복잡성을 반영하지 못합니다.

따라서 현실적인 입력 분포 하에서 종단 간 추출 품질, 실패 모드, 또는 스키마 복잡성에 따른 신뢰성 확장을 연구하기 어렵습니다.

방법론

저자들은 ScrapeGraphAI 라이브러리의 실제 생산 환경 사용에서 파생된 ScrapeGraphAI-100k라는 데이터셋을 소개합니다.

데이터 수집

• 출처: 이 데이터셋은 2025 년 2 분기~3 분기 동안 PostHog 를 통해 수집된 약 900 만 건의 옵트인 (opt-in) 원격 진단 이벤트에서 비롯되었습니다. 사용자들은 익명화된 실행 데이터를 공유하는 것에 명시적으로 동의했습니다.
• 콘텐츠: 각 이벤트는 입력 프롬프트, 대상 JSON 스키마, 소스 웹사이트 콘텐츠 (마크다운으로 변환됨), 사용된 특정 LLM, 그리고 생성된 응답을 포함한 전체 추출 라이프사이클을 포착합니다.
• 개인정보 보호: 수집 과정에는 개인 식별 정보 (PII) 와 사용자 ID 가 제외됩니다.

데이터 처리 파이프라인

원시 원격 진단 데이터를 고품질 학습 자원으로 변환하기 위해 저자들은 다단계 정제 및 균형 조정 파이프라인을 적용했습니다:

1. 평탄화 및 유효성 검사: 이벤트는 구조화된 형식으로 평탄화되었습니다. 모든 응답은 jsonschema-rs 라이브러리를 사용하여 해당 스키마에 대해 유효성 검사를 받았습니다. 원시 코퍼스 내의 전체 유효성 비율은 93% 였습니다. 무효 응답은 실패 모드 분석을 가능하게 하기 위해 response_is_valid=false 플래그와 함께 유지됩니다.
2. 노이즈 식별: 실패는 상류 LLM 오류 (잘라내기, 거부), 가져오기 시간 실패 (HTTP 오류, CAPTCHA), 그리고 비텍스트 콘텐츠 (이미지 갤러리) 로 분류되었습니다.
3. 복잡성 지표: 각 스키마에 대해 다섯 가지 구조적 복잡성 지표 (깊이, 키 수, 요소 수, 순환 복잡도, 그리고 종합 점수) 가 계산되었습니다.
4. 균형 조정 및 중복 제거: 원시 데이터는 극심한 클래스 불균형을 보였습니다 (예: 중국 전자상거래 사이트용 두 가지 스키마가 약 500 만 건의 이벤트를 차지함). 저자들은 JSON 스키마의 SHA256 해시로 이벤트를 그룹화하고 고유한 스키마당 최대 5 개의 예제만 유지하는 샘플링 전략을 적용했습니다. 다양성을 보장하기 위해 선택된 예제는 서로 다른 루트 도메인에서 유래해야 했습니다.
5. 최종 코퍼스: 이 과정을 통해 데이터셋은 900 만 건의 이벤트에서 93,695 개의 균형 잡힌 예제로 축소되었습니다.

데이터셋 특성

• 규모: 93,695 개의 추출 이벤트.
• 언어: 15 개 명명된 언어 (영어와 중국어 간체가 콘텐츠의 88% 를 차지함) 와 긴 꼬리 '기타' 범주.
• 스키마 다양성: 18,000 개 이상의 고유 스키마에 걸쳐 있음.
• 복잡성 분포: 스키마 깊이는 5 수준 주변에 군집하지만, 키 수는 heavily right-skewed(중위수 37, 최대 3,060) 입니다. 종합 복잡성 점수는 이모달 분포를 보입니다: 스키마의 90% 는 일상적인 템플릿인 반면, 10% 는 복잡한 엣지 케이스 (점수 최대 7,935) 를 나타냅니다.
• 응답 크기: 1KB 미만에서 거의 1MB 에 이르기까지 heavy-tailed 분포를 보입니다.

주요 기여

1. ScrapeGraphAI-100k 출시: 규모 있게 전체 추출 4 중주 (콘텐츠, 프롬프트, 스키마, 출력) 를 노출하는 최초의 실제 사용 데이터셋이며, 예제별 구조적 유효성 검사 레이블이 함께 제공됩니다.
2. 스키마 중심 진단: 작업 복잡성이 증가함에 따라 급격한 실패 임계값을 드러내는 구조적 복잡성 메타데이터 및 유효성 검사 레이블 제공.
3. 지식 증류 사례 연구: 이 데이터로 미세 조정된 작은 언어 모델 (17 억 파라미터) 이 스키마 준수와 관련하여 훨씬 더 큰 교사 모델 (30B-A3B MoE) 의 출력 분포를 밀접하게 추적할 수 있음을 보여주는 사례 연구.

결과 및 분석

실패 임계값

분석은 스키마 복잡성이 증가함에 따라 비선형적인 실패 임계값을 드러냅니다:

• 깊이: 스키마 깊이가 $\ge$ 7 에 도달하면 유효성 검사 비율이 98% 에서 20% 로 떨어집니다.
• 키 수: 키 수가 200 을 초과하면 비율이 약 65% 로 감소합니다.
• 종합 점수: 복잡성 점수가 1,000 을 초과하면 비율이 약 55% 로 떨어집니다.
  이러한 발견은 LLM 이 구조적 한계에 부딪힐 때까지 점진적인 복잡성을 우아하게 처리하지만, 그 이후에는 실패가 급격히 가속화된다는 것을 시사합니다.

미세 조정 사례 연구

저자들은 필터링된 데이터 하위 집합 (25,244 개의 훈련 / 2,808 개의 테스트 예제) 에서 QLoRA 를 사용하여 Qwen3-1.7B 모델을 미세 조정했습니다. 훈련 목표는 스키마 일관성을 보장하기 위해 GPT-5-nano에 의해 재생성되었습니다 (pseudo-labels).

• 성능: 미세 조정된 17 억 파라미터 모델은 Key F1 0.8866을 달성했으며, 이는 30B-A3B 참조 모델 (0.8915) 과 0.005 이내의 차이입니다.
• 개선: 미세 조정된 모델은 기본 17 억 파라미터 모델 대비 전체 BLEU 에서 +25.7% 를 획득했으며, 모든 키 기반 지표에서 4B 기준선을 능가했습니다.
• 스키마 준수: 준수율은 0.7954(기본) 에서 0.9167(미세 조정) 로 상승하여 15% 의 절대적 증가를 보였습니다.
• 환각 감소: 추가 키 생성은 샘플당 2.64 에서 0.33 으로 크게 감소하여 30B-A3B 기준선 (0.5679) 을 능가했습니다.
• 한계: 구조적 정확도는 개선되었으나, 값 추출 (Value Score) 은 30B-A3B(0.4797) 에 비해 여전히 낮았습니다 (0.4624). 이는 어떤 필드를 추출할지 식별하는 것이 정확한 값을 추출하는 것보다 쉽다는 것을 나타냅니다.

중요성 및 주장

이 논문은 ScrapeGraphAI-100k 를 합성 벤치마크와 실제 세계 추출 작업 부하 사이의 간극을 메우는 기초 자원으로 위치시킵니다.

• 현실성 기반: 마크다운으로 변환된 페이지 콘텐츠와 실제 생산에서 사용된 프롬프트 및 스키마를 짝지어 제공함으로써, 이전의 합성 또는 텍스트 전용 코퍼스가 지원할 수 없었던 학습 및 벤치마킹을 가능하게 합니다.
• 소규모 모델의 타당성: 이 사례 연구는 실제 실무자 작업 부하에 기반한 스키마 제약 생성을 통해 소규모 모델이 표적 미세 조정을 통해 최첨단 모델의 구조적 정확도에 접근할 수 있음을 보여주는 예비 증거를 제공합니다.
• 실패 분석: 이 데이터셋은 무효 응답과 복잡성 메타데이터를 포함하여 연구자들이 추출 실패 모드 (구문적, 구조적, 의미론적) 를 체계적으로 연구하고 스키마 복잡성에 기반하여 실패를 예측할 수 있게 합니다.

저자들은 이 데이터셋이 전형적인 LLM 기반 추출 작업 부하의 대리자이며, 현재 전자상거래 스키마와 GPT-4o-mini 사용에 치우쳐 있다고 지적합니다. 또한 이 데이터셋은 개별 추출의 의미론적 정확성을 주장하지 않으며, 원시 HTML/DOM 분석은 2.0 버전으로 이관된다고 명시합니다.