💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

本論文は、実務者のテレメトリに由来する93,695件のスキーマ制約付き抽出イベントから構成される大規模な実世界データセット「ScrapeGraphAI-100k」を紹介するものであり、これにより従来の合成データやテキストのみのコーパスでは不十分であった構造化生成タスクにおける大規模言語モデルの学習とベンチマークが可能となる。

原著者： William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、ときどき話しすぎなロボットアシスタント（大規模言語モデル）がいると想像してください。あなたはそのロボットに、ごちゃごちゃしたウェブページを読み、靴の価格や記事の執筆者といった特定の情報を抜き出すよう指示します。そして、答えは散漫な段落ではなく、完璧で整った箱（JSON スキーマ）の形で欲しいのです。

問題は、これらのロボットがどのように「話す」かについては大量のデータがある一方で、厳格なルールを与えられた際に実際のウェブサイトからどのように情報を「抽出」するかについてのデータが不足していることです。既存のデータセットのほとんどは、研究室で考案された練習ドリルのようなもので、人々が実際に利用しているごちゃごちゃした現実世界のウェブサイトとは似ていません。

「ScrapeGraphAI-100k」の登場です。

この論文は、これらのロボットのための大規模な現実世界のトレーニングマニュアルの紹介と捉えてください。以下に、わかりやすく要点をまとめます。

1. 「現実世界のジム」

著者たちは架空のウェブサイトを作成したわけではありません。彼らは、インターネットからデータをスクレイピングするために人々がソフトウェアを使用している93,695 件の実例を収集しました。

ソース: 彼らはオープンソースツールの 900 万人のユーザーに対し、匿名で何を行っていたかを共有できるかどうかを尋ねました。重複やノイズを除去した後、約 93,000 件のやり取りが保持されました。
「4 項組」: このデータセットのすべての例は、完全な物語です。
1. コンテンツ: ウェブページのテキスト（クリーンなドキュメントのような Markdown 形式に変換されたもの）。
2. リクエスト: 人間のプロンプト（例：「価格とサイズを取得せよ」）。
3. ルール: ロボットが埋めなければならない厳格な「箱」（JSON スキーマ）。
4. 結果: ロボットが実際に返答した内容。

2. 「複雑性の罠」

研究者たちはこれらの例を分析し、ロボットにとっての速度制限標識のような興味深いパターンを発見しました。

単純なタスク: ルール（スキーマ）が単純な場合（名前と価格だけを求めるなど）、ロボットはルールに従うのが得意です。
崖: ルールが複雑になるにつれて（ネストされたフォルダが増え、フィールドが増え、「if/then」のロジックが増える）、ロボットはクラッシュし始めます。
発見: 明確な「失敗の閾値」が存在します。ルールセットが深くなりすぎたり、キーが多すぎたりすると、成功率は石のように急落します。これは、人間に 500 項目のフォームを記入させるようなもので、最終的には諦めたり、間違いを犯したりします。

3. 「生徒対教師」実験

このデータセットの有効性を証明するために、著者たちは科学フェアのプロジェクトのような小さな実験を行いました。

教師: データセットに対して完璧な回答を生成する、非常に賢く高価なモデル（GPT-5-nano）。
生徒: この新しいデータセットを用いて「教育」された、小さく安価なモデル（17 億パラメータ）。
結果: この小さな生徒は、現実世界の例から非常に良く学び、厳格なルールに従う能力において、はるかに大きく高価なモデル（300 億パラメータ）とほぼ同等に振る舞うようになりました。
注意点: 生徒は箱の「輪郭」を正確に描くこと（構造的な正確性）については優れていましたが、箱の中の「正確な言葉」を完璧にすること（意味的な正確性）については、まだ時々苦労していました。

4. 箱の中には何が入っているか？

言語: 主に英語と繁体字中国語（データの約 88%）で、18,000 種類もの異なる「ルールセット」を網羅しています。
不足しているもの: 論文は、ウェブサイトの生々しくごちゃごちゃした HTML コード（クリーンなテキスト版のみ）を含めておらず、またすべての回答に対する「人間による検証済み」のゴールドスタンダードをまだ持っていないことを認めています。それは将来のアップデート（バージョン 2.0）で保存される予定です。

結論

この論文はこう述べています。「私たちは、ロボットがデータを抽出するために厳格なルールに従おうとした現実世界の例の膨大なライブラリを構築しました。私たちは、ルールが複雑になりすぎるとロボットが混乱することを見出しましたが、もし小さなロボットをこの現実のデータで訓練すれば、巨大なロボットとほぼ同等にルールに従うことを学べることを示しました。」

これは、詳細に迷い込むことなくウェブサイトを読み取れる、より良く、小さく、効率的な AI ツールを構築するための研究者向けのツールです。

技術的サマリー：ScrapeGraphAI-100k

問題定義

現代の大規模言語モデル（LLM）は、ツール利用、構造化抽出、知識ベース構築などの重要なタスクにおいて、指定された JSON スキーマに準拠した出力を生成する能力を必要とする。この能力の重要性にもかかわらず、研究コミュニティには、非構造化ウェブコンテンツ、自然言語プロンプト、ターゲットスキーマ、および生成されたモデル出力という完全な「抽出四つ組」を捉える大規模な公開データセットが存在しない。既存のリソースには以下の重大な欠陥がある：

事前学習コーパス（例：C4、FineWeb）はボリュームを提供するが、前処理中に HTML タグや階層的メタデータなどの構造的シグナルを剥奪している。
コンテンツ抽出ベンチマーク（例：WebMainBench）は、HTML から Markdown へのメインコンテンツの抽出に焦点を当てているが、そのコンテンツを構造化スキーマにマッピングする課題には対処していない。
構造化抽出データセット（例：SWDE、OpenCeres）は、小規模、旧式、英語限定、または生ウェブ入力ではなくクリーンテキストを対象としていることが多い。
生成ベンチマークは、合成プロンプトやクリーンテキストに依存することが多く、現実世界の生産パイプラインの複雑さを反映できていない。

その結果、現実的な入力分布の下で、エンドツーエンドの抽出品質、失敗モード、またはスキーマ複雑性に対する信頼性のスケーリングを研究することが困難である。

手法

著者は、ScrapeGraphAI ライブラリの現実の生産環境での使用から派生したデータセット「ScrapeGraphAI-100k」を導入する。

データ収集

ソース: このデータセットは、2025 年第 2 四半期から第 3 四半期にかけて PostHog を通じて収集された約 900 万件のオプトイン型テレメトリイベントに由来する。ユーザーは、匿名化された実行データの共有に対して明示的に同意した。
内容: 各イベントは、入力プロンプト、ターゲット JSON スキーマ、ソースウェブサイトのコンテンツ（Markdown へ変換済み）、使用された特定の LLM、および生成された応答という、完全な抽出ライフサイクルを記録する。
プライバシー: 収集プロセスでは、個人識別情報（PII）とユーザー ID を除外している。

データ処理パイプライン

生テレメトリを高品質な学習リソースに変換するために、著者は多段階のクリーニングおよびバランス調整パイプラインを適用した：

平坦化と検証: イベントを構造化形式に平坦化した。すべての応答を jsonschema-rs ライブラリを使用して対応するスキーマに対して検証した。生コーパス全体の妥当性率は 93% であった。無効な応答は、失敗モード分析を可能にするため、response_is_valid=false フラグと共に保持される。
ノイズの特定: 失敗は、アップストリームの LLM エラー（切り捨て、拒否）、フェッチ時の失敗（HTTP エラー、CAPTCHA）、および非テキストコンテンツ（画像ギャラリー）に分類された。
複雑性メトリクス: 各スキーマに対して、深さ、キー数、要素数、循環的複雑性、および合成スコアという 5 つの構造的複雑性メトリクスが計算された。
バランス調整と重複排除: 生データは極端なクラス不均衡を示していた（例：中国の電子商取引サイトの 2 つのスキーマが約 500 万件のイベントを占めていた）。著者は JSON スキーマの SHA256 ハッシュでイベントをグループ化し、一意のスキーマあたり最大 5 例を保持するサンプリング戦略を適用した。多様性を確保するため、選択された例は異なるルートドメインから由来することが要求された。
最終コーパス: このプロセスにより、データセットは 900 万件のイベントから93,695 件のバランス調整された例に削減された。

データセット特性

規模: 93,695 件の抽出イベント。
言語: 15 の命名言語（英語と繁体字中国語がコンテンツの 88% を占める）および長い尾部の「その他」カテゴリ。
スキーマ多様性: 18,000 以上の一意のスキーマにまたがる。
複雑性分布: スキーマの深さは 5 レベル付近に集積するが、キー数は強く右に歪んでおり（中央値 37、最大 3,060）、合成複雑性スコアは二峰性分布を示す：スキーマの 90% はルーチンテンプレートであり、10% は複雑なエッジケース（スコア最大 7,935）を表す。
応答サイズ: 1 KB 未満からほぼ 1 MB までの重い尾部分布。

主要な貢献

ScrapeGraphAI-100k のリリース: 大規模で、コンテンツ、プロンプト、スキーマ、出力という完全な抽出四つ組を露呈し、例ごとの構造的検証ラベルを付与した、初の実使用データセット。
スキーマ中心の診断: タスクの複雑性が増加するにつれて急激な失敗閾値を露呈させる構造的複雑性メタデータと検証ラベルの提供。
知識蒸留のケーススタディ: このデータでファインチューニングされた小規模言語モデル（17 億パラメータ）が、スキーマ準拠に関して、はるかに大規模な教師モデル（30B-A3B MoE）の出力分布を密接に追跡できることを示す実証。

結果と分析

失敗閾値

分析は、スキーマ複雑性の増大に伴う非線形の失敗閾値を明らかにする：

深さ: スキーマの深さが $\ge$ 7 に達すると、検証率は 98% から 20% に低下する。
キー数: キー数が 200 を超えると、率は約 65% に低下する。
合成スコア: 複雑性スコアが 1,000 を超えると、率は約 55% に低下する。
これらの知見は、LLM が構造的限界に達するまで段階的な複雑性を優雅に処理するが、その後、失敗が急速に加速することを示唆している。

ファインチューニングのケーススタディ

著者は、フィルタリングされたデータサブセット（25,244 件のトレーニング例 / 2,808 件のテスト例）を使用して QLoRA によりQwen3-1.7Bモデルをファインチューニングした。トレーニングターゲットは、スキーマの一貫性を確保するためにGPT-5-nanoによって再生成された（疑似ラベル）。

パフォーマンス: ファインチューニングされた 17 億パラメータモデルは、Key F1 0.8866を達成し、30B-A3B 参照モデル（0.8915）との差は 0.005 以内であった。
改善: ファインチューニングされたモデルは、ベースの 17 億パラメータモデルに対して全体 BLEU で +25.7% 向上し、すべてのキーベースのメトリクスで 40 億パラメータのベースラインを上回った。
スキーマ準拠: 準拠率はベース（0.7954）からファインチューニング後（0.9167）に上昇し、絶対値で 15% 増加した。
幻覚の削減: 余分なキーの生成は、サンプルあたり 2.64 から 0.33 に大幅に減少し、30B-A3B ベースライン（0.5679）を上回った。
限界: 構造的精度は向上したが、値の抽出（Value Score）は 30B-A3B（0.4797）と比較して依然として低く（0.4624）、どのフィールドを抽出するかを特定することの方が、正確な値を抽出することよりも容易であることを示している。

意義と主張

本論文は、ScrapeGraphAI-100k を、合成ベンチマークと現実世界の抽出ワークロードの間のギャップを埋めるための基盤リソースとして位置づけている。

現実への根拠: Markdown へ変換されたページコンテンツを、実際の生産環境で使用されたプロンプトおよびスキーマと組み合わせることで、従来の合成またはテキストのみのコーパスではサポートできなかったトレーニングとベンチマークを可能にする。
小規模モデルの実用性: このケーススタディは、スキーマ制約付き生成を実際の専門家ワークロードに根ざすことで、小規模モデルがターゲットとしたファインチューニングを通じて最先端モデルの構造的精度に近づけることができるという予備的証拠を提供する。
失敗分析: 無効な応答と複雑性メタデータの含みにより、研究者は構造的、構文的、および意味的な抽出失敗モードを体系的に研究し、スキーマ複雑性に基づいて失敗を予測することを可能にする。

著者は、このデータセットが LLM ベースの抽出ワークロードの典型的な代理であり、現在、電子商取引スキーマと GPT-4o-mini の使用に偏っていることに言及している。また、個々の抽出の意味的妥当性を主張するものではなく、生 HTML/DOM 分析はバージョン 2.0 に委ねられると明記している。