💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

Ce papier présente ScrapeGraphAI-100k, un jeu de données à grande échelle et réel de 93 695 événements d'extraction contraints par un schéma, dérivés de la télémétrie des praticiens, qui permet l'entraînement et l'évaluation des grands modèles de langage sur des tâches de génération structurée où les corpus synthétiques ou purement textuels antérieurs étaient insuffisants.

Auteurs originaux : William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Publié 2026-05-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent, mais parfois trop bavard (un Modèle de Langage à Grande Échelle). Vous lui demandez de lire une page web désordonnée et d'extraire des détails spécifiques, comme le prix d'une chaussure ou l'auteur d'un article. Vous voulez la réponse dans un cadre parfait et ordonné (un schéma JSON), et non dans un paragraphe décousu.

Le problème est que, bien que nous disposions de nombreuses données sur la façon dont ces robots parlent, nous n'avons pas assez de données sur la façon dont ils extraient des informations de vrais sites web lorsque vous leur donnez des règles strictes. La plupart des ensembles de données existants sont comme des exercices d'entraînement inventés en laboratoire ; ils ne ressemblent pas aux sites web désordonnés du monde réel que les gens utilisent réellement.

Voici "ScrapeGraphAI-100k".

Considérez ce papier comme l'introduction d'un manuel d'entraînement massif et réel pour ces robots. Voici le détail en termes simples :

1. La "Salle de Sport du Monde Réel"

Les auteurs n'ont pas inventé de faux sites web. Ils ont collecté 93 695 exemples réels de personnes utilisant leur logiciel pour extraire des données d'Internet.

La Source : Ils ont demandé à 9 millions d'utilisateurs de leur outil open-source s'ils pouvaient partager anonymement ce qu'ils faisaient. Environ 93 000 de ces interactions ont été conservées après avoir éliminé les doublons et le bruit.
Le "Quadruplet" : Chaque exemple dans cet ensemble de données est une histoire complète :
1. Le Contenu : Le texte de la page web (converti en Markdown, comme un document propre).
2. La Demande : L'invite de l'humain (par exemple, "Obtenez le prix et la taille").
3. Les Règles : Le "cadre" strict (schéma JSON) que le robot devait remplir.
4. Le Résultat : Ce que le robot a réellement écrit en retour.

2. Le "Piège de la Complexité"

Les chercheurs ont analysé ces exemples et ont découvert un motif fascinant, comme un panneau de limitation de vitesse pour les robots.

Tâches Simples : Si les règles (schéma) sont simples (comme demander juste un nom et un prix), les robots sont excellents pour les suivre.
La Falaise : À mesure que les règles deviennent plus complexes (plus de dossiers imbriqués, plus de champs, plus de logique "si/alors"), les robots commencent à planter.
La Découverte : Il existe un "seuil d'échec" net. Dès qu'un ensemble de règles devient trop profond ou possède trop de clés, le taux de succès chute comme une pierre. C'est comme demander à un humain de remplir un formulaire avec 500 champs ; éventuellement, ils abandonnent ou font des erreurs.

3. L'Expérience "Élève vs Professeur"

Pour prouver que cet ensemble de données est utile, les auteurs ont mené une petite expérience, comme un projet de foire scientifique :

Le Professeur : Un modèle très intelligent et coûteux (GPT-5-nano) qui a généré des réponses parfaites pour l'ensemble de données.
L'Élève : Un modèle minuscule et bon marché (1,7 milliard de paramètres) qui a été "enseigné" en utilisant cet nouvel ensemble de données.
Le Résultat : Le petit élève a appris si bien à partir des exemples du monde réel qu'il a commencé à se comporter presque aussi bien qu'un modèle beaucoup plus grand et plus coûteux (30 milliards de paramètres) lorsqu'il s'agissait de suivre les règles strictes.
Le Bémol : L'élève était excellent pour dessiner correctement le contour du cadre (précision structurelle), mais avait parfois encore du mal à obtenir les mots exacts à l'intérieur du cadre parfaitement justes (exactitude sémantique).

4. Qu'y a-t-il dans le Cadre ?

Langues : C'est principalement de l'anglais et du chinois traditionnel (environ 88 % des données), couvrant 18 000 types différents d'"ensembles de règles".
Ce qui manque : Le papier admet qu'ils n'ont pas inclus le code HTML brut et désordonné des sites web (seulement la version texte propre) et qu'ils n'ont pas encore de norme de référence "vérifiée par l'humain" pour chaque réponse individuelle. Ils réservent cela pour une mise à jour future (Version 2.0).

La Conclusion

Ce papier dit : "Nous avons construit une immense bibliothèque d'exemples du monde réel où des robots ont essayé de suivre des règles strictes pour extraire des données. Nous avons constaté que les robots se perdent lorsque les règles deviennent trop complexes, mais si vous entraînez un petit robot sur ces données réelles, il peut apprendre à suivre les règles presque aussi bien qu'un robot géant."

C'est un outil pour les chercheurs afin de construire de meilleurs outils d'IA, plus petits et plus efficaces, capables de lire des sites web sans se perdre dans les détails.

Résumé Technique : ScrapeGraphAI-100k

Énoncé du Problème

Les grands modèles de langage (LLM) modernes nécessitent la capacité de produire des sorties conformes à des schémas JSON spécifiés pour des tâches critiques telles que l'utilisation d'outils, l'extraction structurée et la construction de bases de connaissances. Malgré la centralité de cette capacité, la communauté de recherche manque d'un ensemble de données public et à grande échelle capturant le « quadruplet d'extraction » complet : contenu web non structuré, invites en langage naturel, schémas cibles et sorties résultantes du modèle. Les ressources existantes souffrent de lacunes significatives :

Les corpus de pré-entraînement (par exemple, C4, FineWeb) fournissent du volume mais éliminent les signaux structurels tels que les balises HTML et les métadonnées hiérarchiques lors du prétraitement.
Les benchmarks d'extraction de contenu (par exemple, WebMainBench) se concentrent sur l'isolement du contenu principal du HTML vers le Markdown, mais ne traitent pas de la mise en correspondance de ce contenu avec des schémas structurés.
Les ensembles de données d'extraction structurée (par exemple, SWDE, OpenCeres) sont souvent de petite échelle, obsolètes, limités à l'anglais, ou fonctionnent sur du texte nettoyé plutôt que sur des entrées web brutes.
Les benchmarks génératifs reposent souvent sur des invites synthétiques ou du texte nettoyé, ne reflétant pas la complexité des pipelines de production réels.

Par conséquent, il est difficile d'étudier la qualité de l'extraction de bout en bout, les modes d'échec ou l'échelle de fiabilité avec la complexité du schéma sous des distributions d'entrée réalistes.

Méthodologie

Les auteurs présentent ScrapeGraphAI-100k, un ensemble de données dérivé de l'utilisation en production réelle de la bibliothèque ScrapeGraphAI.

Collecte de Données

Source : L'ensemble de données provient d'environ 9 millions d'événements de télémétrie avec consentement opt-in collectés via PostHog au cours du deuxième et du troisième trimestre 2025. Les utilisateurs ont explicitement consenti au partage de données d'exécution anonymisées.
Contenu : Chaque événement capture le cycle de vie complet de l'extraction : l'invite d'entrée, le schéma JSON cible, le contenu du site source (converti en Markdown), le LLM spécifique utilisé et la réponse générée.
Vie privée : Le processus de collecte exclut les identifiants personnels (PII) et les identifiants d'utilisateur.

Pipeline de Traitement des Données

Pour transformer la télémétrie brute en une ressource d'entraînement de haute qualité, les auteurs ont appliqué un pipeline de nettoyage et d'équilibrage multi-étapes :

Aplatissement et Validation : Les événements ont été aplatis dans un format structuré. Chaque réponse a été validée par rapport à son schéma correspondant en utilisant la bibliothèque jsonschema-rs. Le taux de validité global dans le corpus brut était de 93 %. Les réponses invalides sont conservées avec un indicateur response_is_valid=false pour permettre l'analyse des modes d'échec.
Identification du Bruit : Les échecs ont été catégorisés en erreurs de LLM en amont (troncature, refus), échecs au moment de la récupération (erreurs HTTP, CAPTCHAS) et contenu non textuel (galeries d'images).
Métriques de Complexité : Cinq métriques de complexité structurelle ont été calculées pour chaque schéma : profondeur, nombre de clés, nombre d'éléments, complexité cyclomatique et un score composite.
Équilibrage et Déduplication : Les données brutes présentaient un déséquilibre de classes extrême (par exemple, deux schémas pour des sites de commerce électronique chinois représentaient environ 5 millions d'événements). Les auteurs ont regroupé les événements par hachage SHA256 du schéma JSON et appliqué une stratégie d'échantillonnage retenant au maximum 5 exemples par schéma unique. Pour assurer la diversité, les exemples sélectionnés devaient provenir de domaines racines distincts.
Corpus Final : Le processus a réduit l'ensemble de données de 9 millions d'événements à 93 695 exemples équilibrés.

Caractéristiques de l'Ensemble de Données

Échelle : 93 695 événements d'extraction.
Langues : 15 langues nommées (l'anglais et le chinois traditionnel couvrent 88 % du contenu) plus une catégorie « Autre » à longue traîne.
Diversité des Schémas : Couvre plus de 18 000 schémas uniques.
Distribution de Complexité : La profondeur des schémas se concentre autour de 5 niveaux, mais les nombres de clés sont fortement biaisés à droite (médiane 37, maximum 3 060). Le score de complexité composite montre une distribution bimodale : 90 % des schémas sont des modèles courants, tandis que 10 % représentent des cas limites complexes (scores allant jusqu'à 7 935).
Tailles de Réponse : Distribution à queue lourde allant de <1 Ko à près de 1 Mo.

Contributions Clés

Publication de ScrapeGraphAI-100k : Le premier ensemble de données d'utilisation réelle exposant le quadruplet complet d'extraction (contenu, invite, schéma, sortie) à grande échelle, couplé à des étiquettes de validation structurelle par exemple.
Diagnostics Centrés sur le Schéma : La fourniture de métadonnées de complexité structurelle et d'étiquettes de validation qui révèlent des seuils d'échec nets à mesure que la complexité de la tâche augmente.
Étude de Cas sur la Distillation de Connaissances : Une démonstration qu'un petit modèle de langage (1,7 milliard de paramètres) affiné sur ces données peut suivre de près la distribution de sortie d'un modèle enseignant significativement plus grand (30B-A3B MoE) en ce qui concerne la conformité au schéma.

Résultats et Analyse

Seuils d'Échec

L'analyse révèle des seuils d'échec non linéaires à mesure que la complexité du schéma augmente :

Profondeur : Les taux de validation chutent de 98 % à 20 % lorsque la profondeur du schéma atteint $\ge$ 7.
Nombre de Clés : Les taux diminuent à environ 65 % lorsque le nombre de clés dépasse 200.
Score Composite : Les taux tombent à environ 55 % lorsque le score de complexité dépasse 1 000.
Ces résultats suggèrent que les LLM gèrent la complexité incrémentielle avec grâce jusqu'à ce qu'ils atteignent des limites structurelles, après quoi les échecs s'accélèrent rapidement.

Étude de Cas sur l'Affinage

Les auteurs ont affiné un modèle Qwen3-1.7B en utilisant QLoRA sur un sous-ensemble filtré des données (25 244 exemples d'entraînement / 2 808 exemples de test). Les cibles d'entraînement ont été régénérées par GPT-5-nano pour assurer la cohérence du schéma (pseudo-étiquettes).

Performance : Le modèle 1,7B affiné a atteint un F1 de clé de 0,8866, ce qui est à 0,005 du modèle de référence 30B-A3B (0,8915).
Amélioration : Le modèle affiné a gagné +25,7 % en BLEU global par rapport au 1,7B de base et a surpassé la base 4B sur toutes les métriques basées sur les clés.
Conformité au Schéma : La conformité est passée de 0,7954 (base) à 0,9167 (affiné), soit une augmentation absolue de 15 %.
Réduction des Hallucinations : La génération de clés supplémentaires a considérablement diminué, passant de 2,64 à 0,33 par échantillon, surpassant la base 30B-A3B (0,5679).
Limitation : Bien que la précision structurelle se soit améliorée, l'extraction de valeurs (Score de Valeur) est restée inférieure (0,4624) par rapport au 30B-A3B (0,4797), indiquant qu'identifier quels champs extraire est plus facile que d'extraire les valeurs précises.

Signification et Revendications

L'article positionne ScrapeGraphAI-100k comme une ressource fondamentale pour combler le fossé entre les benchmarks synthétiques et les charges de travail d'extraction réelles.

Ancrage dans la Réalité : En associant le contenu de page converti en Markdown aux invites et schémas réels utilisés en production, l'ensemble de données permet un entraînement et un benchmarking que les corpus synthétiques ou uniquement textuels précédents ne pouvaient pas soutenir.
Viabilité des Petits Modèles : L'étude de cas fournit des preuves préliminaires que l'ancrage de la génération contrainte par schéma dans les charges de travail réelles des praticiens permet aux petits modèles d'approcher la précision structurelle des modèles de pointe grâce à un affinage ciblé.
Analyse des Échecs : L'inclusion de réponses invalides et de métadonnées de complexité dans l'ensemble de données permet aux chercheurs d'étudier systématiquement les modes d'échec de l'extraction (syntaxique, structurel et sémantique) et de prédire les échecs en fonction de la complexité du schéma.

Les auteurs notent que l'ensemble de données est un proxy pour les charges de travail d'extraction typiques basées sur les LLM, actuellement biaisées vers les schémas de commerce électronique et l'utilisation de GPT-4o-mini. Ils déclarent explicitement que l'ensemble de données ne revendique pas la correction sémantique des extractions individuelles et que l'analyse brute HTML/DOM est reportée à la version 2.0.