💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

Dit artikel introduceert ScrapeGraphAI-100k, een grootschalige, real-world dataset van 93.695 schema-gedwongen extractie-gebeurtenissen afgeleid van praktijkgerelateerde telemetrie, die het trainen en benchmarken van grote taalmodellen op gestructureerde generatietaken mogelijk maakt waar eerdere synthetische of alleen-tekst corpora ontoereikend waren.

Oorspronkelijke auteurs: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms overdreven kletsende robotassistent hebt (een Large Language Model). Je vraagt het om een rommelige webpagina te lezen en specifieke details eruit te halen, zoals de prijs van een schoen of de auteur van een artikel. Je wilt het antwoord in een perfect, netjes vakje (een JSON-schema), niet in een zwetsend alinea.

Het probleem is dat we hoewel we veel data hebben over hoe deze robots praten, niet genoeg data hebben over hoe ze informatie extraheren uit echte websites wanneer je ze strikte regels geeft. De meeste bestaande datasets zijn als oefenopdrachten die in een lab zijn bedacht; ze lijken niet op de rommelige, realistische websites die mensen daadwerkelijk gebruiken.

Maak kennis met "ScrapeGraphAI-100k."

Beschouw dit artikel als de introductie van een enorme, realistische trainingshandleiding voor deze robots. Hier is de uitleg in eenvoudige termen:

1. De "Realistische Sportschool"

De auteurs hebben geen nepwebsites bedacht. Ze verzamelden 93.695 echte voorbeelden van mensen die hun software gebruikten om data van het internet te scrapen.

De Bron: Ze vroegen 9 miljoen gebruikers van hun open-source tool of ze anoniem konden delen wat ze deden. Ongeveer 93.000 van die interacties werden behouden na het opschonen van duplicaten en ruis.
De "Vier-tupel": Elk voorbeeld in deze dataset is een compleet verhaal:
1. De Inhoud: De tekst van de webpagina (omgezet naar Markdown, zoals een schoon document).
2. Het Verzoek: De prompt van de mens (bijvoorbeeld: "Haal de prijs en maat op").
3. De Regels: Het strikte "vakje" (JSON-schema) dat de robot moest invullen.
4. Het Resultaat: Wat de robot daadwerkelijk terugschreef.

2. De "Complexiteitsval"

De onderzoekers analyseerden deze voorbeelden en vonden een fascinerend patroon, als een snelheidslimietbord voor robots.

Eenvoudige Taken: Als de regels (schema) simpel zijn (zoals vragen om alleen een naam en prijs), zijn de robots uitstekend in het volgen ervan.
De Afgrond: Naarmate de regels complexer worden (meer geneste mappen, meer velden, meer "als/dan"-logica), beginnen de robots te crashen.
De Bevinding: Er is een scherpe "faalgrens". Zodra een regelset te diep wordt of te veel sleutels heeft, daalt het succespercentage als een steen. Het is alsof je een mens vraagt een formulier in te vullen met 500 velden; uiteindelijk geven ze het op of maken ze fouten.

3. Het "Leerling vs. Leraar"-Experiment

Om te bewijzen dat deze dataset nuttig is, voerden de auteurs een klein experiment uit, als een sciencefair-project:

De Leraar: Een zeer slim, duur model (GPT-5-nano) dat perfecte antwoorden genereerde voor de dataset.
De Leerling: Een klein, goedkoop model (1,7 miljard parameters) dat "onderwezen" werd met deze nieuwe dataset.
Het Resultaat: De kleine leerling leerde zo goed van de realistische voorbeelden dat het begon te handelen bijna even goed als een veel groter, duurder model (30 miljard parameters) als het ging om het volgen van de strikte regels.
De Haken: De leerling was uitstekend in het correct tekenen van de omlijning van het vakje (structurele nauwkeurigheid), maar had soms nog steeds moeite om de exacte woorden binnenin het vakje perfect te krijgen (semantische correctheid).

4. Wat zit er in het vakje?

Talen: Het is voornamelijk Engels en Traditioneel Chinees (ongeveer 88% van de data), met 18.000 verschillende soorten "regelsets".
Wat Ontbreekt: Het artikel geeft toe dat ze de ruwe, rommelige HTML-code van de websites niet hebben opgenomen (alleen de schone tekstversie) en dat ze nog geen "door mensen geverifieerde" gouden standaard hebben voor elk enkel antwoord. Ze bewaren dat voor een toekomstige update (Versie 2.0).

De Conclusie

Dit artikel zegt: "We hebben een enorme bibliotheek gebouwd van realistische voorbeelden waarbij robots probeerden strikte regels te volgen om data te extraheren. We hebben ontdekt dat robots in de war raken wanneer regels te complex worden, maar als je een kleine robot traint op deze echte data, kan het leren de regels bijna even goed te volgen als een gigantische robot."

Het is een hulpmiddel voor onderzoekers om betere, kleinere en efficiëntere AI-tools te bouwen die websites kunnen lezen zonder zich te verliezen in de details.

Technische Samenvatting: ScrapeGraphAI-100k

Probleemstelling

Moderne grote taalmodellen (LLM's) vereisen de mogelijkheid om output te genereren die voldoet aan gespecificeerde JSON-schema's voor kritieke taken zoals tool-gebruik, gestructureerde extractie en kennisbankconstructie. Ondanks het centrale belang van deze capaciteit, ontbreekt het de onderzoeksgemeenschap aan een publieke, grootschalige dataset die de volledige 'extractie-vierling' vastlegt: ongestructureerde webcontent, prompts in natuurlijke taal, doel-schema's en de resulterende modeloutput. Bestaande bronnen vertonen aanzienlijke lacunes:

Pre-training corpora (bijv. C4, FineWeb) bieden volume, maar verwijderen structurele signalen zoals HTML-tags en hiërarchische metadata tijdens de voorverwerking.
Benchmarks voor contentextractie (bijv. WebMainBench) richten zich op het isoleren van hoofdcontent van HTML naar Markdown, maar adresseren niet het toewijzen van die content aan gestructureerde schema's.
Datasets voor gestructureerde extractie (bijv. SWDE, OpenCeres) zijn vaak kleinschalig, verouderd, beperkt tot het Engels, of werken met schone tekst in plaats van ruwe webinput.
Generatieve benchmarks vertrouwen vaak op synthetische prompts of schone tekst, en geven niet de complexiteit weer van productiepijplijnen in de echte wereld.

Consequenterwijs is het moeilijk om end-to-end extractiekwaliteit, faalmodi of de schaalbaarheid van betrouwbaarheid met schema-complexiteit te bestuderen onder realistische inputdistributies.

Methodologie

De auteurs introduceren ScrapeGraphAI-100k, een dataset afgeleid van real-world productiegebruik van de ScrapeGraphAI-bibliotheek.

Dataverzameling

Bron: De dataset is afkomstig van ongeveer 9 miljoen opt-in telemetrie-evenementen verzameld via PostHog gedurende Q2–Q3 2025. Gebruikers hebben expliciet toestemming gegeven om geanonimiseerde uitvoeringsdata te delen.
Inhoud: Elk evenement vangt de volledige extractiecyclus op: de input-prompt, het doel-JSON-schema, de bronwebsite-content (geconverteerd naar Markdown), de specifieke gebruikte LLM en de gegenereerde respons.
Privacy: Het verzamelproces sluit persoonlijke identificatiegegevens (PII) en gebruikers-ID's uit.

Data-verwerkingspijplijn

Om de ruwe telemetrie om te zetten in een hoogwaardige trainingsbron, pasten de auteurs een meerstaps reinigings- en balanceringspijplijn toe:

Vlakken en Validatie: Evenementen werden vlak gemaakt tot een gestructureerd formaat. Elke respons werd gevalideerd tegen het bijbehorende schema met de jsonschema-rs-bibliotheek. Het algehele validiteitspercentage in het ruwe corpus was 93%. Ongeldige responsen worden behouden met een response_is_valid=false-vlag om analyse van faalmodi mogelijk te maken.
Identificatie van Ruis: Falen werd gecategoriseerd in upstream LLM-fouten (afkapping, weigeringen), fetch-tijd fouten (HTTP-fouten, CAPTCHA's) en niet-tekstuele content (afbeeldinggalerijen).
Complexiteitsmetrieken: Vijf structurele complexiteitsmetrieken werden berekend voor elk schema: diepte, aantal sleutels, aantal elementen, cyclomatische complexiteit en een samengestelde score.
Balanceren en Deduplicatie: De ruwe data vertoonde extreme klassenonevenwichtigheid (bijv. twee schema's voor Chinese e-commerce sites waren goed voor ~5 miljoen evenementen). De auteurs groepeerden evenementen op basis van een SHA256-hash van het JSON-schema en pasten een bemonsteringsstrategie toe waarbij maximaal 5 voorbeelden per uniek schema werden behouden. Om diversiteit te waarborgen, moesten geselecteerde voorbeelden afkomstig zijn van verschillende root-domeinen.
Eindcorpus: Het proces reduceerde de dataset van 9 miljoen evenementen tot 93.695 gebalanceerde voorbeelden.

Datasetkenmerken

Schaal: 93.695 extractie-evenementen.
Talen: 15 benoemde talen (Engels en Traditioneel Chinees vormen 88% van de content) plus een lange-staart-categorie 'Overig'.
Schema-diversiteit: Omvat meer dan 18.000 unieke schema's.
Complexiteitsdistributie: Schema-diepte clusteren rond 5 niveaus, maar aantallen sleutels zijn sterk rechts-scheef (mediaan 37, maximum 3.060). De samengestelde complexiteitsscore toont een bimodale distributie: 90% van de schema's zijn routine-sjablonen, terwijl 10% complexe randgevallen vertegenwoordigen (scores tot 7.935).
Responsgroottes: Zwaarstaartdistributie variërend van <1 KB tot bijna 1 MB.

Belangrijkste Bijdragen

Publicatie van ScrapeGraphAI-100k: De eerste dataset voor real-gebruik die de volledige extractie-vierling (content, prompt, schema, output) blootlegt op schaal, gekoppeld aan validatielabels per voorbeeld voor structuur.
Schema-gerichte Diagnostiek: De verstrekking van metadata voor structurele complexiteit en validatielabels die scherpe faaldrempels blootleggen naarmate taakcomplexiteit toeneemt.
Casestudie in Kennisdistillatie: Een demonstratie dat een klein taalmodel (1,7 miljard parameters), fijngestemd op deze data, de outputdistributie van een aanzienlijk groter leraar-model (30B-A3B MoE) nauwkeurig kan volgen wat betreft schema-conformiteit.

Resultaten en Analyse

Faaldrempels

De analyse toont niet-lineaire faaldrempels naarmate schema-complexiteit groeit:

Diepte: Validatiepercentages dalen van 98% naar 20% wanneer schema-diepte $\ge$ 7 bereikt.
Aantal Sleutels: Percentages dalen tot ~65% wanneer het aantal sleutels 200 overschrijdt.
Samengestelde Score: Percentages dalen tot ~55% wanneer de complexiteitsscore 1.000 overschrijdt.
Deze bevindingen suggereren dat LLM's incrementele complexiteit vlot hanteren totdat ze structurele limieten bereiken, waarna fouten snel versnellen.

Casestudie Fijnstemming

De auteurs hebben een Qwen3-1.7B-model fijngestemd met QLoRA op een gefilterde subset van de data (25.244 trainings- / 2.808 testvoorbeelden). De trainingsdoelen werden opnieuw gegenereerd door GPT-5-nano om schema-consistentie te waarborgen (pseudo-labels).

Prestatie: Het fijngestemde 1,7B-model behaalde een Key F1 van 0,8866, wat binnen 0,005 ligt van het 30B-A3B referentiemodel (0,8915).
Verbetering: Het fijngestemde model won +25,7% in Overall BLEU ten opzichte van de basis 1,7B en overtrof de 4B-baseline op alle op sleutels gebaseerde metrieken.
Schema-Compliance: Compliance steeg van 0,7954 (basis) naar 0,9167 (fijngestemd), een absoluut toename van 15%.
Hallucinatiereductie: Extra sleutelgeneratie daalde significant van 2,64 naar 0,33 per steekproef, presterend beter dan de 30B-A3B-baseline (0,5679).
Beperking: Hoewel structurele nauwkeurigheid verbeterde, bleef waarde-extractie (Value Score) lager (0,4624) in vergelijking met de 30B-A3B (0,4797), wat aangeeft dat het identificeren van welke velden moeten worden geëxtraheerd gemakkelijker is dan het extraheren van de precieze waarden.

Betekenis en Aanspraken

Het artikel positioneert ScrapeGraphAI-100k als een fundamentele bron om de kloof te overbruggen tussen synthetische benchmarks en real-world extractieworkloads.

Verankering in Realiteit: Door Markdown-geconverteerde paginainhoud te koppelen aan daadwerkelijke prompts en schema's die in productie worden gebruikt, maakt de dataset training en benchmarking mogelijk die eerdere synthetische of alleen-tekst corpora niet konden ondersteunen.
Leefbaarheid van Kleine Modellen: De casestudie biedt voorlopig bewijs dat het verankeren van schema-gedwongen generatie in real-world practitioner workloads kleine modellen in staat stelt om via gerichte fijnstemming de structurele nauwkeurigheid van frontier-modellen te benaderen.
Foutanalyse: De opname van ongeldige responsen en complexiteitsmetadata in de dataset stelt onderzoekers in staat om systematisch extractiefalenmodi (syntactisch, structureel en semantisch) te bestuderen en fouten te voorspellen op basis van schema-complexiteit.

De auteurs merken op dat de dataset een proxy is voor typische op LLM gebaseerde extractieworkloads, momenteel scheefgetrokken naar e-commerce-schema's en gebruik van GPT-4o-mini. Ze stellen expliciet dat de dataset geen semantische correctheid van individuele extracties claimt en dat ruwe HTML/DOM-analyse wordt uitgesteld naar versie 2.0.