💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

Questo articolo presenta ScrapeGraphAI-100k, un dataset su larga scala e del mondo reale composto da 93.695 eventi di estrazione vincolati a schemi, derivati dalla telemetria degli operatori, che consente l'addestramento e la valutazione di modelli linguistici di grandi dimensioni su compiti di generazione strutturata, ambiti in cui i precedenti corpus sintetici o basati esclusivamente su testo si sono rivelati insufficienti.

Autori originali: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Pubblicato 2026-05-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente, ma a volte eccessivamente chiacchierone (un Modello Linguistico di grandi dimensioni). Gli chiedi di leggere una pagina web disordinata ed estrarre dettagli specifici, come il prezzo di una scarpa o l'autore di un articolo. Vuoi la risposta in una scatola perfetta e ordinata (uno schema JSON), non in un paragrafo sconnesso.

Il problema è che, sebbene disponiamo di molti dati su come questi robot parlano, non abbiamo abbastanza dati su come estraggano informazioni da siti web reali quando si danno loro regole rigide. La maggior parte dei dataset esistenti sono come esercitazioni create in laboratorio: non assomigliano ai siti web disordinati e del mondo reale che le persone utilizzano effettivamente.

Ecco "ScrapeGraphAI-100k".

Pensa a questo articolo come all'introduzione di un massiccio manuale di formazione del mondo reale per questi robot. Ecco la spiegazione in termini semplici:

1. La "Palestra del Mondo Reale"

Gli autori non hanno inventato siti web finti. Hanno raccolto 93.695 esempi reali di persone che utilizzavano il loro software per estrarre dati da internet.

La Fonte: Hanno chiesto a 9 milioni di utenti del loro strumento open-source se potevano condividere in modo anonimo ciò che stavano facendo. Circa 93.000 di queste interazioni sono state conservate dopo aver eliminato duplicati e rumore.
La "Quadrupla": Ogni esempio in questo dataset è una storia completa:
1. Il Contenuto: Il testo della pagina web (convertito in Markdown, come un documento pulito).
2. La Richiesta: Il prompt dell'utente (ad esempio, "Ottieni il prezzo e la taglia").
3. Le Regole: La "scatola" rigida (schema JSON) che il robot doveva compilare.
4. Il Risultato: Ciò che il robot ha effettivamente scritto in risposta.

2. La "Trappola della Complessità"

I ricercatori hanno analizzato questi esempi e hanno trovato un pattern affascinante, come un cartello di limite di velocità per i robot.

Compiti Semplici: Se le regole (schema) sono semplici (come chiedere solo un nome e un prezzo), i robot sono bravi a seguirle.
Il Dirupo: Man mano che le regole diventano più complesse (più cartelle annidate, più campi, più logica "se/allora"), i robot iniziano a bloccarsi.
La Scoperta: Esiste una netta "soglia di fallimento". Una volta che un insieme di regole diventa troppo profondo o ha troppe chiavi, il tasso di successo crolla come una pietra. È come chiedere a un umano di compilare un modulo con 500 campi; alla fine, si arrendono o commettono errori.

3. L'Esperimento "Allievo vs. Maestro"

Per dimostrare l'utilità di questo dataset, gli autori hanno condotto un piccolo esperimento, come un progetto per una fiera scientifica:

Il Maestro: Un modello molto intelligente e costoso (GPT-5-nano) che ha generato risposte perfette per il dataset.
L'Allievo: Un modello minuscolo ed economico (1,7 miliardi di parametri) che è stato "insegnato" utilizzando questo nuovo dataset.
Il Risultato: Il piccolo allievo ha imparato così bene dagli esempi del mondo reale che ha iniziato ad agire quasi quanto un modello molto più grande e costoso (30 miliardi di parametri) quando si trattava di seguire le regole rigide.
Il Rovescio della Medaglia: L'allievo era eccellente nel disegnare correttamente il contorno della scatola (accuratezza strutturale), ma a volte faceva ancora fatica a ottenere le parole esatte all'interno della scatola perfette (correttezza semantica).

4. Cosa C'è Dentro la Scatola?

Lingue: È prevalentemente inglese e cinese tradizionale (circa l'88% dei dati), coprendo 18.000 diversi tipi di "insiemi di regole".
Cosa Manca: L'articolo ammette che non hanno incluso il codice HTML grezzo e disordinato dei siti web (solo la versione di testo pulita) e non dispongono ancora di uno standard aureo "verificato da umani" per ogni singola risposta. Stanno riservando ciò per un aggiornamento futuro (Versione 2.0).

La Conclusione

Questo articolo dice: "Abbiamo costruito una vasta libreria di esempi del mondo reale in cui i robot hanno cercato di seguire regole rigide per estrarre dati. Abbiamo scoperto che i robot si confondono quando le regole diventano troppo complesse, ma se addestri un piccolo robot su questi dati reali, può imparare a seguire le regole quasi quanto un robot gigante".

È uno strumento per i ricercatori per costruire strumenti AI migliori, più piccoli ed efficienti che possano leggere i siti web senza perdersi nei dettagli.

Riepilogo Tecnico: ScrapeGraphAI-100k

Enunciato del Problema

I moderni modelli linguistici su larga scala (LLM) richiedono la capacità di produrre output conformi a schemi JSON specificati per compiti critici come l'utilizzo di strumenti, l'estrazione strutturata e la costruzione di basi di conoscenza. Nonostante la centralità di questa capacità, la comunità di ricerca manca di un dataset pubblico su larga scala che catturi l'intera "quadrupla di estrazione": contenuti web non strutturati, prompt in linguaggio naturale, schemi target e output risultanti del modello. Le risorse esistenti presentano lacune significative:

Corpus di pre-addestramento (ad es. C4, FineWeb) forniscono volume ma rimuovono segnali strutturali come tag HTML e metadati gerarchici durante il pre-processing.
Benchmark di estrazione di contenuti (ad es. WebMainBench) si concentrano sull'isolamento del contenuto principale dall'HTML al Markdown, ma non affrontano la mappatura di tale contenuto verso schemi strutturati.
Dataset di estrazione strutturata (ad es. SWDE, OpenCeres) sono spesso su piccola scala, obsoleti, limitati all'inglese o operano su testo pulito piuttosto che su input web grezzi.
Benchmark generativi spesso si basano su prompt sintetici o testo pulito, non riflettendo la complessità delle pipeline di produzione reali.

Di conseguenza, è difficile studiare la qualità dell'estrazione end-to-end, le modalità di fallimento o la scalabilità dell'affidabilità con la complessità dello schema sotto distribuzioni di input realistiche.

Metodologia

Gli autori introducono ScrapeGraphAI-100k, un dataset derivato dall'uso produttivo reale della libreria ScrapeGraphAI.

Raccolta Dati

Fonte: Il dataset origina da circa 9 milioni di eventi di telemetria con consenso esplicito raccolti tramite PostHog durante il secondo e terzo trimestre del 2025. Gli utenti hanno acconsentito esplicitamente a condividere dati di esecuzione anonimizzati.
Contenuto: Ogni evento cattura l'intero ciclo di vita dell'estrazione: il prompt di input, lo schema JSON target, il contenuto del sito web sorgente (convertito in Markdown), l'LLM specifico utilizzato e la risposta generata.
Privacy: Il processo di raccolta esclude identificatori personali (PII) e ID utente.

Pipeline di Elaborazione Dati

Per trasformare la telemetria grezza in una risorsa di addestramento di alta qualità, gli autori hanno applicato una pipeline di pulizia e bilanciamento multistadio:

Appiattimento e Validazione: Gli eventi sono stati appiattiti in un formato strutturato. Ogni risposta è stata validata rispetto al proprio schema corrispondente utilizzando la libreria jsonschema-rs. Il tasso di validità complessivo nel corpus grezzo era del 93%. Le risposte non valide sono state mantenute con un flag response_is_valid=false per abilitare l'analisi delle modalità di fallimento.
Identificazione del Rumore: I fallimenti sono stati categorizzati in errori LLM a monte (troncamento, rifiuti), fallimenti al momento del recupero (errori HTTP, CAPTCHA) e contenuti non testuali (gallerie di immagini).
Metriche di Complessità: Sono state calcolate cinque metriche di complessità strutturale per ogni schema: profondità, conteggio delle chiavi, conteggio degli elementi, complessità ciclomatica e un punteggio composito.
Bilanciamento e Deduplicazione: I dati grezzi presentavano uno squilibrio di classe estremo (ad es., due schemi per siti di e-commerce cinesi hanno rappresentato circa 5 milioni di eventi). Gli autori hanno raggruppato gli eventi tramite un hash SHA256 dello schema JSON e hanno applicato una strategia di campionamento che mantiene al massimo 5 esempi per schema unico. Per garantire la diversità, gli esempi selezionati dovevano provenire da domini radice distinti.
Corpus Finale: Il processo ha ridotto il dataset da 9 milioni di eventi a 93.695 esempi bilanciati.

Caratteristiche del Dataset

Scala: 93.695 eventi di estrazione.
Lingue: 15 lingue nominate (inglese e cinese tradizionale coprono l'88% dei contenuti) più una categoria "Altro" a coda lunga.
Diversità degli Schemi: Copre oltre 18.000 schemi unici.
Distribuzione della Complessità: La profondità dello schema si concentra intorno a 5 livelli, ma i conteggi delle chiavi sono fortemente skewati a destra (mediana 37, massimo 3.060). Il punteggio di complessità composito mostra una distribuzione bimodale: il 90% degli schemi sono template routinari, mentre il 10% rappresenta casi limite complessi (punteggi fino a 7.935).
Dimensioni delle Risposte: Distribuzione a coda pesante che va da <1 KB a quasi 1 MB.

Contributi Chiave

Rilascio di ScrapeGraphAI-100k: Il primo dataset di uso reale che espone l'intera quadrupla di estrazione (contenuto, prompt, schema, output) su larga scala, accompagnato da etichette di validazione strutturale per esempio.
Diagnostica Centrata sullo Schema: La fornitura di metadati di complessità strutturale e etichette di validazione che rivelano soglie di fallimento nette all'aumentare della complessità del compito.
Studio di Caso sulla Distillazione della Conoscenza: Una dimostrazione che un modello linguistico di piccole dimensioni (1,7 miliardi di parametri) fine-tunato su questi dati può tracciare da vicino la distribuzione di output di un modello insegnante significativamente più grande (30B-A3B MoE) per quanto riguarda la conformità allo schema.

Risultati e Analisi

Soglie di Fallimento

L'analisi rivela soglie di fallimento non lineari all'aumentare della complessità dello schema:

Profondità: I tassi di validazione scendono dal 98% al 20% quando la profondità dello schema raggiunge $\ge$ 7.
Conteggio delle Chiavi: I tassi scendono a circa il 65% quando il conteggio delle chiavi supera 200.
Punteggio Composito: I tassi scendono a circa il 55% quando il punteggio di complessità supera 1.000.
Questi risultati suggeriscono che gli LLM gestiscono la complessità incrementale con grazia fino a raggiungere limiti strutturali, dopo i quali i fallimenti accelerano rapidamente.

Studio di Caso sul Fine-Tuning

Gli autori hanno eseguito il fine-tuning di un modello Qwen3-1.7B utilizzando QLoRA su un sottoinsieme filtrato dei dati (25.244 esempi di addestramento / 2.808 esempi di test). Gli obiettivi di addestramento sono stati rigenerati da GPT-5-nano per garantire la coerenza dello schema (pseudo-etichette).

Prestazioni: Il modello 1.7B fine-tunato ha raggiunto un Key F1 di 0,8866, che è entro 0,005 dal modello di riferimento 30B-A3B (0,8915).
Miglioramento: Il modello fine-tunato ha guadagnato +25,7% in BLEU complessivo rispetto alla base 1.7B e ha superato la baseline 4B su tutte le metriche basate sulle chiavi.
Conformità allo Schema: La conformità è passata da 0,7954 (base) a 0,9167 (fine-tunato), un aumento assoluto del 15%.
Riduzione delle Allucinazioni: La generazione di chiavi extra è diminuita significativamente da 2,64 a 0,33 per campione, superando la baseline 30B-A3B (0,5679).
Limitazione: Sebbene la precisione strutturale sia migliorata, l'estrazione dei valori (Value Score) è rimasta inferiore (0,4624) rispetto alla 30B-A3B (0,4797), indicando che identificare quali campi estrarre è più facile che estrarre i valori precisi.

Significato e Affermazioni

Il documento posiziona ScrapeGraphAI-100k come una risorsa fondamentale per colmare il divario tra benchmark sintetici e carichi di lavoro di estrazione reali.

Radicamento nella Realtà: Accoppiando il contenuto della pagina convertito in Markdown con effettivi prompt e schemi utilizzati in produzione, il dataset abilita addestramento e benchmarking che i precedenti corpus sintetici o solo testuali non potevano supportare.
Fattibilità dei Modelli Piccoli: Lo studio di caso fornisce prove preliminari che radicare la generazione vincolata agli schemi in carichi di lavoro reali dei praticanti permette ai modelli piccoli di avvicinarsi alla precisione strutturale dei modelli all'avanguardia attraverso un fine-tuning mirato.
Analisi dei Fallimenti: L'inclusione di risposte non valide e metadati di complessità nel dataset permette ai ricercatori di studiare sistematicamente le modalità di fallimento dell'estrazione (sintattiche, strutturali e semantiche) e prevedere i fallimenti in base alla complessità dello schema.

Gli autori notano che il dataset è un proxy per i tipici carichi di lavoro di estrazione basati su LLM, attualmente sbilanciati verso schemi di e-commerce e l'utilizzo di GPT-4o-mini. Affermano esplicitamente che il dataset non rivendica la correttezza semantica delle singole estrazioni e che l'analisi HTML/DOM grezza è rimandata alla versione 2.0.