💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

Este artigo apresenta o ScrapeGraphAI-100k, um conjunto de dados em larga escala e do mundo real contendo 93.695 eventos de extração com restrições de esquema, derivados de telemetria de profissionais, que viabiliza o treinamento e a avaliação de modelos de linguagem grandes em tarefas de geração estruturada onde corpora sintéticos ou apenas textuais anteriores eram insuficientes.

Autores originais: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Publicado 2026-05-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robótico muito inteligente, mas às vezes excessivamente falante (um Modelo de Linguagem Grande). Você pede a ele para ler uma página da web bagunçada e extrair detalhes específicos, como o preço de um sapato ou o autor de um artigo. Você quer a resposta em uma caixa perfeita e organizada (um esquema JSON), não em um parágrafo prolixo.

O problema é que, embora tenhamos muitos dados sobre como esses robôs falam, não temos dados suficientes sobre como eles extraem informações de sites reais quando você lhes dá regras estritas. A maioria dos conjuntos de dados existentes são como exercícios de prática criados em laboratório — eles não se parecem com os sites bagunçados do mundo real que as pessoas realmente usam.

Apresentamos o "ScrapeGraphAI-100k".

Pense neste artigo como a introdução de um manual de treinamento massivo e do mundo real para esses robôs. Aqui está a explicação em termos simples:

1. A "Academia do Mundo Real"

Os autores não criaram sites falsos. Eles coletaram 93.695 exemplos reais de pessoas usando seu software para extrair dados da internet.

A Fonte: Eles pediram a 9 milhões de usuários de sua ferramenta de código aberto se podiam compartilhar anonimamente o que estavam fazendo. Cerca de 93.000 dessas interações foram mantidas após a limpeza de duplicatas e ruídos.
A "Quadrupla": Cada exemplo neste conjunto de dados é uma história completa:
1. O Conteúdo: O texto da página da web (convertido para Markdown, como um documento limpo).
2. O Pedido: O prompt do humano (por exemplo, "Obtenha o preço e o tamanho").
3. As Regras: A "caixa" estrita (esquema JSON) que o robô teve que preencher.
4. O Resultado: O que o robô realmente escreveu de volta.

2. A "Armadilha da Complexidade"

Os pesquisadores analisaram esses exemplos e encontraram um padrão fascinante, como um sinal de limite de velocidade para robôs.

Tarefas Simples: Se as regras (esquema) são simples (como pedir apenas um nome e um preço), os robôs são ótimos em segui-las.
O Penhasco: À medida que as regras ficam mais complexas (mais pastas aninhadas, mais campos, mais lógica "se/então"), os robôs começam a falhar.
A Descoberta: Existe um "limiar de falha" agudo. Assim que um conjunto de regras fica muito profundo ou tem muitas chaves, a taxa de sucesso cai como uma pedra. É como pedir a um humano para preencher um formulário com 500 campos; eventualmente, eles desistem ou cometem erros.

3. O Experimento "Aluno vs. Professor"

Para provar que este conjunto de dados é útil, os autores realizaram um pequeno experimento, como um projeto de feira de ciências:

O Professor: Um modelo muito inteligente e caro (GPT-5-nano) que gerou respostas perfeitas para o conjunto de dados.
O Aluno: Um modelo minúsculo e barato (1,7 bilhão de parâmetros) que foi "ensinado" usando este novo conjunto de dados.
O Resultado: O pequeno aluno aprendeu tão bem com os exemplos do mundo real que começou a agir quase tão bem quanto um modelo muito maior e mais caro (30 bilhões de parâmetros) quando se tratava de seguir as regras estritas.
O Problema: O aluno era ótimo em desenhar o contorno da caixa corretamente (precisão estrutural), mas às vezes ainda tinha dificuldade em obter as palavras exatas dentro da caixa perfeitas (correção semântica).

4. O Que Há Dentro da Caixa?

Idiomas: É principalmente inglês e chinês tradicional (cerca de 88% dos dados), cobrindo 18.000 tipos diferentes de "conjuntos de regras".
O Que Faltou: O artigo admite que não incluíram o código HTML bruto e bagunçado dos sites (apenas a versão de texto limpa) e não têm um padrão "verificado por humanos" de ouro para cada resposta ainda. Eles estão reservando isso para uma atualização futura (Versão 2.0).

A Conclusão

Este artigo diz: "Construímos uma biblioteca massiva de exemplos do mundo real onde robôs tentaram seguir regras estritas para extrair dados. Descobrimos que os robôs ficam confusos quando as regras ficam muito complexas, mas se você treinar um robô pequeno nesses dados reais, ele pode aprender a seguir as regras quase tão bem quanto um robô gigante."

É uma ferramenta para pesquisadores construírem ferramentas de IA melhores, menores e mais eficientes que podem ler sites sem se perder nos detalhes.

Resumo Técnico: ScrapeGraphAI-100k

Declaração do Problema

Os modelos de linguagem grandes (LLMs) modernos exigem a capacidade de produzir saídas que conformem a esquemas JSON especificados para tarefas críticas, como uso de ferramentas, extração estruturada e construção de bases de conhecimento. Apesar da centralidade dessa capacidade, a comunidade de pesquisa carece de um conjunto de dados público e em grande escala que capture a completa "quadrupla de extração": conteúdo web não estruturado, prompts em linguagem natural, esquemas-alvo e as saídas resultantes do modelo. Os recursos existentes apresentam lacunas significativas:

Corpos de pré-treinamento (por exemplo, C4, FineWeb) fornecem volume, mas removem sinais estruturais como tags HTML e metadados hierárquicos durante o pré-processamento.
Benchmarks de extração de conteúdo (por exemplo, WebMainBench) focam no isolamento do conteúdo principal do HTML para Markdown, mas não abordam o mapeamento desse conteúdo para esquemas estruturados.
Conjuntos de dados de extração estruturada (por exemplo, SWDE, OpenCeres) são frequentemente de pequena escala, desatualizados, restritos ao inglês ou operam sobre texto limpo em vez de entradas web brutas.
Benchmarks generativos frequentemente dependem de prompts sintéticos ou texto limpo, falhando em refletir a complexidade dos pipelines de produção do mundo real.

Consequentemente, é difícil estudar a qualidade da extração de ponta a ponta, os modos de falha ou a escalabilidade da confiabilidade com a complexidade do esquema sob distribuições de entrada realistas.

Metodologia

Os autores introduzem o ScrapeGraphAI-100k, um conjunto de dados derivado do uso de produção real da biblioteca ScrapeGraphAI.

Coleta de Dados

Fonte: O conjunto de dados origina-se de aproximadamente 9 milhões de eventos de telemetria com consentimento, coletados via PostHog durante o segundo e terceiro trimestres de 2025. Os usuários consentiram explicitamente em compartilhar dados de execução anonimizados.
Conteúdo: Cada evento captura o ciclo de vida completo da extração: o prompt de entrada, o esquema JSON-alvo, o conteúdo do site de origem (convertido para Markdown), o LLM específico utilizado e a resposta gerada.
Privacidade: O processo de coleta exclui identificadores pessoais (PII) e IDs de usuário.

Pipeline de Processamento de Dados

Para transformar a telemetria bruta em um recurso de treinamento de alta qualidade, os autores aplicaram um pipeline de limpeza e balanceamento multiestágio:

Achatamento e Validação: Os eventos foram achatados em um formato estruturado. Cada resposta foi validada contra seu esquema correspondente usando a biblioteca jsonschema-rs. A taxa de validade geral no corpus bruto foi de 93%. Respostas inválidas são mantidas com uma flag response_is_valid=false para permitir a análise de modos de falha.
Identificação de Ruído: As falhas foram categorizadas em erros de LLM a montante (truncamento, recusas), falhas no momento da busca (erros HTTP, CAPTCHAs) e conteúdo não textual (galerias de imagens).
Métricas de Complexidade: Cinco métricas de complexidade estrutural foram computadas para cada esquema: profundidade, contagem de chaves, contagem de elementos, complexidade ciclomática e uma pontuação composta.
Balanceamento e Deduplicação: Os dados brutos exibiam desequilíbrio de classe extremo (por exemplo, dois esquemas para sites de comércio eletrônico chinês representaram ~5 milhões de eventos). Os autores agruparam eventos por um hash SHA256 do esquema JSON e aplicaram uma estratégia de amostragem retendo no máximo 5 exemplos por esquema único. Para garantir diversidade, os exemplos selecionados foram obrigados a originar-se de domínios raiz distintos.
Corpus Final: O processo reduziu o conjunto de dados de 9 milhões de eventos para 93.695 exemplos balanceados.

Características do Conjunto de Dados

Escala: 93.695 eventos de extração.
Idiomas: 15 idiomas nomeados (Inglês e Chinês Tradicional cobrem 88% do conteúdo) mais uma categoria de cauda longa "Outros".
Diversidade de Esquemas: Abrange mais de 18.000 esquemas únicos.
Distribuição de Complexidade: A profundidade do esquema agrupa-se em torno de 5 níveis, mas as contagens de chaves são fortemente enviesadas para a direita (mediana 37, máximo 3.060). A pontuação composta de complexidade mostra uma distribuição bimodal: 90% dos esquemas são modelos rotineiros, enquanto 10% representam casos complexos de borda (pontuações até 7.935).
Tamanhos de Resposta: Distribuição de cauda pesada variando de <1 KB a quase 1 MB.

Contribuições Principais

Lançamento do ScrapeGraphAI-100k: O primeiro conjunto de dados de uso real expondo a completa quadrupla de extração (conteúdo, prompt, esquema, saída) em escala, acoplado a rótulos de validação estrutural por exemplo.
Diagnósticos Centrados em Esquema: A provisão de metadados de complexidade estrutural e rótulos de validação que expõem limiares de falha agudos à medida que a complexidade da tarefa aumenta.
Estudo de Caso em Distilação de Conhecimento: Uma demonstração de que um modelo de linguagem pequeno (1,7 bilhão de parâmetros) ajustado finamente nesses dados pode rastrear de perto a distribuição de saída de um modelo professor significativamente maior (30B-A3B MoE) em relação à conformidade com o esquema.

Resultados e Análise

Limiares de Falha

A análise revela limiares de falha não lineares à medida que a complexidade do esquema cresce:

Profundidade: As taxas de validação caem de 98% para 20% quando a profundidade do esquema atinge $\ge$ 7.
Contagem de Chaves: As taxas declinam para ~65% quando as contagens de chaves excedem 200.
Pontuação Composta: As taxas caem para ~55% quando a pontuação de complexidade excede 1.000.
Essas descobertas sugerem que os LLMs lidam com complexidade incremental de forma graciosa até atingir limites estruturais, após os quais as falhas aceleram rapidamente.

Estudo de Caso de Ajuste Fino

Os autores ajustaram finamente um modelo Qwen3-1.7B usando QLoRA em um subconjunto filtrado dos dados (25.244 exemplos de treinamento / 2.808 exemplos de teste). Os alvos de treinamento foram regenerados pelo GPT-5-nano para garantir consistência do esquema (pseudo-rótulos).

Desempenho: O modelo ajustado finamente de 1,7B alcançou um Key F1 de 0,8866, que está dentro de 0,005 do modelo de referência 30B-A3B (0,8915).
Melhoria: O modelo ajustado finamente ganhou +25,7% em BLEU Geral sobre a base 1,7B e superou a linha de base de 4B em todas as métricas baseadas em chaves.
Conformidade com Esquema: A conformidade subiu de 0,7954 (base) para 0,9167 (ajustado finamente), um aumento absoluto de 15%.
Redução de Alucinações: A geração extra de chaves caiu significativamente de 2,64 para 0,33 por amostra, superando a linha de base 30B-A3B (0,5679).
Limitação: Embora a precisão estrutural tenha melhorado, a extração de valores (Value Score) permaneceu menor (0,4624) em comparação com o 30B-A3B (0,4797), indicando que identificar quais campos extrair é mais fácil do que extrair os valores precisos.

Significado e Alegações

O artigo posiciona o ScrapeGraphAI-100k como um recurso fundamental para fechar a lacuna entre benchmarks sintéticos e cargas de trabalho de extração do mundo real.

Fundamentação na Realidade: Ao acoplar conteúdo de página convertido para Markdown com prompts e esquemas reais usados em produção, o conjunto de dados permite treinamento e benchmarking que corpos sintéticos ou apenas de texto anteriores não podiam suportar.
Viabilidade de Modelos Pequenos: O estudo de caso fornece evidências preliminares de que fundamentar a geração restrita a esquemas em cargas de trabalho reais de praticantes permite que modelos pequenos se aproximem da precisão estrutural de modelos de fronteira através de ajuste fino direcionado.
Análise de Falhas: A inclusão de respostas inválidas e metadados de complexidade no conjunto de dados permite que pesquisadores estudem sistematicamente os modos de falha na extração (sintáticos, estruturais e semânticos) e prevejam falhas com base na complexidade do esquema.

Os autores observam que o conjunto de dados é um proxy para cargas de trabalho típicas de extração baseadas em LLM, atualmente enviesado para esquemas de comércio eletrônico e uso do GPT-4o-mini. Eles afirmam explicitamente que o conjunto de dados não reivindica correção semântica de extrações individuais e que a análise bruta de HTML/DOM é adiada para a versão 2.0.