💬 NLP

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

Este artículo presenta ScrapeGraphAI-100k, un conjunto de datos a gran escala y del mundo real de 93.695 eventos de extracción con restricciones de esquema derivados de la telemetría de profesionales, que permite el entrenamiento y la evaluación de modelos de lenguaje grandes en tareas de generación estructurada donde los corpus sintéticos o solo de texto anteriores eran insuficientes.

Autores originales: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Publicado 2026-05-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente, pero a veces excesivamente charlatán (un Modelo de Lenguaje Grande). Le pides que lea una página web desordenada y extraiga detalles específicos, como el precio de un zapato o el autor de un artículo. Quieres la respuesta en una caja perfecta y ordenada (un esquema JSON), no en un párrafo divagante.

El problema es que, aunque tenemos muchos datos sobre cómo estos robots hablan, no tenemos suficientes datos sobre cómo extraen información de sitios web reales cuando se les dan reglas estrictas. La mayoría de los conjuntos de datos existentes son como ejercicios de práctica inventados en un laboratorio; no se parecen a los sitios web desordenados del mundo real que la gente usa realmente.

Presentamos "ScrapeGraphAI-100k".

Piensa en este artículo como la introducción de un manual de entrenamiento masivo y del mundo real para estos robots. Aquí está el desglose en términos sencillos:

1. El "Gimnasio del Mundo Real"

Los autores no inventaron sitios web falsos. Recopilaron 93.695 ejemplos reales de personas usando su software para extraer datos de internet.

La Fuente: Preguntaron a 9 millones de usuarios de su herramienta de código abierto si podían compartir anónimamente lo que estaban haciendo. Aproximadamente 93.000 de esas interacciones se conservaron después de limpiar duplicados y ruido.
La "Cuadrupla": Cada ejemplo en este conjunto de datos es una historia completa:
1. El Contenido: El texto de la página web (convertido a Markdown, como un documento limpio).
2. La Solicitud: El prompt del humano (por ejemplo, "Obtén el precio y la talla").
3. Las Reglas: La "caja" estricta (esquema JSON) que el robot debía rellenar.
4. El Resultado: Lo que el robot escribió realmente como respuesta.

2. La "Trampa de la Complejidad"

Los investigadores analizaron estos ejemplos y encontraron un patrón fascinante, como un letrero de límite de velocidad para robots.

Tareas Simples: Si las reglas (esquema) son simples (como pedir solo un nombre y un precio), los robots son excelentes siguiéndolas.
El Acantilado: A medida que las reglas se vuelven más complejas (más carpetas anidadas, más campos, más lógica de "si/entonces"), los robots comienzan a fallar.
El Hallazgo: Existe un "umbral de fallo" agudo. Una vez que un conjunto de reglas se vuelve demasiado profundo o tiene demasiadas claves, la tasa de éxito cae como una piedra. Es como pedirle a un humano que rellene un formulario con 500 campos; eventualmente, simplemente se rinden o cometen errores.

3. El Experimento "Estudiante vs. Profesor"

Para demostrar que este conjunto de datos es útil, los autores realizaron un pequeño experimento, como un proyecto de feria de ciencias:

El Profesor: Un modelo muy inteligente y costoso (GPT-5-nano) que generó respuestas perfectas para el conjunto de datos.
El Estudiante: Un modelo pequeño y barato (1.7 mil millones de parámetros) que fue "enseñado" usando este nuevo conjunto de datos.
El Resultado: El pequeño estudiante aprendió tan bien de los ejemplos del mundo real que comenzó a comportarse casi tan bien como un modelo mucho más grande y costoso (30 mil millones de parámetros) cuando se trataba de seguir las reglas estrictas.
La Trampa: El estudiante era excelente dibujando el contorno de la caja correctamente (precisión estructural), pero a veces aún luchaba por obtener las palabras exactas dentro de la caja perfectas (corrección semántica).

4. ¿Qué hay dentro de la caja?

Idiomas: Es principalmente inglés y chino tradicional (alrededor del 88% de los datos), cubriendo 18.000 tipos diferentes de "conjuntos de reglas".
Lo que falta: El artículo admite que no incluyeron el código HTML crudo y desordenado de los sitios web (solo la versión de texto limpio) y que aún no tienen un estándar de oro "verificado por humanos" para cada respuesta individual. Están guardando eso para una actualización futura (Versión 2.0).

La Conclusión

Este artículo dice: "Construimos una biblioteca masiva de ejemplos del mundo real donde los robots intentaron seguir reglas estrictas para extraer datos. Descubrimos que los robots se confunden cuando las reglas se vuelven demasiado complejas, pero si entrenas a un robot pequeño con estos datos reales, puede aprender a seguir las reglas casi tan bien como un robot gigante".

Es una herramienta para que los investigadores construyan herramientas de IA mejores, más pequeñas y más eficientes que puedan leer sitios web sin perderse en los detalles.

Resumen Técnico: ScrapeGraphAI-100k

Declaración del Problema

Los modelos de lenguaje grandes (LLM) modernos requieren la capacidad de producir salidas que cumplan con esquemas JSON especificados para tareas críticas como el uso de herramientas, la extracción estructurada y la construcción de bases de conocimiento. A pesar de la centralidad de esta capacidad, la comunidad de investigación carece de un conjunto de datos público y a gran escala que capture la completa "cuádruple de extracción": contenido web no estructurado, prompts en lenguaje natural, esquemas objetivo y salidas resultantes del modelo. Los recursos existentes presentan brechas significativas:

Corpus de pre-entrenamiento (por ejemplo, C4, FineWeb) proporcionan volumen pero eliminan señales estructurales como etiquetas HTML y metadatos jerárquicos durante el preprocesamiento.
Benchmarks de extracción de contenido (por ejemplo, WebMainBench) se centran en aislar el contenido principal del HTML al Markdown, pero no abordan la transformación de ese contenido a esquemas estructurados.
Conjuntos de datos de extracción estructurada (por ejemplo, SWDE, OpenCeres) suelen ser de pequeña escala, estar desactualizados, limitarse al inglés o operar sobre texto limpio en lugar de entradas web crudas.
Benchmarks generativos a menudo dependen de prompts sintéticos o texto limpio, fallando en reflejar la complejidad de las pipelines de producción del mundo real.

En consecuencia, es difícil estudiar la calidad de la extracción de extremo a extremo, los modos de fallo o la escalabilidad de la fiabilidad con la complejidad del esquema bajo distribuciones de entrada realistas.

Metodología

Los autores presentan ScrapeGraphAI-100k, un conjunto de datos derivado del uso en producción real de la biblioteca ScrapeGraphAI.

Recolección de Datos

Fuente: El conjunto de datos proviene de aproximadamente 9 millones de eventos de telemetría con consentimiento opt-in recopilados mediante PostHog durante el segundo y tercer trimestre de 2025. Los usuarios consintieron explícitamente compartir datos de ejecución anonimizados.
Contenido: Cada evento captura el ciclo de vida completo de la extracción: el prompt de entrada, el esquema JSON objetivo, el contenido del sitio web de origen (convertido a Markdown), el LLM específico utilizado y la respuesta generada.
Privacidad: El proceso de recopilación excluye identificadores personales (PII) e identificadores de usuario.

Pipeline de Procesamiento de Datos

Para transformar la telemetría cruda en un recurso de entrenamiento de alta calidad, los autores aplicaron un pipeline de limpieza y equilibrado multi-etapa:

Aplanamiento y Validación: Los eventos se aplanaron en un formato estructurado. Cada respuesta se validó contra su esquema correspondiente utilizando la biblioteca jsonschema-rs. La tasa de validez general en el corpus crudo fue del 93%. Las respuestas inválidas se conservan con una bandera response_is_valid=false para permitir el análisis de modos de fallo.
Identificación de Ruido: Los fallos se categorizaron en errores de LLM aguas arriba (truncamiento, rechazos), fallos en el momento de la obtención (errores HTTP, CAPTCHAS) y contenido no textual (galerías de imágenes).
Métricas de Complejidad: Se calcularon cinco métricas de complejidad estructural para cada esquema: profundidad, recuento de claves, recuento de elementos, complejidad ciclomática y una puntuación compuesta.
Equilibrado y Duplicación: Los datos crudos mostraban un desequilibrio de clases extremo (por ejemplo, dos esquemas para sitios de comercio electrónico chinos representaron ~5 millones de eventos). Los autores agruparon los eventos mediante un hash SHA256 del esquema JSON y aplicaron una estrategia de muestreo que retenía como máximo 5 ejemplos por esquema único. Para garantizar la diversidad, los ejemplos seleccionados debían provenir de dominios raíz distintos.
Corpus Final: El proceso redujo el conjunto de datos de 9 millones de eventos a 93.695 ejemplos equilibrados.

Características del Conjunto de Datos

Escala: 93.695 eventos de extracción.
Idiomas: 15 idiomas nombrados (inglés y chino tradicional cubren el 88% del contenido) más una categoría de "Otros" de cola larga.
Diversidad de Esquemas: Abarca más de 18.000 esquemas únicos.
Distribución de Complejidad: La profundidad del esquema se agrupa alrededor de 5 niveles, pero los recuentos de claves están fuertemente sesgados a la derecha (mediana 37, máximo 3.060). La puntuación de complejidad compuesta muestra una distribución bimodal: el 90% de los esquemas son plantillas rutinarias, mientras que el 10% representa casos complejos extremos (puntuaciones de hasta 7.935).
Tamaños de Respuesta: Distribución de cola pesada que va desde <1 KB hasta casi 1 MB.

Contribuciones Clave

Lanzamiento de ScrapeGraphAI-100k: El primer conjunto de datos de uso real que expone la completa cuádruple de extracción (contenido, prompt, esquema, salida) a gran escala, junto con etiquetas de validación estructural por ejemplo.
Diagnósticos Centrados en Esquemas: La provisión de metadatos de complejidad estructural y etiquetas de validación que exponen umbrales de fallo agudos a medida que aumenta la complejidad de la tarea.
Estudio de Caso en Distilación de Conocimiento: Una demostración de que un modelo de lenguaje pequeño (1.7 mil millones de parámetros) ajustado finamente con estos datos puede rastrear estrechamente la distribución de salida de un modelo docente significativamente más grande (30B-A3B MoE) en cuanto al cumplimiento del esquema.

Resultados y Análisis

Umbrales de Fallo

El análisis revela umbrales de fallo no lineales a medida que crece la complejidad del esquema:

Profundidad: Las tasas de validación caen del 98% al 20% cuando la profundidad del esquema alcanza $\ge$ 7.
Recuento de Claves: Las tasas disminuyen a ~65% cuando los recuentos de claves superan 200.
Puntuación Compuesta: Las tasas caen a ~55% cuando la puntuación de complejidad supera 1.000.
Estos hallazgos sugieren que los LLM manejan la complejidad incremental con gracia hasta alcanzar límites estructurales, después de lo cual los fallos se aceleran rápidamente.

Estudio de Caso de Ajuste Fino

Los autores ajustaron finamente un modelo Qwen3-1.7B utilizando QLoRA en un subconjunto filtrado de los datos (25.244 ejemplos de entrenamiento / 2.808 de prueba). Los objetivos de entrenamiento fueron regenerados por GPT-5-nano para garantizar la consistencia del esquema (pseudo-etiquetas).

Rendimiento: El modelo ajustado finamente de 1.7B logró un Key F1 de 0.8866, que está dentro de 0.005 del modelo de referencia 30B-A3B (0.8915).
Mejora: El modelo ajustado finamente ganó +25.7% en BLEU General sobre la base 1.7B y superó la línea base de 4B en todas las métricas basadas en claves.
Cumplimiento del Esquema: El cumplimiento aumentó de 0.7954 (base) a 0.9167 (ajustado finamente), un aumento absoluto del 15%.
Reducción de Alucinaciones: La generación de claves extra disminuyó significativamente de 2.64 a 0.33 por muestra, superando la línea base 30B-A3B (0.5679).
Limitación: Si bien la precisión estructural mejoró, la extracción de valores (Puntuación de Valor) permaneció más baja (0.4624) en comparación con la 30B-A3B (0.4797), lo que indica que identificar qué campos extraer es más fácil que extraer los valores precisos.

Significado y Afirmaciones

El artículo posiciona a ScrapeGraphAI-100k como un recurso fundamental para cerrar la brecha entre los benchmarks sintéticos y las cargas de trabajo de extracción del mundo real.

Fundamentación en la Realidad: Al emparejar el contenido de página convertido a Markdown con prompts y esquemas reales utilizados en producción, el conjunto de datos permite el entrenamiento y la evaluación que los corpus sintéticos o solo de texto anteriores no podían soportar.
Viabilidad de Modelos Pequeños: El estudio de caso proporciona evidencia preliminar de que fundamentar la generación restringida por esquemas en cargas de trabajo reales de practicantes permite que los modelos pequeños se acerquen a la precisión estructural de los modelos de vanguardia mediante un ajuste fino dirigido.
Análisis de Fallos: La inclusión de respuestas inválidas y metadatos de complejidad en el conjunto de datos permite a los investigadores estudiar sistemáticamente los modos de fallo de extracción (sintácticos, estructurales y semánticos) y predecir fallos basados en la complejidad del esquema.

Los autores señalan que el conjunto de datos es un proxy para las cargas de trabajo de extracción basadas en LLM típicas, actualmente sesgadas hacia esquemas de comercio electrónico y el uso de GPT-4o-mini. Declaran explícitamente que el conjunto de datos no afirma la corrección semántica de las extracciones individuales y que el análisis de HTML/DOM crudo se pospone para la versión 2.0.