Resumen Técnico: WCXB – Una Benchmark de Extracción de Contenido Web Multi-Tipo

Declaración del Problema

La extracción de contenido web —el proceso de aislar el contenido principal de una página del relleno circundante (navegación, anuncios, pies de página)— es un prerrequisito crítico para la indexación de búsqueda, la generación aumentada por recuperación (RAG), la construcción de conjuntos de datos de PLN y el entrenamiento de modelos de lenguaje grandes (LLM). A pesar de su importancia, el progreso en este campo ha estado limitado por las restricciones de las benchmarks de evaluación existentes. Los conjuntos de datos actuales suelen ser pequeños (100–800 páginas), restringidos casi exclusivamente a artículos de noticias, o basados en estructuras HTML de hace más de una década.

Crucialmente, las benchmarks existentes no tienen en cuenta la diversidad estructural de la web moderna. Un rastreador web encuentra páginas de producto con especificaciones estructuradas, foros con publicaciones de usuarios anidadas, documentación con bloques de código y páginas de servicio con secciones de contenido distribuidas. Las heurísticas optimizadas para la extracción de artículos fallan predeciblemente en estos otros tipos, pero ninguna benchmark existente evalúa el rendimiento de extracción a través de estas categorías estructurales distintas. Este sesgo "solo artículos" oscurece brechas de rendimiento significativas y puntos ciegos en los sistemas de extracción actuales.

Metodología

El Conjunto de Datos WCXB

Los autores presentan la Benchmark de Extracción de Contenido Web (WCXB), un conjunto de datos que comprende 2,008 páginas web de 1,613 dominios únicos. El conjunto de datos se divide en un conjunto de desarrollo de 1,497 páginas y un conjunto de prueba retenido de 511 páginas, con distribuciones de tipos de página coincidentes para garantizar la validación de la generalización.

Taxonomía de Tipos de Página:
A diferencia de trabajos anteriores que clasifican las páginas por contenido semántico, WCXB define siete tipos de página basados en características estructurales HTML que dictan la estrategia de extracción:

1. Artículo: Contenedor de contenido único con párrafos secuenciales.
2. Foro: Múltiples publicaciones de usuarios con controles de votación y metadatos.
3. Producto: Datos estructurados (JSON-LD), especificaciones y precios.
4. Colección: Cuadrículas de productos con paneles de filtro y paginación.
5. Listado: Elementos de tarjeta repetidos con resúmenes.
6. Documentación: Bloques de código, navegación de barra lateral y contenido con control de versiones.
7. Servicio: Diseños multi-sección (hero, características, testimonios) distribuidos a través de elementos <section> independientes.

Pipeline de Anotación

Las anotaciones de verdad fundamental se generaron mediante un pipeline riguroso de cinco etapas para garantizar alta calidad:

1. Borrador asistido por LLM: Un LLM (Claude) genera extracciones iniciales, excluyendo navegación y relleno.
2. Verificación automatizada: Scripts verifican la codificación, la validez del esquema JSON y los límites del contenido.
3. Revisión por modelos de vanguardia: Cuatro pasadas independientes por agentes de Claude Opus revisan la completitud del contenido, los límites, los metadatos y la consistencia.
4. Verificación de fragmentos y calidad: Scripts automatizados verifican que los fragmentos requeridos "con" aparezcan en la extracción y que los fragmentos de relleno "sin" estén ausentes.
5. Revisión humana: Un anotador humano arbitra desacuerdos y realiza la garantía de calidad final.

Las anotaciones incluyen el contenido principal como texto plano, junto con fragmentos de texto específicos "con" (debe incluir) y "sin" (debe excluir) para evaluar la precisión y el recuerdo a nivel de frase.

Sistemas de Evaluación y Métricas

El artículo evalúa 13 sistemas de extracción: 11 heurísticos (incluyendo sistemas basados en reglas e híbridos regla+ML como rs-trafilatura, Resiliparse, Trafilatura) y 2 sistemas neuronales (MinerU-HTML y ReaderLM-v2).

Métricas:

• F1 a nivel de palabra: Calculado en bolsas de palabras tokenizadas (minúsculas, división no alfanumérica) para medir la superposición de contenido, evitando penalizaciones por diferencias en espacios en blanco o ordenamiento de párrafos.
• Métricas basadas en fragmentos: "Recuerdo con" (completitud del contenido) e "inclusión sin" (contaminación por relleno).
• Velocidad: Medida en milisegundos por página.

Resultados Clave

Rendimiento General

En el conjunto de desarrollo, rs-trafilatura (un sistema híbrido regla+ML) logró la puntuación F1 general más alta de 0.859, procesando páginas en 44 ms. El sistema neuronal MinerU-HTML le siguió de cerca con 0.827, mientras que ReaderLM-v2 (1.5B de parámetros) rindió por debajo de varios sistemas heurísticos con un F1 de 0.741.

La Brecha "Artículo vs. Estructura"

El hallazgo más significativo es la divergencia en el rendimiento basada en el tipo de página:

• Artículos: El rendimiento está saturado. Todos los sistemas principales convergen con puntuaciones F1 entre 0.871 y 0.932. La brecha entre el mejor sistema heurístico y el mejor sistema neuronal es insignificante (0.4 puntos).
• Tipos Estructurados: El rendimiento diverge drásticamente.
  • Foros: El F1 oscila entre 0.520 y 0.794 (dispersión de 27.4 puntos).
  • Colecciones: El F1 oscila entre 0.415 y 0.713 (dispersión de 29.8 puntos).
  • Productos: El F1 oscila entre 0.464 y 0.670 (dispersión de 20.6 puntos).
  • Páginas de Servicio: El F1 oscila entre 0.708 y 0.843.

Generalización y Validación Cruzada de Benchmarks

• Generalización: Cuando se evaluó en el conjunto de prueba retenido, todos los sistemas mostraron un desplazamiento uniforme al alza en el rendimiento (probablemente debido a anotaciones de prueba más limpias y una proporción ligeramente mayor de artículos), pero la clasificación relativa de los sistemas principales se mantuvo estable.
• Cruce de Benchmarks: En la benchmark solo-artículos de ScrapingHub, los sistemas principales alcanzaron puntuaciones F1 cercanas a 0.96. Sin embargo, en WCXB, el F1 general cayó a 0.859. Los autores señalan que la brecha de 7.3 puntos entre el rendimiento solo-artículos y el rendimiento multi-tipo cuantifica el "punto ciego" de las benchmarks existentes.

Neuronal vs. Heurístico

Contrario a la suposición de que los modelos neuronales generalizan mejor, los resultados muestran que los sistemas neuronales heredan el mismo sesgo de artículo que los sistemas heurísticos. MinerU-HTML quedó por detrás del mejor heurístico en 6 de los 7 tipos de página, y ReaderLM-v2 rindió por debajo de tres sistemas heurísticos en general. El tamaño mayor del modelo no se correlacionó con un mejor rendimiento en tipos estructurados.

Significado y Afirmaciones

El artículo afirma que la extracción de artículos es en gran medida un problema resuelto, con techos de rendimiento alcanzados para las arquitecturas actuales. En consecuencia, el progreso futuro en la extracción de contenido web debe provenir de abordar tipos de página estructurados (foros, productos, colecciones, etc.), que siguen siendo problemas abiertos con brechas de rendimiento de 20–30 puntos entre sistemas.

Los autores afirman que:

1. Las benchmarks existentes son insuficientes: Ocultan fallos críticos en páginas no artísticas, llevando a una falsa sensación de progreso.
2. Los enfoques neuronales no han resuelto la diversidad: Los extractores basados en LLM actuales no generalizan mejor a las variaciones estructurales y a menudo rinden peor que los métodos heurísticos más rápidos.
3. La taxonomía estructural es esencial: Las estrategias de extracción deben estar impulsadas por propiedades estructurales HTML (por ejemplo, manejo de JSON-LD, fusión de múltiples secciones) en lugar de categorías de contenido semántico.

El conjunto de datos WCXB, publicado bajo CC-BY-4.0, proporciona la infraestructura necesaria (tipos de página diversos, verdad fundamental y líneas base) para impulsar la investigación hacia sistemas de extracción conscientes del tipo que puedan manejar la complejidad completa de la web moderna.