Technische Samenvatting: WCXB – Een Benchmark voor Webinhoudsextractie van Meerdere Typen

Probleemstelling

Webinhoudsextractie – het proces waarbij de hoofdinhoud van een pagina wordt geïsoleerd van omringende standaardinhoud (navigatie, advertenties, voetteksten) – is een kritieke voorwaarde voor zoekindexering, retrieval-augmented generation (RAG), de opbouw van NLP-datasets en het trainen van grote taalmodellen (LLM). Ondanks het belang ervan is de vooruitgang op dit gebied beperkt door de beperkingen van bestaande evaluatiebenchmarks. Huidige datasets zijn doorgaans klein (100–800 pagina's), bijna uitsluitend beperkt tot nieuwsartikelen, of gebaseerd op HTML-structuren van meer dan een decennium geleden.

Cruciaal is dat bestaande benchmarks geen rekening houden met de structurele diversiteit van het moderne web. Een webcrawler komt productpagina's tegen met gestructureerde specificaties, forums met geneste gebruikersberichten, documentatie met codeblokken en servicepagina's met verspreide inhoudssecties. Heuristieken die zijn geoptimaliseerd voor artikelextractie falen voorspelbaar op deze andere typen, maar geen enkele bestaande benchmark evalueert extractieprestaties over deze verschillende structurele categorieën heen. Deze "alleen-artikelen"-bias verbergt significante prestatiekloven en blinde vlekken in huidige extractiesystemen.

Methodologie

De WCXB-dataset

De auteurs introduceren de Web Content Extraction Benchmark (WCXB), een dataset bestaande uit 2.008 webpagina's van 1.613 unieke domeinen. De dataset is opgedeeld in een ontwikkelset van 1.497 pagina's en een testset van 511 pagina's die wordt aangehouden, met een overeenkomstige verdeling van paginatypen om generalisatievalidatie te waarborgen.

Taxonomie van Paginatypen:
In tegenstelling tot eerder werk dat pagina's classificeert op basis van semantische inhoud, definieert WCXB zeven paginatypen op basis van HTML-structurele kenmerken die de extractiestrategie bepalen:

1. Artikel: Eén inhoudscontainer met opeenvolgende alinea's.
2. Forum: Meerdere gebruikersberichten met stemcontroles en metadata.
3. Product: Gestructureerde data (JSON-LD), specificaties en prijzen.
4. Collectie: Productroosters met filterpanelen en paginatie.
5. Lijst: Herhaalde kaart-elementen met samenvattingen.
6. Documentatie: Codeblokken, zijbalknavigatie en inhoud met versiebesturing.
7. Service: Meerdere sectielay-outs (hero, features, testimonials) verspreid over onafhankelijke <section>-elementen.

Annotatiepijplijn

Grondwaarheidsannotaties werden gegenereerd via een rigoureuze pijplijn van vijf fasen om hoge kwaliteit te waarborgen:

1. LLM-ondersteunde opmaak: Een LLM (Claude) genereert initiële extracties, waarbij navigatie en standaardinhoud worden uitgesloten.
2. Automatische verificatie: Scripts controleren codering, JSON-schema-validiteit en inhoudsgrenzen.
3. Review door frontier-modellen: Vier onafhankelijke passes door Claude Opus-agenten beoordelen volledigheid van inhoud, grenzen, metadata en consistentie.
4. Snippet- en kwaliteitsverificatie: Geautomatiseerde scripts verifiëren dat vereiste "met"-snippets in de extractie voorkomen en dat "zonder"-standaardinhoudssnippets afwezig zijn.
5. Menselijke review: Een menselijke annotator beslecht meningsverschillen en voert de uiteindelijke kwaliteitsborging uit.

Annotaties omvatten de hoofdinhoud als platte tekst, samen met specifieke "met" (moet-inclusief) en "zonder" (moet-exclusief) tekstfragmenten om precisie en recall op zinsniveau te evalueren.

Evaluatiesystemen en Metrieken

Het artikel evalueert 13 extractiesystemen: 11 heuristische systemen (waaronder regelgebaseerde en hybride regel+ML-systemen zoals rs-trafilatura, Resiliparse, Trafilatura) en 2 neurale systemen (MinerU-HTML en ReaderLM-v2).

Metrieken:

• F1-score op woordniveau: Berekend op getokeniseerde woordzakken (in kleine letters, gesplitst op niet-alfanumerieke tekens) om inhoudsoverlapping te meten, waarbij straffen worden vermeden voor verschillen in witruimte of alinea-volgorde.
• Snippet-gebaseerde metrieken: "With recall" (volledigheid van inhoud) en "Without inclusion" (vervuiling door standaardinhoud).
• Snelheid: Gemeten in milliseconden per pagina.

Belangrijkste Resultaten

Algemene Prestaties

Op de ontwikkelset behaalde rs-trafilatura (een hybride regel+ML-systeem) de hoogste algehele F1-score van 0,859, waarbij pagina's in 44ms werden verwerkt. Het neurale systeem MinerU-HTML volgde op korte afstand met 0,827, terwijl ReaderLM-v2 (1,5 miljard parameters) onderpresteerde ten opzichte van meerdere heuristische systemen met een F1 van 0,741.

De Kloof tussen "Artikel en Structuur"

De meest significante bevinding is de divergentie in prestaties op basis van paginatype:

• Artikelen: Prestaties zijn verzadigd. Alle topsystemen convergeren met F1-scores tussen 0,871 en 0,932. De kloof tussen het beste heuristische en het beste neurale systeem is verwaarloosbaar (0,4 punten).
• Gestructureerde Typen: Prestaties divergeren sterk.
  • Forums: F1 varieert van 0,520 tot 0,794 (spreiding van 27,4 punten).
  • Collecties: F1 varieert van 0,415 tot 0,713 (spreiding van 29,8 punten).
  • Producten: F1 varieert van 0,464 tot 0,670 (spreiding van 20,6 punten).
  • Servicepagina's: F1 varieert van 0,708 tot 0,843.

Generalisatie en Cross-Benchmark Validatie

• Generalisatie: Bij evaluatie op de aangehouden testset lieten alle systemen een uniforme opwaartse verschuiving in prestaties zien (waarschijnlijk door schonere testannotaties en een iets hoger aandeel artikelen), maar bleef de relatieve rangschikking van topsystemen stabiel.
• Cross-Benchmark: Op de alleen-artikelen ScrapingHub-benchmark behaalden topsystemen F1-scores dicht bij 0,96. Echter, op WCXB daalde de algehele F1 naar 0,859. De auteurs merken op dat de kloof van 7,3 punten tussen alleen-artikelen-prestaties en multi-type-prestaties de "blinde vlek" van bestaande benchmarks kwantificeert.

Neuraal versus Heuristisch

In tegenstelling tot de aanname dat neurale modellen beter generaliseren, tonen de resultaten aan dat neurale systemen dezelfde artikelbias erven als heuristische systemen. MinerU-HTML bleef achter op het beste heuristische systeem op 6 van de 7 paginatypen, en ReaderLM-v2 presteerde overall onder drie heuristische systemen. Een grotere modelgrootte correleerde niet met betere prestaties op gestructureerde typen.

Betekenis en Claims

Het artikel beweert dat artikelextractie grotendeels een opgelost probleem is, waarbij de prestatieplafonds voor huidige architecturen zijn bereikt. Bijgevolg moet toekomstige vooruitgang in webinhoudsextractie komen van het aanpakken van gestructureerde paginatypen (forums, producten, collecties, enz.), die open problemen blijven met prestatiekloven van 20–30 punten tussen systemen.

De auteurs stellen dat:

1. Bestaande benchmarks ontoereikend zijn: Ze maskeren kritieke fouten op niet-artikelpagina's, wat leidt tot een vals gevoel van vooruitgang.
2. Neurale benaderingen diversiteit niet hebben opgelost: Huidige op LLM gebaseerde extractoren generaliseren niet beter naar structurele variaties en presteren vaak onder snellere heuristische methoden.
3. Structurele taxonomie essentieel is: Extractiestrategieën moeten worden gedreven door HTML-structurele eigenschappen (bijv. JSON-LD-verwerking, samenvoegen van meerdere secties) in plaats van semantische inhoudscategorieën.

De WCXB-dataset, vrijgegeven onder CC-BY-4.0, biedt de nodige infrastructuur (diverse paginatypen, grondwaarheid en baselines) om onderzoek te sturen naar type-bewuste extractiesystemen die de volledige complexiteit van het moderne web kunnen hanteren.