Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

Dit paper introduceert Dripper, een lichtgewicht framework dat hoofdinhoud van webpagina's efficiënt en nauwkeurig extraheert door middel van geconstrueerde sequentiemarkering met kleine taalmodellen, waardoor het de prestaties van zware generatieve modellen benadert met een veel lagere rekenkost.

De kern

Stel je voor dat het internet een gigantische, chaotische bibliotheek is. Elke dag worden er miljarden nieuwe boeken (webpagina's) toegevoegd. Maar deze boeken zijn niet netjes gebonden; ze zitten vol met losse bladzijden, reclamefolders, ingekleefde post-it's, en soms zelfs hele mappen met instructies over hoe het boek eruit moet zien, maar zonder de eigenlijke tekst.

Om kunstmatige intelligentie (AI) slim te maken, moeten we deze boeken "lezen" en de echte tekst eruit halen. Dit heet content extraction.

Het probleem is dat de oude methoden (de "heuristic extractors") als een blinde hond zijn die probeert een boek te lezen door alleen te kijken naar hoe dik de pagina's zijn. Soms lukt het, maar vaak haalt hij de verkeerde bladzijden eruit of laat hij de belangrijkste stukken over.

Aan de andere kant hebben we de super-intelligente AI-modellen (de "Grote Taalmodellen"). Die kunnen perfect lezen en begrijpen wat belangrijk is. Maar ze zijn ook als een dure, zware vrachtwagen: ze verbruiken enorm veel brandstof (rekenkracht), zijn traag, en kunnen soms beginnen te fantaseren over dingen die er niet staan (hallucinaties). Als je miljarden pagina's moet verwerken, is deze vrachtwagen te duur en te traag.

Dripper is de oplossing die de auteurs hebben bedacht. Het is als een slimme, snelle en goedkope robot die precies weet hoe hij de bibliotheek moet opruimen.

Hier is hoe Dripper werkt, in drie simpele stappen:

1. De Twee Sporen (De "Vereenvoudiging" en de "Originele Kopie")

Stel je voor dat je een ingewikkeld architecturaal plan hebt (de ruwe HTML-code van een website).

• Spoor A (De Schets): Dripper maakt eerst een heel snelle, ruwe schets van het plan. Hij verwijdert alle onnodige details (reclame, scripts, opmaak) en houdt alleen de hoofdlijnen over. Dit is heel kort en makkelijk te lezen.
• Spoor B (Het Origineel): Tegelijkertijd houdt hij een perfecte, gedetailleerde kopie van het originele plan achter de hand, maar zonder de rommel.

2. De Slimme Robot (Het Klein Model)

In plaats van de zware vrachtwagen (het grote AI-model) te gebruiken om het hele ingewikkelde plan te lezen, laat Dripper een kleine, snelle robot (een klein taalmodel van slechts 0,6 miljard parameters) naar de Schets (Spoor A) kijken.

Omdat de schets kort en duidelijk is, kan deze kleine robot razendsnel beslissen: "Dit stukje is de echte tekst (hoofdinhoud)" of "Dit stukje is reclame (rommel)".

• Het geheim: De robot hoeft niet de hele tekst te herschrijven (wat fouten kan veroorzaken). Hij hoeft alleen maar een lijstje te maken met ja/nee-antwoorden voor elk stukje van de schets. Dit is veel veiliger en sneller.

3. De Magische Herconstructie

Zodra de robot het lijstje met ja/nee-antwoorden heeft, pakt Dripper die lijst en past deze toe op de Originele Kopie (Spoor B).

• Waar de robot "JA" zei, wordt het stukje uit de originele kopie bewaard.
• Waar de robot "NEE" zei, wordt het verwijderd.

Het resultaat? Je krijgt de perfecte, schone tekst terug, met alle originele opmaak en structuur, maar zonder de rommel. En dit gaat zo snel dat je op één computer (een A100 GPU) 3 pagina's per seconde kunt verwerken.

Waarom is dit zo belangrijk?

• Snelheid en Kosten: Het is 22 keer sneller en goedkoper dan het gebruik van de zware AI-modellen, maar bijna net zo slim.
• Geen Dromen: Omdat de robot alleen labels geeft en geen tekst herschrijft, "droomt" hij geen nieuwe feiten. De tekst is 100% wat er op de website stond.
• Beter voor AI: De auteurs hebben bewezen dat als je AI-modellen traint op data die met Dripper is schoongemaakt, die AI-modellen slimmer worden dan wanneer ze trainen op data van de oude, trage methoden. Het is alsof je een student leert met een goed georganiseerd boek in plaats van een rommelige stapel krantenknipsels.

Kortom: Dripper is de slimme, efficiënte "schoonmaakrobot" voor het internet. Hij maakt het mogelijk om de enorme hoeveelheid informatie op het web te gebruiken om onze AI's slimmer te maken, zonder dat we daarvoor een fabriek aan computers nodig hebben.

Technische samenvatting

Probleemstelling

Het extraheren van de hoofdinhoud van webpagina's (main content extraction) is een cruciale voorwaarde voor het bouwen van grote trainingscorpora voor Large Language Models (LLMs). De huidige methoden kampen echter met ernstige beperkingen:

1. Heuristische extractoren: Traditionele tools (zoals Trafilatura of Readability) zijn snel en computerefficiënt, maar missen het semantische redeneervermogen om de complexe en heterogene structuur van moderne webpagina's te begrijpen. Ze falen vaak bij pagina's waar visuele lay-out de semantische structuur overneemt, wat leidt tot het verwijderen van belangrijke inhoud of het behouden van ruis (advertenties, navigatie).
2. Generatieve LLM's: Hoewel grote generatieve modellen uitstekend zijn in het begrijpen van documenten, zijn ze onpraktisch voor web-schaal extractie vanwege:
   • Excessieve rekentkosten: Het verwerken van ruwe HTML (vaak tienduizenden tokens) is te duur.
   • Contextlimieten: Veel pagina's overschrijden de contextvensters van efficiënte modellen.
   • Hallucinaties: Generatieve modellen hebben de neiging om inhoud te verzinnen die niet in de bron staat, wat onacceptabel is voor extractietaken die strikte nauwkeurigheid vereisen.

Methodologie: Het Dripper Framework

Dripper lost deze problemen op door het extractieprobleem te herformuleren als een token-efficiënte sequentielabelingstaak in plaats van een generatieve taak. Het framework maakt gebruik van een dual-branch strategie (twee takken) die semantisch redeneren ontkoppelt van inhoudsherconstructie.

Het proces verloopt in drie fasen:

1. Pre-processing (Dual-Branch Generatie):

   • De ruwe HTML wordt omgezet in twee parallelle, uitgelijnde sequenties:
     • Simplified HTML: Deze tak ondergaat agressieve pruning. Niet-inhoudelijke tags (zoals <script>, <style>, <header>) worden verwijderd, attributen worden gereduceerd tot alleen class en id, en inline tags worden samengevoegd tot semantische blokken. Dit vermindert het aantal tokens met ongeveer 84,4%, waardoor een klein model (0,6B parameters) de structuur binnen een standaard contextvenster kan analyseren.
     • Mapping HTML: Deze tak behoudt de volledige DOM-integriteit (alle originele tags en attributen) voor de uiteindelijke reconstructie, maar wordt wel op dezelfde manier in blokken opgedeeld als de Simplified HTML om een perfecte 1-op-1 uitlijning te garanderen.

2. Extraction (Model Inferentie):

   • Het model Dripper-0.6B (gebaseerd op Qwen3-0.6B) verwerkt alleen de Simplified HTML.
   • In plaats van tekst te genereren, voert het model een beperkte decoding (constrained decoding) uit. Het voorspelt een JSON-structuur met binaire labels ("main" of "other") voor elk blok-ID.
   • Deze beperkingen zorgen ervoor dat het model geen hallucinaties produceert en geen herhalingslussen krijgt, wat de inferentie snel en deterministisch maakt.

3. Post-processing (Reconstructie):

   • De voorspelde labels worden toegepast op de Mapping HTML. Alleen de blokken met het label "main" worden geselecteerd uit de originele, rijke DOM-structuur.
   • Het resultaat is een schone, semantisch intacte HTML-subtree die vervolgens wordt geconverteerd naar Markdown of tekst.

Belangrijkste Bijdragen

1. Nieuw Extractieparadigma: Dripper introduceert een aanpak waarbij extractie wordt gezien als een beperkte sequentielabelingstaak voor Small Language Models (SLMs). Dit elimineert hallucinaties en bereikt een doorvoer van 3,08 pagina's per seconde op één A100 GPU.
2. WebMainBench: De auteurs hebben een rigoureus benchmarkset ontwikkeld met 7.809 hand-geannoteerde pagina's afkomstig uit 5.434 unieke domeinen en meerdere talen. Dit dataset dient als de nieuwe standaard voor evaluatie, met een focus op complexe lay-outs en rijke content (tabellen, code, vergelijkingen).
3. Infrastructuurwaarde bewezen: Er is een 1B-parameter model voorvertrouwd op een corpus van 63 miljard tokens dat met Dripper is gezuiverd. Dit model presteerde significant beter in downstream taken dan modellen die waren getraind op data van traditionele heuristische tools, wat bewijst dat extractiekwaliteit direct de prestaties van foundation modellen beïnvloedt.
4. Open Source: De weights van Dripper-0.6B, de volledige codebase en de WebMainBench benchmark zijn openbaar gemaakt.

Resultaten

De evaluaties tonen aan dat Dripper een optimale afweging biedt tussen efficiëntie en nauwkeurigheid:

• Prestaties: Dripper-0.6B bereikt een F1-score van 0,8779 op WebMainBench. Dit is een aanzienlijke verbetering ten opzichte van traditionele heuristieken zoals Trafilatura (F1: 0,6402) en Readability.
• Vergelijking met Reuzen: Ondanks dat het model slechts 0,6B parameters heeft, presteert het bijna even goed als enorme commerciële modellen zoals DeepSeek-V3.2 (F1: 0,9098), GPT-5 (F1: 0,9024) en Gemini-2.5-Pro (F1: 0,8979), wanneer deze modellen worden gebruikt binnen het Dripper-pipeline (ingest Simplified HTML).
• Efficiëntie: Door de invoer te comprimeren en de output te beperken tot labels, daalt de rekenkosten (FLOPs) met een factor 22,6x (95,6% reductie) vergeleken met een naieve generatieve baseline die ruwe HTML naar Markdown omzet.
• Downstream Impact: Modellen getraind op data gezuiverd met Dripper presteerden 1,08% beter in algemene benchmarks (zoals MMLU, ARC, etc.) dan die getraind op Trafilatura-data, en overtroffen zelfs populaire corpora zoals RefinedWeb en FineWeb.

Betekenis en Impact

Dripper biedt een schaalbare, kosteneffectieve oplossing voor het grootste knelpunt in de huidige AI-data-pipeline: het verkrijgen van hoogwaardige, schone webdata. Door de afhankelijkheid van dure, grote generatieve modellen te doorbreken en in te zetten op slimme voorverwerking en beperkte decoding, maakt Dripper het mogelijk om enorme hoeveelheden webdata te verwerken met een kwaliteit die eerder alleen bereikbaar was met de duurste modellen. Dit is een fundamentele stap vooruit voor de bouw van de volgende generatie LLM's en voor het creëren van betrouwbare kennisbanken.