Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

Die Arbeit stellt Dripper vor, ein effizientes Framework, das mittels eines leichtgewichtigen Small Language Models (SLM) und einer als sequenzielle Markierung reformulierten Aufgabe hochwertige Hauptinhalte von Webseiten extrahiert und dabei die Genauigkeit großer Modelle mit der Geschwindigkeit traditioneller Heuristiken vereint.

Das Wesentliche

Stell dir vor, das Internet ist eine riesige, chaotische Bibliothek. In dieser Bibliothek gibt es Milliarden von Büchern (Webseiten), aber die meisten sind voller unnötigem Schnickschnack: Werbung, blinkende Pop-ups, Navigationsleisten, Cookie-Hinweise und doppelte Texte. Wenn du nur den eigentlichen Inhalt eines Buches lesen willst, musst du erst einmal all diesen Müll entfernen.

Das ist genau das Problem, das sich die Forscher mit Dripper gestellt haben. Hier ist die Erklärung, wie sie das gelöst haben, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Elefant im Raum"

Früher versuchten Computer, diesen Müll mit starren Regeln zu entfernen (wie ein strenger Bibliothekar, der sagt: "Alles, was rot ist, ist Werbung"). Das funktionierte oft, aber die modernen Webseiten sind so kreativ und chaotisch, dass diese Regeln oft scheitern.

Andere versuchten, riesige, super-intelligente KI-Modelle (wie GPT-5 oder DeepSeek) einzusetzen. Das ist wie wenn du einen Genie-Professor bittest, ein Kinderbuch zu lesen und ihm dabei einen ganzen Elefanten auf den Kopf setzt. Der Professor kann den Text zwar perfekt verstehen, aber:

• Es kostet eine Unmenge an Energie (Geld).
• Es dauert ewig.
• Manchmal erfindet der Professor Dinge dazu, die gar nicht im Buch stehen (Halluzinationen).

2. Die Lösung: Dripper – Der cleane "Zwiebel-Schäler"

Dripper ist ein neues Werkzeug, das den Prozess in drei schlaue Schritte unterteilt. Man kann es sich wie das Schälen einer Zwiebel vorstellen, bei der man die Schichten geschickt trennt.

Schritt 1: Der "Entschlackungs"-Filter (Vorbereitung)
Bevor der Computer überhaupt anfängt zu lesen, nimmt Dripper die Webseite und schält sie wie eine Zwiebel.

• Er entfernt alles, was nicht wichtig ist (Werbung, Skripte, unnötige Farben).
• Er macht daraus eine vereinfachte Version (wenige Wörter, klare Struktur).
• Gleichzeitig behält er eine exakte Kopie der originalen Struktur bei, aber in einer separaten Schublade.

Schritt 2: Der "Schlauer Junior" (Die KI)
Anstatt den riesigen Elefanten (das große KI-Modell) zu nutzen, setzen die Forscher einen kleinen, aber sehr schlauen Assistenten ein (ein Modell mit nur 0,6 Milliarden Parametern).

• Dieser Assistent liest nur die vereinfachte Version. Das geht blitzschnell!
• Seine Aufgabe ist nicht, den Text neu zu schreiben, sondern nur zu sagen: "Das hier ist der Haupttext (Hauptinhalt)" oder "Das hier ist Müll (Werbung)".
• Er arbeitet wie ein Stempel: Er drückt einfach "Hauptinhalt" oder "Nicht-Hauptinhalt" auf jeden Textblock. Da er nur stempelt und nichts erfindet, macht er keine Fehler (keine Halluzinationen).

Schritt 3: Der "Zauber-Trick" (Zusammenbau)
Jetzt kommt der Clou: Die Stempel des kleinen Assistenten werden auf die exakte Kopie (die separate Schublade) übertragen.

• Der Computer nimmt nur die Blöcke, die den Stempel "Hauptinhalt" haben.
• Er fügt sie zusammen.
• Das Ergebnis ist eine perfekt saubere Webseite, die genau so aussieht wie das Original, aber ohne den ganzen Müll.

Warum ist das so genial?

• Geschwindigkeit: Weil der kleine Assistent nur eine vereinfachte Version liest und nur Stempel drückt, ist er 22-mal schneller als die alten Methoden und braucht viel weniger Rechenleistung. Er schafft fast 3 Seiten pro Sekunde auf einem einzigen Computerchip.
• Qualität: Obwohl er klein ist, ist er so gut trainiert, dass er fast so gut abschneidet wie die riesigen, teuren KI-Modelle der Welt (wie GPT-5), aber ohne die hohen Kosten.
• Zuverlässigkeit: Da er keine Texte neu erfindet, sondern nur aus dem Original auswählt, ist das Ergebnis immer 100% korrekt und vertrauenswürdig.

Das große Bild

Die Forscher haben nicht nur das Werkzeug gebaut, sondern auch eine perfekte Prüfliste (ein Benchmark namens WebMainBench) erstellt, um zu testen, wie gut verschiedene Methoden sind. Sie haben sogar bewiesen, dass KI-Modelle, die mit den von Dripper gesäuberten Daten trainiert werden, am Ende viel schlauer sind als solche, die mit "schmutzigen" Daten trainiert wurden.

Kurz gesagt: Dripper ist wie ein hochspezialisierter, extrem schneller und günstiger Müllsammler für das Internet. Er trennt den wertvollen Inhalt vom Unrat so perfekt, dass wir in Zukunft bessere und klügere KI-Systeme bauen können, ohne dabei die Weltwirtschaft zu belasten. Und das Beste: Sie haben den Code und das Werkzeug für alle kostenlos veröffentlicht!

Technische Zusammenfassung

1. Problemstellung

Die Extraktion von Hauptinhalten aus Webseiten ist eine kritische Voraussetzung für den Aufbau hochwertiger Trainingskorpora für Large Language Models (LLMs). Das Web ist jedoch inhärent heterogen:

• Strukturelle Komplexität: Moderne Webseiten priorisieren oft das visuelle Layout vor semantischen HTML-Tags. Haupttexte werden häufig durch Boilerplate (Werbung, Navigation, Fußzeilen) unterbrochen oder in generische <div>-Tags gekapselt.
• Limitationen bestehender Ansätze:
  • Heuristische Methoden: Sind zwar effizient, aber aufgrund von starren Regeln und statistischen Annahmen (z. B. Text-zu-Tag-Verhältnis) oft unzuverlässig und anfällig für neue Webdesign-Muster.
  • Generative LLMs: Bieten zwar überlegenes semantisches Verständnis, scheitern jedoch an der Skalierbarkeit. Die Verarbeitung von rohem HTML führt zu extrem hohen Token-Kosten, übersteigt oft die Kontextfenster (bis zu 128k+ Tokens) und birgt das Risiko von Halluzinationen (Erfinden von Inhalten).

2. Methodik: Das Dripper-Framework

Dripper löst diese Probleme durch einen neuartigen Ansatz, der die Extraktion als eingeschränkte Sequenzmarkierungsaufgabe (Constrained Sequence Labeling) reformuliert, anstatt sie als generative Textaufgabe zu behandeln. Das System basiert auf einer Dual-Branch-Strategie (Dual-Branch Representation):

• Vorverarbeitung (Dual-Branch Generation):

  • Simplified HTML: Der rohe HTML-Eingabe wird aggressiv bereinigt (Entfernung von <script>, <style>, etc.) und in semantische Blöcke aggregiert. Dies reduziert die Token-Anzahl um ca. 84,4 % (von durchschnittlich 44.590 auf 6.960 Tokens), ermöglicht aber dennoch die semantische Analyse durch ein kleines Modell.
  • Mapping HTML: Eine parallele Repräsentation behält die volle DOM-Integrität und Originalstruktur bei, dient jedoch nur zur späteren Rekonstruktion, nicht zur Eingabe des Modells.
  • Beide Zweige sind strikt blockweise aligniert (gleiche Segmentierung).

• Extraktion (Modell):

  • Ein kleines Sprachmodell (SLM), spezifisch Dripper-0.6B (basierend auf Qwen3-0.6B), verarbeitet nur den Simplified HTML-Zweig.
  • Das Modell klassifiziert jeden Block als „main" (Hauptinhalt) oder „other" (Boilerplate).
  • Eingeschränktes Decoding (Constrained Decoding): Die Ausgabe wird durch Regex-basierte Constraints auf ein striktes JSON-Format (z. B. {"1": "main", "2": "other"}) gezwungen. Dies eliminiert Halluzinationen, verhindert Wiederholungsschleifen und garantiert strukturelle Konsistenz.

• Nachverarbeitung (Rekonstruktion):

  • Die vorhergesagten Labels werden auf den Mapping HTML-Zweig angewendet.
  • Die entsprechenden Blöcke werden aus dem originalgetreuen DOM extrahiert, um das finale, stilistisch intakte Ergebnis (z. B. Markdown) zu generieren.

3. Schlüsselbeiträge

1. Neues Paradigma: Umformulierung der HTML-Extraktion als Token-effiziente Klassifikationsaufgabe für SLMs, was Halluzinationen eliminiert und einen Durchsatz von 3,08 Seiten pro Sekunde auf einer einzelnen A100 GPU ermöglicht.
2. WebMainBench: Erstellung eines rigorosen Benchmarks mit 7.809 manuell annotierten Seiten aus 5.434 einzigartigen Domains und 46 Sprachen. Im Gegensatz zu alten Benchmarks bietet dies eine strukturelle „Wahrheit" auf HTML-Tag-Ebene.
3. Infrastruktureller Wert: Demonstration, dass hochwertige Extraktion direkt die Leistung von Foundation Models verbessert. Ein auf einem von Dripper kuratierten Korpus (63 Mrd. Tokens) vortrainiertes 1B-Modell übertrifft Baseline-Modelle signifikant in Downstream-Aufgaben.
4. Open Source: Veröffentlichung der Gewichte (Dripper-0.6B), des Codes und des Benchmarks zur Förderung der Community.

4. Ergebnisse

• Leistung (Accuracy): Dripper-0.6B erreicht auf WebMainBench einen F1-Score von 0,8779.
  • Dies übertrifft etablierte heuristische Tools deutlich (z. B. Trafilatura: 0,6402, magic-html: 0,7138).
  • Es konkurriert mit massiven kommerziellen Modellen (DeepSeek-V3.2: 0,9098, GPT-5: 0,9024), obwohl es nur 0,6 Mrd. Parameter hat.
  • Mit einer Fallback-Strategie (bei zu langen Eingaben) erreicht Dripper einen Score von 0,8925, was weniger als 1 Prozentpunkt von GPT-5 entfernt ist.
• Effizienz: Durch die Reduktion der Eingabe- und Ausgabelänge sinken die Rechenkosten (FLOPs) um den Faktor 22,6 im Vergleich zu einem naiven generativen Ansatz mit rohem HTML.
• Downstream-Training: Ein Modell, das auf Dripper-extrahierten Daten trainiert wurde, erzielte in 13 Benchmarks eine durchschnittliche Genauigkeit von 50,82 %, was eine Steigerung von 1,08 Prozentpunkten gegenüber einem Trafilatura-Baseline-Korpus darstellt und sogar etablierte Datensätze wie RefineWeb und FineWeb übertrifft.

5. Bedeutung und Fazit

Dripper schließt die Lücke zwischen der Geschwindigkeit heuristischer Parser und dem semantischen Verständnis großer LLMs. Es beweist, dass durch geschickte Vorverarbeitung und die Reformulierung der Aufgabe als Klassifikation, kleine Modelle (SLMs) für die Web-Skalierung geeignet sind.

Die Arbeit unterstreicht die kritische Rolle der Extraktionsqualität als Infrastruktur für die nächste Generation von KI-Modellen. Hohe Qualität bei der Datenbereinigung führt direkt zu besseren LLMs, was Dripper zu einem essenziellen Werkzeug für den Aufbau hochwertiger Trainingsdaten macht. Die Open-Source-Verfügbarkeit ermöglicht es der Community, diese Standards für die Datenerstellung zu übernehmen.