Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

Le papier présente Dripper, un cadre léger basé sur des modèles de langage de petite taille qui reformule l'extraction de contenu principal comme une tâche d'étiquetage de séquence contrainte, offrant ainsi un compromis optimal entre efficacité et précision tout en surpassant les méthodes heuristiques et rivalisant avec des modèles massifs.

L'essentiel

Imagine que le web est une immense bibliothèque chaotique. Chaque livre (une page web) est rempli de texte intéressant, mais aussi de bruit : des publicités qui clignotent, des menus qui changent tout le temps, des liens vers d'autres pages, et des scripts invisibles.

Pour entraîner les intelligences artificielles (comme les robots qui vous répondent aujourd'hui), il faut lire ces livres et en extraire uniquement l'histoire principale, en jetant tout le reste. C'est ce qu'on appelle "l'extraction de contenu".

Le problème ? Les méthodes actuelles sont soit trop bêtes (elles coupent parfois le texte important), soit trop lentes et coûteuses (comme essayer de lire un livre entier avec une loupe géante, mot par mot).

Voici comment Dripper résout ce problème, expliqué simplement :

1. Le Problème : Le "Bruit" du Web

Les pages web modernes sont comme des maisons construites avec des Lego de toutes les couleurs. Le texte important est là, mais il est caché sous des couches de décorations inutiles.

• Les anciennes méthodes (les "heuristic") sont comme des enfants qui essaient de trier les Lego en regardant juste la couleur. Ils font des erreurs : ils gardent parfois une publicité et jettent un paragraphe important.
• Les super-intelligences (les gros LLM) sont comme des experts en architecture capables de comprendre la maison parfaite. Mais ils sont trop lents, trop chers et parfois, ils inventent des pièces de Lego qui n'existaient pas (des "hallucinations").

2. La Solution Dripper : Le "Filtre Intelligent"

L'équipe derrière Dripper a eu une idée géniale : ne pas demander au robot de réécrire le livre, mais de simplement pointer du doigt les pages importantes.

Ils utilisent un petit robot très rapide (un "SLM" ou petit modèle de langage) et lui donnent une tâche très précise : un jeu de tri.

Voici les 3 étapes magiques de Dripper :

Étape A : La "Photographie Simplifiée" (Le Simplified HTML)

Avant de montrer la page au robot, Dripper prend une photo de la page web et enlève tout ce qui est inutile (les scripts, les styles compliqués). Il ne garde que la structure de base, comme un croquis au crayon.

• Analogie : C'est comme si vous preniez un roman rempli de publicités et que vous photocopiez seulement les titres des chapitres et les premiers mots de chaque phrase. C'est très court et très rapide à lire.

Étape B : Le "Jeu de Tri" (L'Extraction)

Le petit robot (Dripper-0.6B) regarde ce croquis simplifié. Il ne doit pas écrire de texte. Il doit juste dire pour chaque bloc : "C'est le cœur de l'histoire (Main)" ou "C'est du bruit (Other)".

• Pourquoi c'est génial ? Au lieu d'écrire un roman entier (ce qui prend du temps et de l'énergie), le robot ne fait que cocher des cases. C'est ultra-rapide et il ne peut pas inventer de fausses informations car il ne fait que classer.

Étape C : La "Reconstruction Précise" (Le Mapping HTML)

Une fois que le robot a coché les cases, Dripper retourne à la page originale (la version complète et belle). Il prend uniquement les blocs que le robot a marqués comme "Cœur de l'histoire" et les assemble.

• Analogie : C'est comme si vous aviez un chef d'orchestre (le robot) qui pointe les musiciens à jouer, et l'orchestre (la page originale) joue exactement ces notes, sans rien changer à la qualité du son.

3. Pourquoi c'est une révolution ?

• Vitesse Éclair : Grâce à cette astuce, Dripper peut traiter 3 pages par seconde sur un seul ordinateur puissant. C'est comme lire un livre entier en une seconde, alors que les méthodes précédentes prenaient des minutes.
• Précision Chirurgicale : Le petit robot Dripper est aussi bon que les géants du web (comme GPT-5 ou Gemini) pour trouver le texte important, mais il coûte une fraction du prix et ne fait pas d'erreurs d'invention.
• Un Nouveau Standard : Les auteurs ont créé un nouveau "terrain de jeu" (WebMainBench) avec 7 800 pages pour tester tout le monde. Dripper a gagné haut la main, battant les vieux outils et rivalisant avec les super-ordinateurs.

En résumé

Dripper, c'est comme avoir un assistant très rapide et très intelligent qui ne lit pas tout le livre, mais qui sait exactement où se trouve l'histoire principale. Il vous dit "Garde ça, jette ça", et vous obtenez un texte propre, parfait pour entraîner les futures intelligences artificielles, le tout à une vitesse fulgurante et sans gaspiller d'énergie.

C'est la clé pour transformer le chaos du web en une bibliothèque ordonnée pour l'IA de demain.

Résumé technique

1. Problématique

L'extraction de contenu principal (Main Content Extraction) à partir de pages web brutes (HTML) est une étape critique pour la construction de corpus d'entraînement à grande échelle pour les grands modèles de langage (LLM). Cependant, l'état de l'art actuel fait face à un dilemme fondamental :

• Les méthodes heuristiques traditionnelles (ex: Trafilatura, Readability) sont rapides et peu coûteuses mais manquent de raisonnement sémantique. Elles échouent souvent face à l'hétérogénéité structurelle du web moderne (publicités intégrées, mises en page complexes, absence de balises sémantiques standardisées), conduisant à une perte de contenu ou à une corruption des données structurées.
• Les modèles génératifs de grande taille (LLM) offrent une compréhension sémantique supérieure mais sont prohibitifs à l'échelle web en raison de :
  • Coûts computationnels élevés : La longueur des contextes HTML bruts dépasse souvent les fenêtres de contexte des modèles (29,3 % des pages dépassent 32k tokens).
  • Risques d'hallucination : Les modèles génératifs peuvent inventer du contenu absent de la source.
  • Latence : Le coût d'inférence est trop élevé pour le traitement de milliards de pages.

L'objectif est donc de concevoir un système qui combine la précision sémantique des LLM avec l'efficacité computationnelle des méthodes heuristiques.

---

2. Méthodologie : L'architecture Dripper

Dripper propose un cadre novateur qui reformule l'extraction de contenu comme une tâche de classification de séquence contrainte plutôt que comme une génération de texte. L'architecture repose sur une stratégie à deux branches (Dual-Branch) en trois étapes :

A. Pré-traitement : Génération de branches parallèles

Le HTML brut est transformé en deux séquences alignées bloc par bloc :

1. Simplified HTML (Branches d'entrée) : Une version fortement épurée destinée au modèle.
   • Suppression des balises non pertinentes (<script>, <style>, <header>, etc.).
   • Réduction des attributs (seuls class et id sont conservés).
   • Agrégation des balises en blocs sémantiques pour réduire la longueur de la séquence de 84,4 % (passant d'une moyenne de 44 590 tokens à 6 960 tokens).
2. Mapping HTML (Branches de reconstruction) : Une version qui conserve la fidélité du DOM original (structure, styles, contenu exact) mais qui subit le même découpage en blocs que la branche simplifiée.

B. Extraction : Classification par un SLM (Small Language Model)

• Modèle : Utilisation de Dripper-0.6B, un modèle basé sur l'architecture Qwen3-0.6B (0,6 milliard de paramètres).
• Tâche : Le modèle analyse le Simplified HTML et prédit une étiquette binaire ("main" ou "other") pour chaque bloc, au lieu de régénérer le texte.
• Décodage Contraint : La sortie est forcée dans un format JSON strict via un mécanisme de décodage contraint (regex). Cela élimine les hallucinations de format, garantit la validité syntaxique et accélère l'inférence.

C. Post-traitement : Reconstruction

Les étiquettes prédites sont appliquées aux blocs correspondants du Mapping HTML. Le système extrait uniquement les blocs marqués "main" pour reconstruire le contenu final (HTML ou Markdown) avec une fidélité structurelle parfaite, sans avoir jamais fait générer le contenu au modèle.

---

3. Contributions Clés

1. Nouveau Paradigme d'Extraction : Transformation de l'extraction HTML en tâche de classification de séquence contrainte utilisant des SLM. Cela élimine les hallucinations génératives et permet un débit de 3,08 pages/seconde sur une seule GPU A100.
2. WebMainBench : Création d'un benchmark rigoureux de 7 809 pages annotées par des humains, couvrant 5 434 domaines uniques et 46 langues. Contrairement aux benchmarks existants, il fournit des vérités terrain au niveau des balises HTML, permettant une évaluation précise des limites structurelles.
3. Preuve de Valeur Infrastructurelle : Démonstration empirique qu'un corpus prétraité par Dripper améliore significativement l'entraînement de modèles de base. Un modèle de 1B paramètres pré-entraîné sur 63 milliards de tokens extraits par Dripper surpasse les modèles entraînés sur des données traitées par des outils heuristiques classiques.
4. Open Source : Publication des poids du modèle Dripper-0.6B, du code source complet et du benchmark WebMainBench.

---

4. Résultats Expérimentaux

Les évaluations sur WebMainBench montrent des performances exceptionnelles :

• Performance Globale : Dripper-0.6B atteint un score F1 de 0,8779, surpassant largement les meilleurs outils heuristiques comme Trafilatura (0,6402) et magic-html (0,7138).
• Comparaison avec les LLM Géants : Bien que légèrement inférieur aux modèles propriétaires massifs (DeepSeek-V3.2, GPT-5, Gemini-2.5-Pro qui oscillent autour de 0,90-0,91), Dripper offre un compromis efficacité/précision inégalé. La version avec fallback (Dripper_fallback) atteint 0,8925, se rapprochant à moins de 1 point de pourcentage des modèles les plus avancés.
• Efficacité Computationnelle : Grâce à la réduction de la longueur d'entrée et à la nature de classification (vs génération), le coût computationnel (FLOPs) est réduit de 95,6 % (facteur 22,6x) par rapport à une approche générative naïve sur HTML brut.
• Robustesse : Dripper excelle particulièrement sur les pages complexes ("Hard" difficulty) et les contenus conversationnels (forums), là où les méthodes heuristiques échouent souvent à séparer le contenu principal du bruit.
• Impact sur l'entraînement : Le modèle pré-entraîné sur les données Dripper obtient une précision moyenne de 50,82 % sur 13 benchmarks de tâches (MMLU, ARC, etc.), surpassant le modèle entraîné sur des données Trafilatura (49,74 %) et même des corpus de référence comme RefinedWeb (49,13 %).

---

5. Signification et Impact

Le papier Dripper marque une avancée significative dans l'ingénierie des données pour l'IA :

• Démocratisation de l'extraction de haute qualité : Il rend possible l'extraction de contenu web à l'échelle industrielle avec une précision proche des LLM géants, mais à un coût et une latence compatibles avec les pipelines de données massifs.
• Qualité des Données = Performance des Modèles : Il démontre de manière convaincante que la qualité de l'extraction du contenu brut est un facteur déterminant pour la performance finale des modèles de fondation, justifiant l'investissement dans des méthodes d'extraction sémantiques plutôt que purement heuristiques.
• Évolutivité : En résolvant le problème de la fenêtre de contexte et des hallucinations, Dripper ouvre la voie à l'exploitation de l'immense volume de données du web (Common Crawl) pour l'entraînement de la prochaine génération de modèles de langage.

En résumé, Dripper comble le fossé entre la vitesse des méthodes traditionnelles et l'intelligence des modèles génératifs, offrant une infrastructure robuste pour la construction de corpus de données de haute qualité.