WCXB: A Multi-Type Web Content Extraction Benchmark
Cet article présente WCXB, un ensemble de données de référence complet composé de 2 008 pages web répartis en sept catégories distinctes et dotés d'annotations de haute qualité, conçu pour surmonter les limites des benchmarks existants se concentrant uniquement sur les articles et pour révéler des écarts de performance significatifs dans les systèmes actuels d'extraction de contenu web.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense bibliothèque chaotique où chaque livre est une page web. Certaines pages sont des romans propres et bien écrits (articles de presse). D'autres sont des tableaux d'affichage en désordre avec des post-it partout (forums), des catalogues avec des étiquettes de prix et des spécifications (produits), ou des manuels d'instruction avec des barres latérales et des blocs de code (documentation).
Pendant des années, les ordinateurs tentant de lire ces pages souffraient d'un important angle mort. Ils étaient entraînés à exceller dans la lecture des « romans » mais étaient terribles pour comprendre les catalogues en désordre ou les tableaux d'affichage. Ils lisaient souvent par erreur les étiquettes de prix, les boutons « Ajouter au panier » ou les commentaires des utilisateurs comme s'il s'agissait du récit principal.
Le Problème : Le Test « Articles de Presse Uniquement »
L'auteur, Murrough Foley, soutient que les tests précédents utilisés pour mesurer la capacité des ordinateurs à lire le web étaient comparables à un examen de conduite se déroulant uniquement sur des autoroutes vides et rectilignes.
- Les Anciens Tests : Ils utilisaient de petits ensembles de données (100 à 800 pages) composés presque entièrement d'articles de presse.
- Le Résultat : Les ordinateurs semblaient être des surdoués, obtenant des notes presque parfaites. Mais cela était trompeur. Cela ne nous disait pas comment ils géreraient le reste de l'internet, qui regorge de pages complexes et structurées comme des fiches produits ou des forums.
La Solution : WCXB (Le Test de Conduite « Tout-Terrain »)
Foley présente un nouveau benchmark appelé WCXB (Web Content Extraction Benchmark). Imaginez cela comme un nouvel examen de conduite, beaucoup plus difficile, qui inclut des autoroutes, mais aussi des sentiers boueux hors route, des rues de ville bondées et des zones de travaux.
- L'Ensemble de Données : Il contient 2 008 pages web provenant de plus de 1 600 sites web différents.
- La Variété : Au lieu de se limiter aux articles de presse, il couvre 7 types distincts de pages :
- Articles (La conduite facile sur autoroute).
- Forums (Tableaux d'affichage en désordre avec des commentaires d'utilisateurs).
- Produits (Catalogues avec des spécifications et des prix cachés).
- Collections (Grilles d'articles avec des filtres).
- Annonces (Cartes répétitives de résumés).
- Documentation (Manuels techniques avec du code).
- Pages de Services (Pages marketing avec des sections dispersées partout).
Comment Ils L'Ont Créé (La Recette « Référence Or »)
Pour s'assurer que les réponses étaient correctes, ils n'ont pas simplement demandé à une seule personne de corriger les copies. Ils ont utilisé une chaîne de montage en cinq étapes :
- Ébauche par IA : Une IA intelligente a rédigé la première ébauche de ce que devrait être le « contenu principal ».
- Vérification Automatique : Des scripts ont détecté les erreurs évidentes.
- Revue par IA : Quatre experts IA différents ont examiné le travail, recherchant différents types d'erreurs.
- Vérification des Extraits : Ils ont exécuté des scripts pour s'assurer que des phrases spécifiques requises étaient incluses et que des phrases « indésirables » spécifiques (comme les publicités) étaient exclues.
- Expert Humain Final : Un expert humain a examiné le produit final pour trancher tout désaccord et garantir la qualité.
Les Résultats : Les « Articles de Presse » sont Résolus, le Reste est Cassé
Foley a testé 13 programmes informatiques différents (11 utilisant des règles classiques, 2 utilisant une IA moderne) contre ce nouveau test. Voici ce qu'ils ont découvert :
- Les Articles de Presse : Tout le monde a réussi brillamment. Les meilleurs programmes ont obtenu 93 % de précision. L'auteur conclut que la lecture d'articles de presse est essentiellement un problème « résolu ».
- Le Reste du Web : Les scores ont chuté drastiquement.
- Sur les Forums, l'écart entre les meilleurs et les pires programmes était énorme (une différence de 27 points).
- Sur les pages Produits, le meilleur programme n'a obtenu que 67 % de bonnes réponses, tandis que les autres luttaient avec des données cachées.
- Sur les Collections, le meilleur score était de 71 %, tandis que le pire était de 41 %.
La Grande Surprise : Une IA Plus Grande n'est Pas la Solution Magique
Beaucoup de gens supposent que les modèles d'intelligence artificielle plus récents et plus volumineux (Systèmes Neuronaux) seraient automatiquement meilleurs dans tout.
- La Réalité : Les grands modèles d'IA n'ont pas résolu le problème. En fait, ils ont souvent performé pire que les programmes plus simples basés sur des règles sur les pages autres que les articles de presse.
- Pourquoi ? Les modèles d'IA ont été entraînés principalement sur des articles de presse, ils ont donc hérité du même biais. Ils sont excellents pour les romans mais restent confus face aux tableaux d'affichage en désordre et aux catalogues de produits.
Vitesse vs Intelligence
L'article a également examiné la vitesse.
- Programmes basés sur des règles : Rapides comme l'éclair (millisecondes par page).
- Programmes IA : Lents comme des escargots (milliers de millisecondes par page), nécessitant des cartes graphiques coûteuses pour fonctionner.
L'Essentiel
L'internet n'est pas seulement une collection d'histoires de presse. C'est un mélange de nombreuses structures différentes. Les anciens tests nous mentaient en ne testant que sur des articles de presse. Ce nouveau benchmark (WCXB) révèle que si les ordinateurs sont excellents pour lire les articles de presse, ils peinent toujours à comprendre les parties complexes, structurées et en désordre du web. Pour avancer, nous devons cesser de traiter toutes les pages web comme si elles étaient des articles de presse.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.