WCXB: A Multi-Type Web Content Extraction Benchmark
Dieser Beitrag stellt WCXB vor, einen umfassenden Benchmark-Datensatz mit 2.008 Webseiten aus sieben verschiedenen Kategorien und hochwertigen Annotationen, der entwickelt wurde, um die Einschränkungen bestehender Benchmarks zu überwinden, die sich nur auf Artikel beschränken, und erhebliche Leistungslücken in aktuellen Systemen zur Extraktion von Webinhalten aufzudecken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in der jedes Buch eine Webseite ist. Manche Seiten sind saubere, gut geschriebene Romane (Nachrichtenartikel). Andere sind unordentliche Schwarze Bretter mit Klebezetteln überall (Foren), Kataloge mit Preisschildern und Spezifikationen (Produkte) oder Bedienungsanleitungen mit Seitenleisten und Codeblöcken (Dokumentation).
Seit Jahren hatten Computer, die versuchten, diese Seiten zu lesen, einen großen blinden Fleck. Sie waren darauf trainiert, hervorragend im Lesen der „Romane" zu sein, aber schrecklich darin, die unordentlichen Kataloge oder Schwarzen Bretter zu verstehen. Oft lasen sie versehentlich die Preisschilder, die „In den Warenkorb"-Buttons oder die Benutzerkommentare so, als wären sie die Hauptgeschichte.
Das Problem: Der „Nur-Nachrichten"-Test
Der Autor, Murrough Foley, argumentiert, dass frühere Tests, die verwendeten wurden, um zu messen, wie gut Computer das Web lesen, wie ein Führerschein-Test waren, der nur auf leeren, geraden Autobahnen stattfand.
- Die alten Tests: Sie verwendeten kleine Datensätze (100–800 Seiten), die fast ausschließlich aus Nachrichtenartikeln bestanden.
- Das Ergebnis: Computer wirkten wie Super-Savants und erzielten nahezu perfekte Noten. Doch dies war irreführend. Es sagte uns nichts darüber, wie sie mit dem Rest des Internets umgehen würden, der voller komplexer, strukturierter Seiten wie Produktlisten oder Foren ist.
Die Lösung: WCXB (Der „All-Terrain"-Führerschein-Test)
Foley führt einen neuen Benchmark namens WCXB (Web Content Extraction Benchmark) ein. Stellen Sie sich dies als einen neuen, viel härteren Führerschein-Test vor, der Autobahnen einschließt, aber auch schlammige Offroad-Pfade, überfüllte Stadtstraßen und Baustellen.
- Der Datensatz: Er enthält 2.008 Webseiten von über 1.600 verschiedenen Websites.
- Die Vielfalt: Statt nur Nachrichten deckt er 7 verschiedene „Typen" von Seiten ab:
- Artikel (Die einfache Autobahnfahrt).
- Foren (Unordentliche Schwarze Bretter mit Benutzerkommentaren).
- Produkte (Kataloge mit versteckten Spezifikationen und Preisen).
- Sammlungen (Gitter von Artikeln mit Filtern).
- Listings (Wiederholende Karten von Zusammenfassungen).
- Dokumentation (Technische Handbücher mit Code).
- Service-Seiten (Marketing-Seiten mit Abschnitten, die überall verstreut sind).
Wie sie es erstellten (Das „Goldstandard"-Rezept)
Um sicherzustellen, dass die Antworten korrekt waren, fragten sie nicht nur eine Person, die die Arbeiten zu benoten. Sie verwendeten eine fünfstufige Fließbandproduktion:
- KI-Entwurf: Eine intelligente KI schrieb den ersten Entwurf dessen, was der „Hauptinhalt" sein sollte.
- Automatische Prüfung: Skripte prüften auf offensichtliche Fehler.
- KI-Review: Vier verschiedene KI-Experten rezensierten die Arbeit und suchten nach verschiedenen Arten von Fehlern.
- Snippet-Prüfung: Sie führten Skripte aus, um sicherzustellen, dass bestimmte erforderliche Phrasen enthalten waren und bestimmte „Müll"-Phrasen (wie Werbung) ausgeschlossen wurden.
- Menschlicher Finalist: Ein menschlicher Experte prüfte das Endprodukt, um etwaige Streitigkeiten beizulegen und die Qualität sicherzustellen.
Die Ergebnisse: Die „Nachrichten" sind gelöst, der Rest ist kaputt
Foley testete 13 verschiedene Computerprogramme (11 mit alten Regeln, 2 mit moderner KI) gegen diesen neuen Test. Hier ist, was sie fanden:
- Die Nachrichtenartikel: Jeder bestand mit Bravour. Die besten Programme erzielten 93% Genauigkeit. Der Autor kommt zu dem Schluss, dass das Lesen von Nachrichtenartikeln im Wesentlichen ein „gelöstes Problem" ist.
- Der Rest des Webs: Die Noten fielen dramatisch.
- Bei Foren war die Lücke zwischen den besten und schlechtesten Programmen riesig (ein Unterschied von 27 Punkten).
- Bei Produktseiten bekam das beste Programm nur etwa 67 % richtig, während andere mit versteckten Daten kämpften.
- Bei Sammlungen betrug die beste Note nur 71 %, während die schlechteste bei 41 % lag.
Die große Überraschung: Größere KI ist nicht der Allheilmittel
Viele gehen davon aus, dass neuere, größere Künstliche-Intelligenz-Modelle (Neuronale Systeme) automatisch in allem besser sein würden.
- Die Realität: Die großen KI-Modelle lösten das Problem nicht. Tatsächlich schnitten sie auf Nicht-Nachrichten-Seiten oft schlechter ab als die einfacheren, regelbasierten Programme.
- Warum? Die KI-Modelle wurden hauptsächlich auf Nachrichtenartikeln trainiert, also erbten sie denselben Bias. Sie sind großartig in Romanen, werden aber immer noch von den unordentlichen Schwarzen Brettern und Produktkatalogen verwirrt.
Geschwindigkeit vs. Intelligenz
Die Arbeit betrachtete auch die Geschwindigkeit.
- Regelbasierte Programme: Blitzschnell (Millisekunden pro Seite).
- KI-Programme: Langsam wie eine Schnecke (Tausende von Millisekunden pro Seite) und benötigen teure Grafikkarten zum Ausführen.
Das Fazit
Das Internet ist nicht nur eine Sammlung von Nachrichtenstories. Es ist eine Mischung aus vielen verschiedenen Strukturen. Die alten Tests haben uns belogen, indem sie nur Nachrichten testeten. Dieser neue Benchmark (WCXB) zeigt, dass Computer zwar großartig im Lesen von Nachrichten sind, aber immer noch damit kämpfen, die komplexen, strukturierten und unordentlichen Teile des Webs zu verstehen. Um voranzukommen, müssen wir aufhören, alle Webseiten so zu behandeln, als wären sie Nachrichtenartikel.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.