ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation
Dieser Beitrag stellt ScrapeGraphAI-100k vor, einen groß angelegten, realweltlichen Datensatz mit 93.695 schema-konformen Extraktionsereignissen, die aus der Telemetrie von Praktikern abgeleitet wurden und das Training sowie die Benchmarking von Large Language Models bei strukturierten Generierungsaufgaben ermöglichen, bei denen bisherige synthetische oder rein textbasierte Korpora unzureichend waren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal übermäßig schwatzhaften Roboter-Assistenten (ein Large Language Model). Sie bitten ihn, eine unordentliche Webseite zu lesen und spezifische Details herauszufiltern, wie etwa den Preis eines Schuhs oder den Autor eines Artikels. Sie möchten die Antwort in einer perfekten, ordentlichen Box (ein JSON-Schema), nicht in einem abschweifenden Absatz.
Das Problem ist, dass wir zwar viele Daten darüber haben, wie diese Roboter sprechen, aber nicht genügend Daten darüber, wie sie Informationen von echten Webseiten extrahieren, wenn Sie ihnen strenge Regeln vorgeben. Die meisten bestehenden Datensätze sind wie im Labor erfundene Übungsdurchgänge – sie sehen nicht aus wie die unordentlichen, realen Webseiten, die Menschen tatsächlich nutzen.
Hier kommt „ScrapeGraphAI-100k" ins Spiel.
Betrachten Sie diesen Artikel als die Einführung eines massiven, realweltlichen Trainingshandbuchs für diese Roboter. Hier ist die Aufschlüsselung in einfachen Worten:
1. Der „Realwelt-Fitnessstudio"
Die Autoren haben keine gefälschten Webseiten erfunden. Sie sammelten 93.695 echte Beispiele von Menschen, die ihre Software nutzten, um Daten aus dem Internet zu extrahieren.
- Die Quelle: Sie fragten 9 Millionen Nutzer ihres Open-Source-Tools, ob sie anonym teilen könnten, was sie taten. Nach Bereinigung von Duplikaten und Rauschen blieben etwa 93.000 dieser Interaktionen übrig.
- Das „Vier-Tupel": Jedes Beispiel in diesem Datensatz ist eine vollständige Geschichte:
- Der Inhalt: Der Webseiten-Text (konvertiert in Markdown, wie ein sauberes Dokument).
- Die Anfrage: Der Prompt des Menschen (z. B. „Holen Sie sich den Preis und die Größe").
- Die Regeln: Die strenge „Box" (JSON-Schema), die der Roboter ausfüllen musste.
- Das Ergebnis: Was der Roboter tatsächlich zurückgeschrieben hat.
2. Die „Komplexitätsfalle"
Die Forscher analysierten diese Beispiele und entdeckten ein faszinierendes Muster, wie ein Geschwindigkeitsbegrenzungsschild für Roboter.
- Einfache Aufgaben: Wenn die Regeln (Schema) einfach sind (wie die Anfrage nur nach Name und Preis), sind die Roboter hervorragend darin, ihnen zu folgen.
- Die Klippe: Je komplexer die Regeln werden (mehr verschachtelte Ordner, mehr Felder, mehr „Wenn-dann"-Logik), desto eher beginnen die Roboter zu versagen.
- Die Erkenntnis: Es gibt eine scharfe „Versagensschwelle". Sobald ein Regelsatz zu tief wird oder zu viele Schlüssel hat, sinkt die Erfolgsrate wie ein Stein. Es ist, als würde man einen Menschen bitten, ein Formular mit 500 Feldern auszufüllen; irgendwann geben sie einfach auf oder machen Fehler.
3. Das „Schüler-gegen-Lehrer"-Experiment
Um zu beweisen, dass dieser Datensatz nützlich ist, führten die Autoren ein kleines Experiment durch, wie ein Projekt auf einer Wissenschaftsmesse:
- Der Lehrer: Ein sehr intelligenter, teurer Modell (GPT-5-nano), der perfekte Antworten für den Datensatz generierte.
- Der Schüler: Ein winziges, billiges Modell (1,7 Milliarden Parameter), das mit diesem neuen Datensatz „unterrichtet" wurde.
- Das Ergebnis: Der winzige Schüler lernte so gut von den realweltlichen Beispielen, dass er begann, fast so gut zu agieren wie ein viel größeres, teureres Modell (30 Milliarden Parameter), wenn es darum ging, den strengen Regeln zu folgen.
- Der Haken: Der Schüler war hervorragend darin, den Umriss der Box korrekt zu zeichnen (strukturelle Genauigkeit), hatte aber manchmal immer noch Schwierigkeiten, die exakten Wörter innerhalb der Box perfekt zu bekommen (semantische Korrektheit).
4. Was ist in der Box?
- Sprachen: Es ist hauptsächlich Englisch und traditionelles Chinesisch (etwa 88 % der Daten), was 18.000 verschiedene Arten von „Regelsätzen" abdeckt.
- Was fehlt: Der Artikel gibt zu, dass sie den rohen, unordentlichen HTML-Code der Webseiten nicht enthalten haben (nur die saubere Textversion) und dass sie noch keinen „menschlich verifizierten" Goldstandard für jede einzelne Antwort haben. Sie sparen das für ein zukünftiges Update auf (Version 2.0).
Das Fazit
Dieser Artikel sagt: „Wir haben eine massive Bibliothek mit realweltlichen Beispielen gebaut, in denen Roboter versuchten, strenge Regeln zu befolgen, um Daten zu extrahieren. Wir haben festgestellt, dass Roboter verwirrt werden, wenn die Regeln zu komplex werden, aber wenn Sie einen kleinen Roboter auf diesen realen Daten trainieren, kann er lernen, den Regeln fast so gut zu folgen wie ein riesiger Roboter."
Es ist ein Werkzeug für Forscher, um bessere, kleinere und effizientere KI-Tools zu entwickeln, die Webseiten lesen können, ohne sich in den Details zu verirren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.