Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections
Die vorgestellte Studie entwickelt eine einfache Methode zur Schätzung der absoluten Abdeckung von Web-Crawls ausschließlich anhand longitudinaler Schnittmengen der eigenen Archivdaten, ohne externe Referenzdaten zu benötigen, und wendet diese erfolgreich auf den deutschen akademischen Webraum an.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wie groß ist eigentlich das Internet? Ein einfacher Weg, um die Lücken im Netz zu finden
Stell dir vor, du hast einen riesigen, unsichtbaren Ozean voller Inseln. Das ist das Internet. Du hast ein kleines Boot (den „Crawler"), das diese Inseln besuchen und auf einer Liste notieren soll. Aber hier ist das Problem: Du weißt nicht, wie viele Inseln es insgesamt gibt. Du siehst nur die, die dein Boot erreicht hat.
Die Forscher Michael Paris, Grigori Paris und Fabian Baumann haben eine geniale Methode entwickelt, um herauszufinden, wie viel Prozent dieses Ozeans dein Boot tatsächlich abgedeckt hat – ohne dass du eine Landkarte vom ganzen Ozean brauchst oder jemand anderes mit einem zweiten Boot vergleichen musst.
Hier ist die Erklärung in einfachen Schritten:
1. Das Problem: Der „versteckte" Ozean
Normalerweise wissen wir nur: „Wir haben 100 Millionen Inseln gefunden." Aber wie viele gibt es wirklich? 100 Millionen? 200 Millionen? Oder 1 Milliarde?
Bisherige Methoden waren wie ein Wettkampf: Man verglich Boot A mit Boot B. Aber das sagt nur, wer mehr gefunden hat, nicht wie viel vom ganzen Ozean entdeckt wurde. Oder man brauchte eine externe Liste bekannter Inseln (wie eine Schatzkarte), die aber oft unvollständig ist.
2. Die geniale Idee: Der „Urnenspiel"-Trick
Die Autoren nutzen einen einfachen mathematischen Trick, den sie Urnenspiel nennen. Stell dir eine große Urne vor, die mit allen möglichen Inseln (URLs) gefüllt ist.
- Der Ozean verändert sich: Inseln verschwinden (veralten) und neue tauchen auf. Das passiert ständig.
- Das Boot fährt mehrmals: Statt nur einmal hinzufahren, fährt das Boot über viele Jahre hinweg immer wieder raus (alle halben Jahre).
3. Der Schlüssel: Die „Wiederholung"
Das Geniale an ihrer Methode ist, dass sie nicht schauen, was das Boot findet, sondern wie oft es dieselben Inseln wiederfindet.
Stell dir vor, du wirfst einen Ball in einen Raum voller Menschen (die Inseln).
- Wenn du den Ball heute wirfst und jemand fängt ihn, ist das eine Treffer.
- Wenn du den Ball in einem Jahr wieder wirfst, wie hoch ist die Chance, dass derselbe Mensch ihn wieder fängt?
- Wenn der Raum voll ist und sich nichts ändert, ist die Chance hoch.
- Wenn sich viele Leute im Raum bewegen und neue kommen, ist die Chance geringer.
Die Forscher haben 15 Fahrten des Bootes über 8 Jahre analysiert. Sie haben geguckt: Wie viele Inseln, die wir im Jahr 2014 gesehen haben, tauchen auch im Jahr 2016 wieder auf?
4. Die Entschlüsselung: Die Kurve der Vergesslichkeit
Wenn man die Trefferzahlen über die Zeit aufzeichnet, sieht man eine klare Linie:
- Je länger die Zeit zwischen zwei Fahrten ist, desto weniger Inseln sind noch die gleichen. (Das ist wie ein Fotoalbum: Je älter das Foto, desto weniger Freunde sind noch auf dem Bild, weil einige weggezogen sind oder neue dazu kamen).
- Aber die Steigung dieser Linie verrät etwas Wichtiges: Wie schnell ändern sich die Inseln? (Wie schnell sterben URLs aus?)
- Der Startpunkt der Linie (wenn die Zeitdifferenz 0 wäre) verrät die wahre Größe des Ozeans.
Die Analogie:
Stell dir vor, du füllst ein Glas mit Wasser (das ist dein Boot). Du weißt nicht, wie groß der See ist, aus dem du schöpfst.
Aber du füllst das Glas immer wieder neu. Jedes Mal, wenn du es wieder füllst, mischt sich ein wenig altes Wasser mit neuem.
Wenn du genau messst, wie viel altes Wasser in jedem neuen Glas ist, kannst du berechnen: „Ah, mein Glas fasst genau 46 % von dem, was im See schwimmt!"
5. Das Ergebnis für die deutsche Wissenschaft
Sie haben diese Methode auf das Deutsche Wissenschafts-Web angewendet (Universitäten, Forschungseinrichtungen).
- Ergebnis: Ihr Boot fängt etwa 46 % aller erreichbaren wissenschaftlichen Seiten ein.
- Bedeutung: Das ist gar nicht schlecht! Es bedeutet, dass fast die Hälfte des „lesbaren" wissenschaftlichen Internets archiviert ist. Aber es bedeutet auch, dass mehr als die Hälfte noch fehlt oder zu schnell verschwindet, um eingefangen zu werden.
- Dauerhaftigkeit: Eine typische wissenschaftliche Webseite bleibt etwa 2,2 Jahre lang stabil, bevor sie verschwindet oder sich ändert.
Warum ist das wichtig?
Früher mussten Archive raten oder externe Listen nutzen. Jetzt können sie sich selbst prüfen.
- Für Archive: Sie wissen jetzt genau, wie gut sie arbeiten, ohne jemanden anderen zu brauchen.
- Für KI und Forschung: Wenn wir wissen, dass wir nur 46 % des Wissens haben, wissen wir auch, dass unsere KI-Modelle (wie Chatbots) Lücken haben. Wir wissen, wie viel „Wissen" uns fehlt.
Fazit:
Die Autoren haben einen cleveren Weg gefunden, die Größe eines Ozeans zu schätzen, indem sie nur beobachten, wie oft dasselbe Boot dieselben Wellen trifft. Sie brauchen keine Landkarte, nur Geduld und die Beobachtung der Zeit. Und das Ergebnis zeigt uns: Wir haben einen guten Teil des deutschen Wissenschafts-Netzes gesichert, aber der Ozean ist immer noch riesig und voller Geheimnisse.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.