🔬 physics

Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections

Dit paper introduceert een eenvoudige methode om de absolute dekking van een webcrawl te schatten zonder externe grondwaarheid, door longitudinale overlap tussen opeenvolgende crawls te modelleren met een urn-proces en lineaire regressie, wat resulteert in een geschatte dekking van ongeveer 46% voor de Duitse academische webcrawl.

Oorspronkelijke auteurs: Michael Paris, Grigori Paris, Fabian Baumann

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michael Paris, Grigori Paris, Fabian Baumann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een foto te maken van een enorme, levende stad: het internet. Maar in plaats van de hele stad te fotograferen, loop je met een camera door een specifieke wijk (bijvoorbeeld de academische wereld van Duitsland) en maak je foto's van zoveel mogelijk gebouwen als je kunt voordat je batterij leeg is.

De grote vraag is: Hoeveel van die wijk heb je eigenlijk vastgelegd? Heb je 10% gezien, of misschien wel 90%?

Dit is precies het probleem waar dit wetenschappelijke artikel over gaat. Het is lastig om te weten hoeveel je hebt "gevangen" als je geen complete lijst hebt van alle gebouwen die er überhaupt bestaan.

Hier is de oplossing van de auteurs, vertaald in simpele taal met een paar leuke vergelijkingen:

1. Het Probleem: De Onzichtbare Lijst

Normaal gesproken zou je om te weten hoeveel je hebt gezien, een "perfecte lijst" van alle gebouwen nodig hebben (de grondwaarheid). Maar die lijst bestaat niet. Je weet alleen hoeveel foto's je hebt gemaakt (bijvoorbeeld 100 miljoen), maar je weet niet hoeveel er in totaal zijn.

Eerdere methoden waren als het vergelijken van twee verschillende fotografen: "Fotograaf A heeft 2 keer zo veel foto's als Fotograaf B." Maar dat zegt je nog steeds niet of ze 10% of 90% van de stad hebben gezien.

2. De Oplossing: De "Vissen in een Meer"-Vergelijking

De auteurs gebruiken een slimme truc die lijkt op het tellen van vissen in een meer.

De Oude Methode (Vissen): Je vangt 100 vissen, merkt ze, en laat ze weer gaan. Later vang je er weer 100. Als er 10 gemerkte vissen tussen zitten, weet je dat je ongeveer 10% van de vispopulatie hebt gevangen.
De Nieuwe Methode (De Web-Archivaris): Je hebt geen tweede visser nodig. Je gebruikt jouw eigen eerdere foto's.

Stel je voor dat je elke zes maanden een nieuwe "rondleiding" door de academische wereld doet.

Rondleiding 1: Je ziet gebouwen A, B, C...
Rondleiding 2 (6 maanden later): Je ziet gebouwen A, B, D...

Sommige gebouwen zijn er nog steeds (A en B), andere zijn verdwenen (C is afgebrand of verhuisd) en er zijn nieuwe bijgekomen (D).

3. De "Urn"-Truc (De Magische Vaas)

De auteurs gebruiken een wiskundig model dat ze een "urn-model" noemen.

De Urn: Denk aan een enorme vaas met alle mogelijke webpagina's erin.
De Turnover: Elke keer dat je een nieuwe rondleiding doet, verdwijnen sommige pagina's uit de vaas (ze zijn offline gegaan) en komen er nieuwe bij.
De Overlap: Als je kijkt hoeveel pagina's uit je eerste rondleiding nog steeds in je tweede rondleiding zitten, kun je een patroon zien.

De kern van de ontdekking:
Als je kijkt naar hoe snel de overlap tussen je rondleidingen afneemt naarmate ze verder uit elkaar in de tijd liggen, kun je twee dingen berekenen:

Hoe snel verandert de wereld? (Hoe snel verdwijnen pagina's?)
Hoe groot is je vangst? (Hoeveel van de totale wereld heb je eigenlijk gezien?)

Het is alsof je kijkt naar hoe snel de mensen in een drukke treinwagon wisselen. Als je weet hoe snel mensen in- en uitstappen, en je ziet hoeveel mensen je bij de eerste stop nog ziet bij de tiende stop, kun je berekenen hoeveel mensen er in totaal in dat systeem rondlopen, zelfs zonder ze allemaal te tellen.

4. Wat hebben ze ontdekt?

Toen ze dit toepasten op de Duitse academische wereld (universiteiten), ontdekten ze iets verrassends:

De dekking: Hun archief bevat ongeveer 46% van alle bestaande academische webpagina's die ze hadden kunnen vinden. Dat klinkt misschien niet als "alles", maar voor zo'n groot, chaotisch systeem is dat een heel goed resultaat!
De snelheid: Ongeveer 27% van de pagina's verdwijnt elk jaar en wordt vervangen door nieuwe. De "halveringstijd" van een webpagina is dus ongeveer 2 jaar.

Waarom is dit belangrijk?

Vroeger moesten archivisten wachten tot er een ander archief was om hun werk te vergelijken, of ze moesten een lijst van "bekende dingen" hebben om te checken of ze die hadden.

Nu hebben ze een eigen meetlat. Ze hoeven niemand anders te vertrouwen. Ze kunnen gewoon naar hun eigen geschiedenis kijken en zeggen: "Oké, we hebben ongeveer de helft van de taart gegeten."

Dit helpt bibliothecarissen en onderzoekers om te weten of ze genoeg data hebben om bijvoorbeeld slimme AI's (zoals Large Language Models) op te trainen, of of ze nog meer moeten gaan zoeken.

Kort samengevat:
Ze hebben een manier bedacht om te weten hoeveel ze hebben gevonden, puur door te kijken naar hoe vaak ze dezelfde dingen tegenkomen in hun eigen herhaalde zoektochten, zonder ooit te weten hoeveel er in totaal te vinden was. Een slimme manier om een onzichtbare grens te meten!

Probleemstelling

Webarchieven slaan delen van het web op, maar het kwantificeren van de volledigheid (coverage) van deze archieven blijft een groot uitdaging. Een webcrawl wordt gedefinieerd door een configuratie die bepaalt hoeveel URL's er worden verzameld (de limiet $M$ ). Het fundamentele probleem is echter dat de totale grootte van het "crawlbare web" binnen het bereik van de crawler (de populatie $N$ ) onbekend is. Zonder kennis van $N$ kan de werkelijke dekking $c = M/N$ niet worden bepaald.

Bestaande methoden hebben beperkingen:

Vergelijking van meerdere crawlers: Geeft slechts relatieve grootteverhoudingen (bijv. "Crawler A is 2x groter dan B"), maar geen absolute dekking.
Externe ground truth: Vereist specifieke datasets (bijv. entiteiten uit referentiedatabases) en meet alleen dekking voor die specifieke klasse, niet voor de volledige URL-ruimte.
Kwaliteitsframeworks: Beoordelen vaak de coherentie van individuele pagina's, niet de domeinbrede dekking.

Het doel van dit onderzoek is een methode te ontwikkelen om de absolute dekking te schatten uitsluitend op basis van longitudinale data van één enkel archief, zonder externe datasets of vergelijking met andere crawlers.

Methodologie: Het Urn-model en Set-intersecties

De auteurs introduceren een theoretisch model gebaseerd op een urn-proces om het crawlen van het web te simuleren.

Het Model:
- De populatie bestaat uit $N$ unieke URLs (de urn).
- De tijd verloopt in discrete stappen ( $t = 1, \dots, T$ ), corresponderend met opeenvolgende crawls.
- Turnover: Tussen twee crawls wordt een fractie $(1-\alpha)$ van de URLs verwijderd en vervangen door nieuwe URLs. De parameter $\alpha$ ( $0 \le \alpha \le 1$ ) vertegenwoordigt de temporele persistentie (hoeveelheid URL's die blijven bestaan).
- Sampling: Bij elke stap wordt een steekproef $u_t$ van grootte $M$ willekeurig getrokken uit de urn.
Afleiding van de Formule:
De kerninzicht is dat de verwachte overlap tussen twee crawls op tijdstippen $i$ en $j$ (met tijdsverschil $|i-j|$ ) afhangt van de dekking $c$ en de persistentie $\alpha$ .
De verwachte fractie van URL's in crawl $i$ die ook in crawl $j$ voorkomen, wordt gegeven door:
$f(T) = c \cdot \alpha^{T-1}$
Waarbij:
- $c = M/N$ de absolute dekking is.
- $T$ het aantal tijdstappen (jaren) tussen de crawls is.
- $\alpha$ de jaarlijkse persistentie is.
Schattingsprocedure:
Door de empirische overlap (containment) $g(u_i, u_j) = |u_i \cap u_j| / |u_i|$ te log-transformeren en te regresseren tegen het tijdsverschil, kan een lineair model worden gefit:
$\log(g(u_i, u_j)) \approx \log(c) + |i-j| \cdot \log(\alpha)$
- De y-afsnijding (intercept) levert de schatting voor de dekking $c$ .
- De helling (slope) levert de schatting voor de persistentie $\alpha$ .
Het model houdt ook rekening met "crawler bias" (systematische herbezoek aan specifieke subgrafen) via een residual term in de regressie.

Toepassing en Resultaten

De methode werd toegepast op de Duitse Academische Web (GAW), een longitudinale, gefocuste crawl van Duitse universiteitswebsites.

Dataset: 15 halfjaarlijkse crawls uitgevoerd tussen december 2013 en december 2021.
Scope: Ongeveer 150 seed-domeinen (universiteiten met doctoraatsrecht), met een limiet van ~100 miljoen records per crawl.
Validatie: De empirische data toonde een uitstekende overeenkomst met het theoretische model ( $R^2 = 0.95$ ).

Belangrijkste bevindingen:

Absolute Dekking: De schatting voor de dekking ( $c$ ) bedraagt ongeveer 46%. Dit betekent dat elke individuele crawl gemiddeld 46% van het volledige, crawlbare academische web vastlegt.
URL Persistentie: De jaarlijkse persistentie ( $\alpha$ ) is ongeveer 0,73. Dit komt overeen met een jaarlijkse turnover van 27% en een halfwaardetijd van ongeveer 2,2 jaar voor URL's, wat consistent is met eerdere studies.
Tijdsevolutie: De analyse toonde een stijgende trend in de dekking over de periode 2013–2021. Dit suggereert dat de crawl-efficiëntie is toegenomen of dat de grootte van het crawlbare doelwit ( $N$ ) is afgenomen.

Bijdragen en Significance

De belangrijkste bijdragen van dit werk zijn:

Onafhankelijke Schatting: Het is de eerste methode die absolute dekking kan schatten uitsluitend op basis van longitudinale data van één archief, zonder externe ground truth of vergelijking met andere crawlers.
Theoretische Onderbouwing: Het koppelt webcrawl-overlap aan klassieke capture-recapture methoden (uit de ecologie) via een eenvoudig urn-model, wat een theoretisch fundament biedt voor het gebruik van zelf-intersecties.
Praktische Toepasbaarheid: Archiefbeheerders kunnen nu de volledigheid van hun collectie monitoren en beslissingen nemen over crawl-frequentie (bijv. bij een groeiende populatie versus een stabiele populatie).
Generaliseerbaarheid: De methode is toepasbaar op elke longitudinale, gefocuste crawl, niet alleen op academische webarchieven.

Beperkingen

De auteurs benadrukken enkele aannames en beperkingen:

Uniformiteit: Het model gaat uit van een redelijk uniforme steekproef. Realistische crawls (bijv. breedte-georiënteerd) hebben biases die de schatting kunnen beïnvloeden (hoewel dit deels wordt gecorrigeerd via residuals).
Populatiegrootte: Het model veronderstelt dat de grootte van het doelwit ( $N$ ) relatief stabiel blijft tijdens de observatieperiode. Snelle groei (zoals bij sociale media) kan de interpretatie van de intercept verstoren.
URL vs. Content: De dekking wordt gemeten op URL-niveau, niet op content-niveau. Een URL kan bestaan terwijl de inhoud erachter volledig verandert.

Conclusie

Dit artikel biedt een krachtig, interpreteerbaar en zelfstandig instrument om de volledigheid van webarchieven te kwantificeren. Door de dynamiek van URL-overlap in de tijd te analyseren, kunnen onderzoekers en archivarissen een schatting maken van hoeveel van het "crawlbare web" daadwerkelijk wordt vastgelegd, wat cruciaal is voor de betrouwbaarheid van downstream taken zoals het trainen van Large Language Models (LLMs) op webdata.