Technisch overzicht: Is misinformatie opener? Een studie naar de gatekeeping van robots.txt op het web

Probleemstelling

Large Language Models (LLM's) vertrouwen steeds vaker op webcrawling om hun trainingscorpora bij te werken, een praktijk die de zorgen over datakwaliteit en de opname van misinformatie heeft geïntensiveerd. Hoewel het Robots Exclusion Protocol (REP) dient als een vrijwillig mechanisme voor website-eigenaren om toegangvoorkeuren aan automatische agenten te communiceren, blijft het onduidelijk hoe verschillende categorieën contentproviders — specifiek betrouwbare nieuwsmedia versus misinformatie-sites — robots.txt gebruiken om toegang tot AI-crawlers te beheren. Het kernprobleem dat wordt geadresseerd is of er een discrepantie bestaat in hoe deze twee groepen toegangscontroles configureren, wat potentieel een asymmetrie creëert waarbij misinformatie-content toegankelijker blijft voor AI-trainingsdata dan betrouwbare content.

Methodologie

De studie maakt gebruik van een longitudinale, multi-vantage point analyse van robots.txt-configuraties en actieve blokkeringsgedragingen.

• Dataset Constructie: De auteurs hebben een dataset samengesteld van 4.079 websites gebaseerd op classificaties van Media Bias/Fact Check (MBFC). Dit omvatte 3.369 "betrouwbare" nieuwswebsites (beoordeeld als Hoog/Zeer Hoog feitelijk rapporterend) en 710 "misinformatie"-websites (beoordeeld als Laag/Zeer Laag feitelijk rapporterend, gelabeld als Questionable Source of Conspiracy-Pseudoscience).
• Identificatie van AI-agenten: Een uitgebreide lijst van 63 unieke AI-gerelateerde user agents werd samengesteld uit vier bronnen: Dark Visitors, Cloudflare Radar, eerdere academische studies (Liu et al.) en de ai.robots.txt repository.
• Dataverzameling:
  • Cross-sectionele Crawl: robots.txt-bestanden en homepage-responses werden opgehaald vanaf zeven geografisch verspreide AWS vantage points (Duitsland, Zweden, VS, Brazilië, Afrika, Azië, Australië) in mei 2025. Om robuustheid te garanderen, werd het meest permissieve geldige resultaat behouden.
  • Longitudinale Analyse: Historische snapshots werden opgehaald uit het Internet Archive op zes intervallen van 4 maanden tussen september 2023 en mei 2025 om de evolutie van uitsluitingsrichtlijnen te volgen.
  • Meting van Actieve Blokkeringsmechanismen: Om blokkeringsmechanismen buiten robots.txt te detecteren, voerden de auteurs sequentiële HTTP-verzoeken uit naar homepages, waarbij alleen de User-Agent header werd gevarieerd om specifieke AI-crawlers (bijv. ClaudeBot, Anthropic-AI) te emuleren. De responses werden vergeleken met controle-crawls om actieve denial of service op basis van user-agent strings te identificeren.
• Validatie: De studie maakt onderscheid tussen sites die niet-functioneel zijn en sites die daadwerkelijk geen robots.txt bestand hebben door HTTP-statuscodes en redirects te analyseren.

Belangrijkste Bijdragen en Resultaten

1. Discrepantie in robots.txt Configuratie

De studie onthult een scherp contrast in hoe betrouwbare en misinformatie-sites de toegang voor AI-agenten configureren:

• Prevalentie van Beperkingen: Onder sites met geldige robots.txt bestanden bevat 60,0% van de betrouwbare nieuwswebsites een DisallowAll directive voor ten minste één AI-agent, vergeleken met slechts 9,1% van de misinformatie-sites.
• Omvang van Uitsluiting: Betrouwbare sites blokkeren gemiddeld 15,5 verschillende AI-agenten, terwijl misinformatie-sites gemiddeld 0,77 verschillende agenten blokkeren.
• Specifieke Agenten: Meer dan 50% van de betrouwbare sites verbiedt GPTBot, en 40–50% beperkt belangrijke agenten zoals CCBot, ClaudeBot en Google-Extended. In contrast blokkeren misinformatie-sites zelden specifieke agenten, waarbij de DisallowAll ratio voor een enkele agent onder de 5% blijft.
• Populariteitsfactor: De discrepantie blijft bestaan zelfs wanneer er wordt gecontroleerd voor site-populariteit (Tranco rank), wat aangeeft dat het verschil wordt gedreven door de aard van de contentbron en niet enkel door de beschikbaarheid van middelen.

2. Actieve Blokkeringsmechanismen

De studie mat actieve blokkering (het weigeren van toegang via de HTTP-response gebaseerd op User-Agent headers):

• Adoptie: Beide categorieën maken gebruik van actieve blokkering, maar de correlatie met de verklaarde policies verschilt.
• Correlatie: Voor betrouwbare sites komt het actieve blokkeringsgedrag nauw overeen met hun robots.txt directives. Zo blokkeren 16,9% van de betrouwbare sites zowel ClaudeBot als Anthropic-AI actief, en bijna de helft van deze heeft ook bijbehorende robots.txt regels.
• Gedrag van Misinformatie-sites: Misinformatie-sites vertrouwen relatief meer op actieve blokkering zonder bijbehorende robots.txt declaraties (bijv. 9,8% blokkeert beide agenten actief, maar minder dan 2% heeft robots.txt regels voor hen).

3. Longitudinale Trends (2023–2025)

Analyse van zes snapshots laat een groeiende kloof zien over de tijd:

• Betrouwbare Sites: Het percentage betrouwbare sites dat ten minste één AI-agent verbiedt, steeg van 23% in september 2023 naar bijna 60% in mei 2025. Het mediaan aantal verboden agenten oversteeg de 25 in het begin van 2025.
• Misinformatie-sites: Deze sites bleven grotendeels passief, waarbij de disallow rates onder de 10% bleven en het mediaan aantal geblokkeerde agenten gedurende de hele periode nabij nul bleef.
• Triggers: De toename van restricties bij betrouwbare sites correleert met publieke aankondigingen over AI-datagebruik, specifieke crawler-gedragingen (bijv. PerplexityBot die directives negeert) en wetgevende ontwikkelingen zoals de EU AI Act.

Betekenis en Claims

Het artikel stelt dat de bevindingen wijzen op een groeiende asymmetrie in content-toegankelijkheid die de beschikbare trainingsdata voor LLM's fundamenteel kan vormen.

• Verschuiving in het Datamilieu: Naarmate betrouwbare nieuwsbronnen systematisch afzien van AI-crawling via robots.txt en actieve blokkering, terwijl misinformatie-sites permissief blijven, kan het relatieve aandeel van lage kwaliteit of onjuiste informatie in de beschikbare trainingsdata voor AI toenemen.
• Zelfversterkende Lus: De auteurs suggereren een risico waarbij permissieve misinformatie-sites (sommigen potentieel AI-gegenereerd) continu worden gescraped, herverdeeld en opnieuw opgenomen in toekomstige trainingscorpora, wat de reikwijdte en de vermeende legitimiteit van misinformatie mogelijk versterkt.
• Ethische en Transparantie Implicaties: De studie benadrukt de cruciale rol van robots.txt als governance-instrument voor webtransparantie en data-ethiek. Het suggereert dat de vrijwillige aard van het protocol momenteel voor een ongelijk speelveld zorgt waarbij de "openheid" van het web omgekeerd gecorreleerd is met de geloofwaardigheid van de bron.

De auteurs blijven bescheiden over hun claims en merken op dat zij niet het werkelijke gedrag van AI-crawlers verifiëren (alleen de beoogde restricties) en geen direct causaal verband kunnen vaststellen tussen specifieke uitsluitingspolicies en de uiteindelijke samenstelling van propriëtaire LLM-trainingsdatasets. Zij stellen echter dat de geobserveerde trends in toegangscontrolemechanismen een significante indicator zijn van het evoluerende datalandschap voor AI.