🤖 AI

Identifying AI Web Scrapers Using Canary Tokens

Dit artikel stelt een nieuwe techniek voor die dynamische kanarietokens gebruikt om automatisch en nauwkeurig te identificeren welke web-scrapers data voeden aan specifieke grote taalmodellen, waardoor eigenaren van websites ongewenst scrapen beter kunnen controleren zonder afhankelijk te zijn van vrijwillige bedrijfsopenbaringen.

Oorspronkelijke auteurs: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bakker bent die precies wil weten welke bezorgvrachtwagens ingrediënten brengen naar een enorme, hongerige robotchef. Je vermoedt dat de robot deze ingrediënten gebruikt om nieuwe recepten (antwoorden) voor klanten te bedenken. Maar de vrachtwagens zijn sluipend: ze dragen vermommingen, ze lenen misschien vrachtwagens van andere bedrijven, en de robotchef vertelt je niet altijd waar hij zijn eten vandaan heeft.

Dit artikel gaat over een slimme truc die de onderzoekers gebruikten om deze sluipende vrachtwagens op heterdaad te betrappen. Ze noemen hun truc "Canary Tokens".

De Opzet: De "Val"-websites

In plaats van direct op de robot te spioneren, bouwden de onderzoekers 20 nepwebsites. Denk aan deze websites als aangepast aas.

Het Aas: Ze creëerden een sjabloon voor een website (zoals een nep profiel van een persoon of een nepbedrijfspagina).
De Canary Token: Voordat de website laadde, gaf de onderzoekers elke bezoeker een unieke, onzichtbare "stempel" of "token".
- Als een vrachtwagen met een "Google"-hoed de website bezocht, zou de website kunnen zeggen: "Mijn favoriete kleur is Blauw."
- Als een vrachtwagen met een "Bing"-hoed de website bezocht, zou de website kunnen zeggen: "Mijn favoriete kleur is Paars."
- Als een vrachtwagen met een "Chrome"-hoed de website bezocht, zou de website kunnen zeggen: "Mijn favoriete kleur is Groen."

De onderzoekers hielden een geheime lijst bij: "Blauw" = Google-vrachtwagen, "Paars" = Bing-vrachtwagen, enzovoort.

De Test: De Robotchef Vragen

Na deze websites twee maanden online te hebben gelaten (waardoor de vrachtwagens ruim de tijd kregen om te bezoeken en de inhoud te onthouden), stelden de onderzoekers 22 verschillende AI-chatbots (zoals ChatGPT, Claude en anderen) vragen over deze nepwebsites.

Ze stelden vragen zoals: "Vertel me over deze nep-persoon. Wat is hun favoriete kleur?"

De Resultaten: Wie Eet Wat?

De onderzoekers keken naar de antwoorden die de robots gaven. Als de robot zei: "Hun favoriete kleur is Blauw," wisten de onderzoekers met zekerheid: "De Google-vrachtwagen heeft deze informatie aan de robot geleverd."

Hier is wat ze ontdekten:

1. Het "Vermomming"-Probleem
Veel van de AI-robots verschenen niet in hun officiële uniform.

Het Officiële Uniform: Sommige robots gaven toe: "Ik ben de OAI-SearchBot" (OpenAI's officiële vrachtwagen).
De Vermomming: Anderen verschenen in algemene kleding, zoals een gewone webbrowser (bijvoorbeeld "Chrome" of "Safari"). Het is alsof een bezorger zich voordoet als toerist zodat niemand hen stopt.
De Geleende Vrachtwagen: Verrassend genoeg bezochten veel robots de websites helemaal niet direct. In plaats daarvan vroegen ze een zoekmachine (zoals Google of Bing) om het bezoek voor hen te doen. De robot zou zeggen: "Ik vond deze informatie op Google", zelfs als de eigenaar van de website Google nooit toestemming had gegeven om het met de robot te delen.

2. Het "Geheugen"-Probleem (Caching)
De onderzoekers probeerden de robots te stoppen door de websites offline te halen (het licht uit te doen).

Het Resultaat: Zelfs nadat de websites een week weg waren, wisten de robots nog steeds de "favoriete kleuren".
De Metafoor: Het is alsof de robotchef het recept uit een kookboek heeft onthouden dat hij eerder heeft gestolen. Zelfs als je het kookboek later verbrandt, onthoudt de chef nog steeds de ingrediënten. De robots hielden vast aan oude data die ze eerder hadden opgehaald.

3. Het "Verboden Toegang"-bord Probleem (Robots.txt)
Website-eigenaren plaatsen vaak een bord genaamd robots.txt met de tekst: "Gelieve niet binnen te komen."

Het Resultaat: De onderzoekers plaatsten deze borden, maar de robots negeerden ze grotendeels. Ze bleven de inhoud bezoeken en onthouden.
De Uitzondering: Slechts één robot, Duck.ai, respecteerde het bord daadwerkelijk en stopte met bezoeken. De rest bleef doorgaan, ofwel omdat ze het bord niet zagen, of omdat ze besloten het te negeren.

De Grote Conclusie

Het artikel bewijst dat:

Je niet altijd kunt vertrouwen op wat een robot over zichzelf zegt. Ze verbergen vaak hun ware identiteit of gebruiken de vrachtwagens van anderen (zoekmachines) om data te krijgen.
Eenvoudig blokkeren niet werkt. Een website uitschakelen of een "Verboden Toegang"-bord plaatsen garandeert niet dat de robot vergeet wat het al heeft geleerd.
De "Canary Token"-truc werkt. Door unieke, willekeurige feiten aan verschillende bezoekers te serveren, kun je precies traceren welke "vrachtwagen" welke robot van informatie heeft voorzien, zelfs als de robot probeert zich te verstoppen.

Kortom, de onderzoekers bouwden een digitaal vingerafdruk-systeem om precies te zien hoe AI-chatbots informatie van het web stelen (of lenen), en onthulden dat het proces veel rommeliger en minder transparant is dan de bedrijven beweren.

Technische Samenvatting: Het Identificeren van AI-Webscrapers met Behulp van Canary Tokens

Probleemstelling

Grote Taalmodellen (LLMs) zijn afhankelijk van via web-scraping verkregen data voor zowel pre-training als augmentatie tijdens het uitvoeren van queries (bijvoorbeeld Retrieval Augmented Generation of live webzoekopdrachten). Hoewel dit de prestaties van het model verbetert, roept het aanzienlijke zorgen op met betrekking tot site-stabiliteit, privacy, auteursrecht en ethiek. Eigenaren van websites willen vaak de toegang tot hun inhoud beperken voor specifieke scrapers, doorgaans met behulp van mechanismen zoals het Robots Exclusion Protocol (robots.txt). De effectiviteit van deze controles wordt echter ondermijnd door het gebrek aan betrouwbare kennis over welke specifieke webscrapers (geïdentificeerd via User-Agent-strings) data aan welke AI-chatbots leveren.

Bestaande methoden voor het identificeren van AI-gerelateerde scrapers vertrouwen op vrijwillige corporate bekendmaking, eenmalige onderzoeksexperimenten of door de gemeenschap aangeleverde rapporten. Deze methoden zijn noch betrouwbaar, noch schaalbaar. Bovendien is het onduidelijk of AI-chatbots inhoud live ophalen, vertrouwen op cachegegevens van zoekmachines van derden, of hun identiteit vervalsen om toegangsbegrenzingen te omzeilen. Deze ondoorzichtigheid verhindert dat site-eigenaren zich effectief afmelden bij het AI-ecosysteem.

Methodologie

De auteurs stellen een nieuwe techniek voor met behulp van Canary Tokens om de relatie tussen webscrapers en AI-chatbots nauwkeurig en automatisch af te leiden. De aanpak omvat een proces van drie fasen:

Implementatie van Canary Token-websites:
- De auteurs implementeerden 20 unieke websites die gemeenschappelijke inhoudstypen nabootsten (bijvoorbeeld persoonlijke portfolio's, bedrijfssites).
- Elk website-template bevatte placeholders voor canary tokens (unieke, gerandomiseerde strings zoals namen, locaties of nummers).
- Dynamische Levering: Wanneer een scraper een site bezocht, identificeerde het systeem de bezoeker op basis van een unieke combinatie van User-Agent en Autonomous System Number (ASN).
- Toewijzing van Tokens: Elke unieke scraper kreeg een distincte set canary tokens die in de paginainhoud waren ingebed. Als een scraper meerdere keren bezocht, ontving het dezelfde tokens; verschillende scrapers ontvingen verschillende tokens.
Vragen aan AI-chatbots:
- Na een propagatieperiode van twee maanden ondervraagden de auteurs 22 productieve AI-chatbots (waaronder ChatGPT, Claude, Copilot, Gemini, enz.) met specifieke prompts.
- Prompts waren ontworpen om antwoorden op te wekken die informatie bevatten over de geïmplementeerde websites, specifiek door te vragen om details die overeenkwamen met de canary tokens (bijvoorbeeld: "Wat is de woonplaats van Alice?").
- Een follow-up query werd gebruikt om te controleren op variantinformatie of discrepanties.
Afleiding van Scrapers:
- De auteurs extraheren canary tokens uit de antwoorden van de chatbots.
- Matching-algoritme: Een match werd vastgesteld als een chatbot-antwoord een token bevatte die uniek was toegewezen aan een specifieke scraper.
- Drempelwaarden: Om vals-positieven te mitigeren (bijvoorbeeld hallucinaties of toevallige matches), werd alleen afgeleid dat een scraper een chatbot van data voorziet als deze geassocieerd was met ten minste 2 tokens ( $t=2$ ) of waargenomen werd in 1 distincte website-interactie ( $w=1$ ) over de dataset heen.
- Dubbelzinnige matches (bijvoorbeeld subset-tokens of numerieke toevalligheden) werden verworpen om betrouwbaarheid te waarborgen.

Experimentele Opstelling

Onderwerpen: 22 productieve AI-chatbots van grote aanbieders (OpenAI, Anthropic, Google, Microsoft, enz.) en zoekmachine-aanbieders.
Voorwaarden: Het onderzoek liep gedurende enkele maanden onder drie toegankelijkheidsvoorwaarden:
1. Volledig Toegankelijk: Alle sites online (Basislijn).
2. Offline: 10 sites offline gehaald om caching te testen.
3. Beperkt: 10 sites bleven online maar werden geblokkeerd via robots.txt om protocol-naleving te testen.
Maten: De aanwezigheid van specifieke User-Agent-strings in de afgeleide databron en de persistentie van inhoud na blokkering.

Belangrijkste Resultaten

1. Het Mappen van Scrapers naar Chatbots (RQ1)

Het onderzoek slaagde erin de User-Agents te identificeren die door 18 van de 22 chatbots werden gebruikt.

Verklaard versus Werkelijk: Hoewel sommige chatbots hun zelfverklarde User-Agents gebruikten (bijvoorbeeld OAI-SearchBot voor ChatGPT), maakten velen gebruik van Generieke Browser Agents (bijvoorbeeld Chrome, Safari) of Agents van Zoekmachines van Derden (bijvoorbeeld Googlebot, Bingbot, Bravebot).
Identiteitsrotatie: Sommige systemen, met name Kimi, leken te rotteren door een grote lijst van User-Agents, wat identificatie via statische strings moeilijk maakte.
Afhankelijkheid van Derden: Veel chatbots leverden inhoud die geassocieerd was met crawlers van zoekmachines (bijvoorbeeld Googlebot) in plaats van hun eigen directe crawlers, wat suggereert dat ze vertrouwen op indexen van zoekmachines in plaats van direct scraping.

2. Caching en Persistentie (RQ2)

Caching is Algemeen: Toen websites offline werden gehaald, bleef de meerderheid van de chatbots inhoud leveren die geassocieerd was met die sites.
Caching van Zoekmachines: Chatbots die vertrouwen op zoekmachines van derden (Googlebot, Bingbot) toonden een hoge persistentie, consistent met indexering door zoekmachines.
Directe Caching: Zelfs chatbots die generieke browser-agents gebruikten (bijvoorbeeld Grok, Solar) leverden inhoud na het offline gaan van de bron, wat aangeeft dat ze hun eigen caches onderhouden.

3. Effectiviteit van Blokkering (RQ3)

Ondoeltreffendheid van Standaardcontroles: Het offline halen van sites of het implementeren van robots.txt-beperkingen slaagde er grotendeels niet in om chatbots te voorkomen dat ze eerder gescrapte inhoud terugleverden.
Robots.txt Genegeerd: In de robots.txt-conditie leverden veel chatbots nog steeds inhoud op, wat suggereert dat ze het protocol negeren of vertrouwen op cachegegevens die dateren van voor de beperking.
Uitzondering: Duck.ai was het enige systeem dat werd waargenomen om te stoppen met het leveren van inhoud in zowel de offline- als de robots.txt-conditie, wat suggereert dat het actief de beschikbaarheid en protocolrichtlijnen evalueert.

Betekenis en Aanspraken

Het artikel claimt een eerste kritische blik te werpen op de infrastructuur die real-time inhoudsherwinning in AI-chatbots ondersteunt. De primaire bijdragen zijn:

Een Nieuwe Meettechniek: De aanpak met canary tokens biedt een betrouwbare, geautomatiseerde methode voor niet-bevoegde derden om af te leiden welke scrapers welke LLM's van data voorzien, zonder te vertrouwen op vrijwillige bekendmaking.
Het Blootleggen van Ondoorzichtigheid: Het onderzoek legt bloot dat de data-leveringsketen complexer is dan publieke bekendmakingen suggereren. AI-chatbots vertrouwen vaak op zoekmachines van derden of generieke browser-agents, en ze cache vaak inhoud, waardoor standaard blokkeringsmechanismen zoals robots.txt ondoeltreffend zijn voor het verwijderen van data uit AI-outputs.
Implicaties voor Controle: De bevindingen suggereren dat site-eigenaren die zich willen afmelden bij AI-scraping niet uitsluitend kunnen vertrouwen op robots.txt of het offline halen van sites. Het artikel benadrukt de noodzaak van nieuwe mechanismen om voorkeuren te signaleren en deze af te dwingen in complexe, meerpartijen data-leveringsketens.

De auteurs concluderen dat hoewel hun aanpak een betere identificatie van scrapers mogelijk maakt, het huidige landschap van AI-webscraping grotendeels ondoorzichtig blijft en weerstand biedt tegen traditionele maatregelen voor toegangscontrole.