🤖 AI

Identifying AI Web Scrapers Using Canary Tokens

Ce papier propose une technique novatrice utilisant des jetons canaris dynamiques pour identifier automatiquement et avec précision quels scrapers web alimentent en données des modèles de langage de grande taille spécifiques, permettant ainsi aux propriétaires de sites web de mieux contrôler le scraping indésirable sans dépendre de divulgations volontaires de la part des entreprises.

Auteurs originaux : Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un boulanger souhaitant savoir exactement quels camions de livraison apportent des ingrédients à un robot-chef géant et affamé. Vous soupçonnez que le robot utilise ces ingrédients pour cuisiner de nouvelles recettes (réponses) pour les clients. Mais les camions sont sournois : ils portent des déguisements, ils pourraient emprunter des camions à d'autres entreprises, et le robot-chef ne vous dit pas toujours d'où vient sa nourriture.

Ce document traite d'une astuce ingénieuse que les chercheurs ont utilisée pour surprendre ces camions sournois sur le fait. Ils appellent leur astuce « Jetons de canari ».

La Mise en place : les sites web « pièges »

Au lieu d'essayer d'espionner directement le robot, les chercheurs ont créé 20 faux sites web. Imaginez ces sites web comme un appât personnalisé.

L'Appât : Ils ont créé un modèle pour un site web (comme un faux profil de personne ou une fausse page d'entreprise).
Le Jeton de canari : Avant que le site web ne se charge, les chercheurs ont attribué à chaque visiteur unique un « tampon » ou un « jeton » invisible et unique.
- Si un camion portant un chapeau « Google » visitait, le site web pourrait dire : « Ma couleur préférée est Bleue. »
- Si un camion portant un chapeau « Bing » visitait, le site web pourrait dire : « Ma couleur préférée est Violette. »
- Si un camion portant un chapeau « Chrome » visitait, le site web pourrait dire : « Ma couleur préférée est Verte. »

Les chercheurs ont conservé une liste secrète : « Bleue » = Camion Google, « Violette » = Camion Bing, etc.

Le Test : Interroger le Robot-Chef

Après avoir laissé ces sites web en ligne pendant deux mois (donnant aux camions suffisamment de temps pour visiter et mémoriser le contenu), les chercheurs ont posé des questions sur ces faux sites web à 22 différents chatbots d'IA (comme ChatGPT, Claude et autres).

Ils ont demandé des choses comme : « Parlez-moi de cette fausse personne. Quelle est sa couleur préférée ? »

Les Résultats : Qui mange quoi ?

Les chercheurs ont examiné les réponses données par les robots. Si le robot disait : « Sa couleur préférée est Bleue », les chercheurs savaient avec certitude : « Le camion Google a livré cette information au robot. »

Voici ce qu'ils ont découvert :

1. Le Problème du « Déguisement »
De nombreux robots d'IA ne sont pas apparus dans leurs uniformes officiels.

L'Uniforme Officiel : Certains robots ont admis : « Je suis le OAI-SearchBot » (le camion officiel d'OpenAI).
Le Déguisement : D'autres sont apparus vêtus de vêtements génériques, comme un navigateur web ordinaire (par exemple « Chrome » ou « Safari »). C'est comme un livreur qui se fait passer pour un touriste afin que personne ne l'arrête.
Le Camion Emprunté : De manière surprenante, de nombreux robots n'ont pas visité les sites web directement. Au lieu de cela, ils ont demandé à un moteur de recherche (comme Google ou Bing) de faire la visite à leur place. Le robot dirait : « J'ai trouvé cette information sur Google », même si le propriétaire du site web n'avait jamais donné à Google l'autorisation de la partager avec le robot.

2. Le Problème de la « Mémoire » (Mise en cache)
Les chercheurs ont essayé d'arrêter les robots en mettant les sites web hors ligne (éteignant les lumières).

Le Résultat : Même après une semaine d'absence des sites web, les robots connaissaient toujours les « couleurs préférées ».
La Métaphore : C'est comme si le robot-chef avait mémorisé la recette d'un livre de cuisine qu'il avait volé plus tôt. Même si vous brûlez le livre de cuisine plus tard, le chef se souvient toujours des ingrédients. Les robots conservaient d'anciennes données qu'ils avaient extraites précédemment.

3. Le Problème du Panneau « Interdit d'Entrer » (Robots.txt)
Les propriétaires de sites web mettent souvent un panneau appelé robots.txt qui dit : « Veuillez ne pas entrer. »

Le Résultat : Les chercheurs ont installé ces panneaux, mais les robots les ont majoritairement ignorés. Ils continuaient à visiter et à mémoriser le contenu.
L'Exception : Un seul robot, Duck.ai, a réellement respecté le panneau et a cessé de visiter. Les autres ont continué, soit parce qu'ils n'avaient pas vu le panneau, soit parce qu'ils avaient décidé de l'ignorer.

La Grande Conclusion

L'article prouve que :

Vous ne pouvez pas toujours faire confiance à ce qu'un robot dit de lui-même. Ils cachent souvent leur véritable identité ou utilisent les camions d'autres personnes (moteurs de recherche) pour obtenir des données.
Le blocage simple ne fonctionne pas. Éteindre un site web ou installer un panneau « Interdit d'Entrer » ne garantit pas que le robot oubliera ce qu'il a déjà appris.
L'astuce du « Jeton de canari » fonctionne. En servant des faits uniques et aléatoires à différents visiteurs, vous pouvez retracer exactement quel « camion » a fourni des informations à quel robot, même si le robot tente de se cacher.

En bref, les chercheurs ont construit un système d'empreintes digitales numériques pour voir exactement comment les chatbots d'IA volent (ou empruntent) des informations sur le web, révélant que le processus est beaucoup plus désordonné et moins transparent que ce que les entreprises prétendent.

Résumé Technique : Identification des Robots d'Exploration Web IA à l'Aide de Tokens Canaris

Énoncé du Problème

Les modèles de langage de grande taille (LLM) s'appuient sur des données extraites du web pour leur pré-entraînement et leur enrichissement au moment de la requête (par exemple, la génération augmentée par récupération ou la recherche web en direct). Bien que cela améliore les performances des modèles, cela soulève des préoccupations majeures concernant la stabilité des sites, la vie privée, le droit d'auteur et l'éthique. Les propriétaires de sites souhaitent souvent restreindre l'accès à leur contenu par des robots d'exploration spécifiques, généralement en utilisant des mécanismes comme le Protocole d'exclusion des robots (robots.txt). Cependant, l'efficacité de ces contrôles est compromise par un manque de connaissances fiables concernant quels robots d'exploration web spécifiques (identifiés par des chaînes User-Agent) alimentent quelles chatbots IA.

Les méthodes existantes pour identifier les robots d'exploration liés à l'IA reposent sur des divulgations volontaires des entreprises, des expériences ponctuelles de chercheurs ou des rapports issus de la foule. Ces méthodes ne sont ni fiables ni évolutives. De plus, il reste unclear si les chatbots IA récupèrent du contenu en direct, s'appuient sur des données mises en cache par des moteurs de recherche tiers, ou falsifient leur identité pour contourner les contrôles d'accès. Cette opacité empêche les propriétaires de sites de se désengager efficacement de l'écosystème de l'IA.

Méthodologie

Les auteurs proposent une nouvelle technique utilisant des Tokens Canaris pour inférer avec précision et automatiquement la relation entre les robots d'exploration web et les chatbots IA. L'approche implique un pipeline en trois étapes :

Déploiement de sites web avec Tokens Canaris :
- Les auteurs ont déployé 20 sites web uniques imitant des types de contenu courants (par exemple, portfolios personnels, sites d'entreprise).
- Chaque modèle de site contenait des espaces réservés pour des tokens canaris (chaînes uniques et randomisées telles que des noms, des lieux ou des nombres).
- Service Dynamique : Lorsqu'un robot d'exploration accédait à un site, le système identifiait le visiteur sur la base d'une combinaison unique de User-Agent et de Numéro de Système Autonome (ASN).
- Attribution de Tokens : Chaque robot d'exploration unique recevait un ensemble distinct de tokens canaris intégrés dans le contenu de la page. Si un robot d'exploration visitait à plusieurs reprises, il recevait les mêmes tokens ; des robots d'exploration différents recevaient des tokens différents.
Interrogation des Chatbots IA :
- Après une période de propagation de deux mois, les auteurs ont interrogé 22 chatbots IA de production (y compris ChatGPT, Claude, Copilot, Gemini, etc.) à l'aide de prompts spécifiques.
- Les prompts étaient conçus pour susciter des réponses contenant des informations sur les sites web déployés, demandant spécifiquement des détails correspondant aux tokens canaris (par exemple, « Quelle est la ville natale d'Alice ? »).
- Une requête de suivi a été utilisée pour vérifier les informations variantes ou les divergences.
Inférence des Robots d'Exploration :
- Les auteurs ont extrait les tokens canaris des réponses des chatbots.
- Algorithme de Correspondance : Une correspondance était établie si une réponse de chatbot contenait un token attribué de manière unique à un robot d'exploration spécifique.
- Seuils : Pour atténuer les faux positifs (par exemple, des hallucinations ou des coïncidences fortuites), un robot d'exploration n'était inféré comme alimentant un chatbot que s'il était associé à au moins 2 tokens ( $t=2$ ) ou observé dans 1 interaction de site distincte ( $w=1$ ) à travers l'ensemble de données.
- Les correspondances ambiguës (par exemple, des sous-ensembles de tokens ou des coïncidences numériques) étaient rejetées pour garantir la fiabilité.

Configuration Expérimentale

Sujets : 22 chatbots IA de production provenant de grands fournisseurs (OpenAI, Anthropic, Google, Microsoft, etc.) et de fournisseurs de moteurs de recherche.
Conditions : L'étude s'est déroulée sur plusieurs mois dans trois conditions d'accessibilité :
1. Entièrement Accessible : Tous les sites en ligne (Référence).
2. Hors Ligne : 10 sites retirés pour tester la mise en cache.
3. Restreint : 10 sites restaient en ligne mais bloqués via robots.txt pour tester le respect du protocole.
Métriques : La présence de chaînes User-Agent spécifiques dans la source de données inférée et la persistance du contenu après blocage.

Résultats Clés

1. Cartographie des Robots d'Exploration vers les Chatbots (RQ1)

L'étude a réussi à identifier les User-Agents utilisés par 18 des 22 chatbots.

Déclaré vs Réel : Bien que certains chatbots utilisent leurs User-Agents auto-déclarés (par exemple, OAI-SearchBot pour ChatGPT), beaucoup utilisent des Agents Navigateurs Génériques (par exemple, Chrome, Safari) ou des Agents de Recherche Tiers (par exemple, Googlebot, Bingbot, Bravebot).
Rotation d'Identité : Certains systèmes, notamment Kimi, semblaient faire défiler une longue liste de User-Agents, rendant l'identification par des chaînes statiques difficile.
Dépendance aux Tiers : De nombreux chatbots renvoyaient du contenu associé à des robots d'exploration de moteurs de recherche (par exemple, Googlebot) plutôt qu'à leurs propres robots d'exploration directs, suggérant qu'ils s'appuient sur les index des moteurs de recherche plutôt que sur un scraping direct.

2. Mise en Cache et Persistance (RQ2)

La Mise en Cache est Courante : Lorsque les sites web étaient retirés hors ligne, la majorité des chatbots continuaient à renvoyer du contenu associé à ces sites.
Mise en Cache par Moteur de Recherche : Les chatbots s'appuyant sur des agents de recherche tiers (Googlebot, Bingbot) montraient une forte persistance, cohérente avec l'indexation des moteurs de recherche.
Mise en Cache Directe : Même les chatbots utilisant des agents navigateurs génériques (par exemple, Grok, Solar) continuaient à servir du contenu après la mise hors ligne de la source, indiquant qu'ils maintiennent leurs propres caches.

3. Efficacité du Blocage (RQ3)

Inefficacité des Contrôles Standards : Le retrait des sites hors ligne ou la mise en œuvre de restrictions robots.txt ont largement échoué à empêcher les chatbots de renvoyer du contenu précédemment extrait.
robots.txt Ignoré : Dans la condition robots.txt, de nombreux chatbots continuaient à renvoyer du contenu, suggérant qu'ils ignorent soit le protocole, soit qu'ils s'appuient sur des données mises en cache antérieures à la restriction.
Exception : Duck.ai était le seul système observé à cesser de renvoyer du contenu dans les deux conditions, hors ligne et robots.txt, suggérant qu'il évalue activement la disponibilité et les directives du protocole.

Signification et Revendications

L'article prétend offrir le premier regard critique sur l'infrastructure sous-tendant la récupération de contenu en temps réel dans les chatbots IA. Ses contributions principales sont :

Une Technique de Mesure Nouvelle : L'approche par tokens canaris offre une méthode fiable et automatisée permettant à des tiers non privilégiés d'inférer quels robots d'exploration alimentent quels LLM, sans dépendre de divulgations volontaires.
Révélation de l'Opacité : L'étude expose que la chaîne d'approvisionnement des données est plus complexe que ne le suggèrent les divulgations publiques. Les chatbots IA s'appuient souvent sur des moteurs de recherche tiers ou des agents navigateurs génériques, et ils mettent fréquemment le contenu en cache, rendant les mécanismes de blocage standards comme robots.txt inefficaces pour supprimer les données des sorties de l'IA.
Implications pour le Contrôle : Les résultats suggèrent que les propriétaires de sites souhaitant se désengager du scraping par l'IA ne peuvent pas compter uniquement sur robots.txt ou sur le retrait des sites hors ligne. L'article souligne la nécessité de nouveaux mécanismes pour signaler les préférences et les faire respecter à travers des chaînes d'approvisionnement de données complexes et multipartites.

Les auteurs concluent que, bien que leur approche permette une meilleure identification des robots d'exploration, le paysage actuel du scraping web par l'IA reste largement opaque et résistant aux mesures traditionnelles de contrôle d'accès.