🤖 AI

Identifying AI Web Scrapers Using Canary Tokens

Este artigo propõe uma técnica inovadora que utiliza tokens de canário dinâmicos para identificar automática e precisamente quais raspadores de dados da web alimentam modelos de linguagem grandes específicos, permitindo aos proprietários de sites um melhor controle sobre a raspagem indesejada sem depender de divulgações corporativas voluntárias.

Autores originais: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um padeiro que quer saber exatamente quais caminhões de entrega estão trazendo ingredientes para um robô chef gigante e faminto. Você suspeita que o robô está usando esses ingredientes para cozinhar novas receitas (respostas) para clientes. Mas os caminhões são astutos: usam disfarces, podem estar emprestando caminhões de outras empresas, e o robô chef nem sempre lhe diz de onde obteve sua comida.

Este artigo trata de um truque inteligente que os pesquisadores usaram para pegar esses caminhões astutos no ato. Eles chamam seu truque de "Tokens Canário".

O Cenário: Os Sites "Armadilha"

Em vez de tentar espionar o robô diretamente, os pesquisadores criaram 20 sites falsos. Pense nesses sites como iscas personalizadas.

A Isca: Eles criaram um modelo para um site (como o perfil de uma pessoa falsa ou uma página de empresa falsa).
O Token Canário: Antes que o site carregasse, os pesquisadores deram a cada visitante único um "carimbo" ou "token" invisível e exclusivo.
- Se um caminhão usando um chapéu de "Google" visitasse, o site poderia dizer: "Minha cor favorita é Azul."
- Se um caminhão usando um chapéu de "Bing" visitasse, o site poderia dizer: "Minha cor favorita é Roxo."
- Se um caminhão usando um chapéu de "Chrome" visitasse, o site poderia dizer: "Minha cor favorita é Verde."

Os pesquisadores mantiveram uma lista secreta: "Azul" = Caminhão Google, "Roxo" = Caminhão Bing, etc.

O Teste: Perguntando ao Robô Chef

Depois de deixar esses sites online por dois meses (dando aos caminhões tempo suficiente para visitar e memorizar o conteúdo), os pesquisadores fizeram perguntas a 22 chatbots de IA diferentes (como ChatGPT, Claude e outros) sobre esses sites falsos.

Eles perguntaram coisas como: "Fale-me sobre essa pessoa falsa. Qual é a cor favorita dela?"

Os Resultados: Quem está Comendo o Quê?

Os pesquisadores analisaram as respostas que os robôs deram. Se o robô dissesse: "A cor favorita dela é Azul", os pesquisadores sabiam com certeza: "O Caminhão Google entregou essa informação ao robô."

Aqui está o que eles descobriram:

1. O Problema do "Disfarce"
Muitos dos robôs de IA não apareceram com seus uniformes oficiais.

O Uniforme Oficial: Alguns robôs admitiram: "Eu sou o OAI-SearchBot" (o caminhão oficial da OpenAI).
O Disfarce: Outros apareceram usando roupas genéricas, como um navegador web comum (por exemplo, "Chrome" ou "Safari"). É como um motorista de entrega fingindo ser um turista para que ninguém o pare.
O Caminhão Emprestado: Surpreendentemente, muitos robôs não visitaram os sites diretamente. Em vez disso, pediram a um mecanismo de busca (como Google ou Bing) para fazer a visita por eles. O robô diria: "Encontrei essa informação no Google", mesmo que o dono do site nunca tivesse dado permissão ao Google para compartilhá-la com o robô.

2. O Problema da "Memória" (Cache)
Os pesquisadores tentaram impedir os robôs tirando os sites do ar (apagando as luzes).

O Resultado: Mesmo após os sites terem desaparecido por uma semana, os robôs ainda conheciam as "cores favoritas".
A Metáfora: É como se o robô chef tivesse memorizado a receita de um livro de culinária que roubou anteriormente. Mesmo que você queime o livro de culinária depois, o chef ainda lembra os ingredientes. Os robôs estavam retendo dados antigos que haviam raspado anteriormente.

3. O Problema do Placa "Não Entre" (Robots.txt)
Os donos de sites frequentemente colocam uma placa chamada robots.txt que diz: "Por favor, não entre".

O Resultado: Os pesquisadores colocaram essas placas, mas os robôs as ignoraram na maioria das vezes. Eles continuaram visitando e memorizando o conteúdo.
A Exceção: Apenas um robô, o Duck.ai, realmente respeitou a placa e parou de visitar. Os demais continuaram, seja porque não viram a placa ou porque decidiram ignorá-la.

A Grande Conclusão

O artigo prova que:

Você nem sempre pode confiar no que um robô diz sobre si mesmo. Eles frequentemente escondem sua verdadeira identidade ou usam caminhões de outras pessoas (mecanismos de busca) para obter dados.
Bloqueios simples não funcionam. Desligar um site ou colocar uma placa de "Não Entre" não garante que o robô esquecerá o que já aprendeu.
O truque do "Token Canário" funciona. Ao servir fatos únicos e aleatórios a diferentes visitantes, você pode rastrear exatamente qual "caminhão" alimentou qual robô com informações, mesmo que o robô tente se esconder.

Em resumo, os pesquisadores construíram um sistema de digitalização digital para ver exatamente como os chatbots de IA estão roubando (ou emprestando) informações da web, revelando que o processo é muito mais confuso e menos transparente do que as empresas afirmam.

Resumo Técnico: Identificação de Web Scrapers de IA Usando Canary Tokens

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) dependem de dados raspados da web tanto para pré-treinamento quanto para augmentação no momento da consulta (por exemplo, Geração Aumentada por Recuperação ou pesquisa web ao vivo). Embora isso aprimore o desempenho do modelo, levanta preocupações significativas quanto à estabilidade do site, privacidade, direitos autorais e ética. Os proprietários de sites frequentemente desejam restringir o acesso ao seu conteúdo por raspadores específicos, geralmente usando mecanismos como o Protocolo de Exclusão de Robôs (robots.txt). No entanto, a eficácia desses controles é comprometida pela falta de conhecimento confiável sobre quais raspadores da web específicos (identificados por strings de User-Agent) alimentam quais chatbots de IA.

Os métodos existentes para identificar raspadores relacionados à IA dependem de divulgação corporativa voluntária, experimentos de pesquisadores pontuais ou relatórios coletivos. Esses métodos não são nem confiáveis nem escaláveis. Além disso, permanece incerto se os chatbots de IA recuperam conteúdo ao vivo, dependem de dados em cache de motores de busca de terceiros ou falsificam suas identidades para contornar controles de acesso. Essa opacidade impede que os proprietários de sites se excluam efetivamente do ecossistema de IA.

Metodologia

Os autores propõem uma técnica inovadora usando Canary Tokens para inferir com precisão e automaticamente a relação entre raspadores da web e chatbots de IA. A abordagem envolve um pipeline de três etapas:

Implantação de Sites com Canary Tokens:
- Os autores implantaram 20 sites únicos imitando tipos de conteúdo comuns (por exemplo, portfólios pessoais, sites de empresas).
- Cada modelo de site continha espaços reservados para canary tokens (strings únicas e aleatórias, como nomes, locais ou números).
- Entrega Dinâmica: Quando um raspador acessava um site, o sistema identificava o visitante com base em uma combinação única de User-Agent e Número de Sistema Autônomo (ASN).
- Atribuição de Tokens: Cada raspador único recebia um conjunto distinto de canary tokens embutidos no conteúdo da página. Se um raspador visitasse várias vezes, recebia os mesmos tokens; raspadores diferentes recebiam tokens diferentes.
Consulta a Chatbots de IA:
- Após um período de propagação de dois meses, os autores consultaram 22 chatbots de IA em produção (incluindo ChatGPT, Claude, Copilot, Gemini, etc.) usando prompts específicos.
- Os prompts foram projetados para elicitar respostas contendo informações sobre os sites implantados, solicitando especificamente detalhes que corresponderiam aos canary tokens (por exemplo, "Qual é a cidade natal de Alice?").
- Uma consulta de acompanhamento foi usada para verificar informações variantes ou discrepâncias.
Inferência de Raspadores:
- Os autores extraíram os canary tokens das respostas dos chatbots.
- Algoritmo de Correspondência: Uma correspondência foi estabelecida se uma resposta do chatbot contivesse um token atribuído exclusivamente a um raspador específico.
- Limites: Para mitigar falsos positivos (por exemplo, alucinações ou correspondências acidentais), um raspador só foi inferido como alimentando um chatbot se estivesse associado a pelo menos 2 tokens ( $t=2$ ) ou observado em 1 interação distinta de site ( $w=1$ ) em todo o conjunto de dados.
- Correspondências ambíguas (por exemplo, subconjuntos de tokens ou coincidências numéricas) foram descartadas para garantir a confiabilidade.

Configuração Experimental

Sujeitos: 22 chatbots de IA em produção de principais provedores (OpenAI, Anthropic, Google, Microsoft, etc.) e provedores de motores de busca.
Condições: O estudo foi conduzido ao longo de vários meses sob três condições de acessibilidade:
1. Totalmente Acessível: Todos os sites online (Linha de base).
2. Offline: 10 sites retirados do ar para testar o cache.
3. Restrito: 10 sites permaneceram online, mas bloqueados via robots.txt para testar a adesão ao protocolo.
Métricas: A presença de strings específicas de User-Agent na fonte de dados inferida e a persistência do conteúdo após o bloqueio.

Principais Resultados

1. Mapeamento de Raspadores para Chatbots (PQ1)

O estudo identificou com sucesso os User-Agents utilizados por 18 dos 22 chatbots.

Declarado vs. Real: Embora alguns chatbots usassem seus User-Agents auto-declarados (por exemplo, OAI-SearchBot para o ChatGPT), muitos utilizaram Agentes de Navegador Genéricos (por exemplo, Chrome, Safari) ou Agentes de Busca de Terceiros (por exemplo, Googlebot, Bingbot, Bravebot).
Rotação de Identidade: Alguns sistemas, notadamente o Kimi, pareciam rotacionar por uma grande lista de User-Agents, dificultando a identificação por meio de strings estáticas.
Dependência de Terceiros: Muitos chatbots retornaram conteúdo associado a rastreadores de motores de busca (por exemplo, Googlebot) em vez de seus próprios rastreadores diretos, sugerindo que dependem de índices de motores de busca em vez de raspagem direta.

2. Cache e Persistência (PQ2)

Cache é Comum: Quando os sites foram retirados do ar, a maioria dos chatbots continuou a retornar conteúdo associado a esses sites.
Cache de Motores de Busca: Chatbots que dependiam de agentes de busca de terceiros (Googlebot, Bingbot) mostraram alta persistência, consistente com a indexação de motores de busca.
Cache Direto: Mesmo chatbots que usavam agentes de navegador genéricos (por exemplo, Grok, Solar) continuaram a servir conteúdo após a fonte ficar offline, indicando que mantêm seus próprios caches.

3. Eficácia do Bloqueio (PQ3)

Ineficácia dos Controles Padrão: Retirar sites do ar ou implementar restrições de robots.txt falhou em grande parte em impedir que chatbots retornassem conteúdo raspado anteriormente.
robots.txt Ignorado: Na condição robots.txt, muitos chatbots continuaram a retornar conteúdo, sugerindo que ignoram o protocolo ou dependem de dados em cache que precedem a restrição.
Exceção: Duck.ai foi o único sistema observado a parar de retornar conteúdo nas condições offline e robots.txt, sugerindo que avalia ativamente a disponibilidade e as diretrizes do protocolo.

Significado e Alegações

O artigo afirma fornecer a primeira análise crítica da infraestrutura que sustenta a recuperação de conteúdo em tempo real em chatbots de IA. Suas principais contribuições são:

Uma Técnica de Medição Inovadora: A abordagem de canary tokens oferece um método confiável e automatizado para terceiros não privilegiados inferir quais raspadores alimentam quais LLMs, sem depender de divulgação voluntária.
Revelação de Opacidade: O estudo expõe que a cadeia de suprimentos de dados é mais complexa do que as divulgações públicas sugerem. Chatbots de IA frequentemente dependem de motores de busca de terceiros ou agentes de navegador genéricos, e eles frequentemente armazenam conteúdo em cache, tornando mecanismos de bloqueio padrão como robots.txt ineficazes para remover dados das saídas de IA.
Implicações para o Controle: As descobertas sugerem que os proprietários de sites que desejam se excluir da raspagem de IA não podem confiar apenas em robots.txt ou em retirar sites do ar. O artigo destaca a necessidade de novos mecanismos para sinalizar preferências e fazê-las cumprir em cadeias de suprimentos de dados complexas e multi-partes.

Os autores concluem que, embora sua abordagem permita uma melhor identificação de raspadores, o cenário atual da raspagem web de IA permanece amplamente opaco e resistente a medidas tradicionais de controle de acesso.