🤖 AI

Identifying AI Web Scrapers Using Canary Tokens

Este artículo propone una técnica novedosa que utiliza tokens de canario dinámicos para identificar de forma automática y precisa qué raspadores web alimentan datos a modelos de lenguaje grandes específicos, permitiendo a los propietarios de sitios web controlar mejor el raspado no deseado sin depender de divulgaciones corporativas voluntarias.

Autores originales: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Publicado 2026-05-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un panadero que quiere saber exactamente qué camiones de reparto están trayendo ingredientes a un chef robot gigante y hambriento. Sospechas que el robot está usando estos ingredientes para cocinar nuevas recetas (respuestas) para los clientes. Pero los camiones son astutos: llevan disfraces, podrían estar prestando camiones de otras empresas, y el chef robot no siempre te dice de dónde obtuvo su comida.

Este artículo trata sobre un truco inteligente que los investigadores utilizaron para atrapar a estos camiones astutos en el acto. Ellos llaman a su truco "Tokens de Canario".

La Preparación: Los Sitios Web "Trampa"

En lugar de intentar espiar al robot directamente, los investigadores construyeron 20 sitios web falsos. Piensa en estos sitios web como cebo personalizado.

El Cebo: Crearon una plantilla para un sitio web (como el perfil de una persona falsa o una página de empresa falsa).
El Token de Canario: Antes de que se cargara el sitio web, los investigadores dieron a cada visitante único un "sello" o "token" invisible y único.
- Si un camión con un sombrero de "Google" visitaba, el sitio web podría decir: "Mi color favorito es Azul."
- Si un camión con un sombrero de "Bing" visitaba, el sitio web podría decir: "Mi color favorito es Morado."
- Si un camión con un sombrero de "Chrome" visitaba, el sitio web podría decir: "Mi color favorito es Verde."

Los investigadores mantuvieron una lista secreta: "Azul" = Camión de Google, "Morado" = Camión de Bing, etc.

La Prueba: Preguntando al Chef Robot

Después de dejar estos sitios web en línea durante dos meses (dándoles a los camiones mucho tiempo para visitar y memorizar el contenido), los investigadores hicieron preguntas sobre estos sitios web falsos a 22 chatbots de IA diferentes (como ChatGPT, Claude y otros).

Preguntaron cosas como: "Cuéntame sobre esta persona falsa. ¿Cuál es su color favorito?"

Los Resultados: ¿Quién está comiendo qué?

Los investigadores examinaron las respuestas que dieron los robots. Si el robot decía: "Su color favorito es Azul", los investigadores sabían con certeza: "El Camión de Google entregó esta información al robot."

Esto es lo que descubrieron:

1. El Problema del "Disfraz"
Muchos de los robots de IA no aparecieron con sus uniformes oficiales.

El Uniforme Oficial: Algunos robots admitieron: "Soy el OAI-SearchBot" (el camión oficial de OpenAI).
El Disfraz: Otros aparecieron con ropa genérica, como un navegador web normal (por ejemplo, "Chrome" o "Safari"). Es como un repartidor que finge ser un turista para que nadie lo detenga.
El Camión Prestado: Sorprendentemente, muchos robots no visitaron los sitios web directamente en absoluto. En su lugar, pidieron a un motor de búsqueda (como Google o Bing) que hiciera la visita por ellos. El robot diría: "Encontré esta información en Google", incluso si el dueño del sitio web nunca dio permiso a Google para compartirla con el robot.

2. El Problema de la "Memoria" (Caché)
Los investigadores intentaron detener a los robots retirando los sitios web de línea (apagando las luces).

El Resultado: Incluso después de que los sitios web desaparecieron durante una semana, los robots aún conocían los "colores favoritos".
La Metáfora: Es como si el chef robot hubiera memorizado la receta de un libro de cocina que robó anteriormente. Incluso si quemas el libro de cocina más tarde, el chef aún recuerda los ingredientes. Los robots estaban reteniendo datos antiguos que habían raspado previamente.

3. El Problema del Letrero "Prohibido el Paso" (Robots.txt)
Los propietarios de sitios web a menudo colocan un letrero llamado robots.txt que dice: "Por favor, no entren".

El Resultado: Los investigadores colocaron estos letreros, pero los robots en su mayoría los ignoraron. Siguiendo visitando y memorizando el contenido.
La Excepción: Solo un robot, Duck.ai, realmente respetó el letrero y dejó de visitar. El resto siguió adelante, ya sea porque no vieron el letrero o porque decidieron ignorarlo.

La Gran Conclusión

El artículo demuestra que:

No siempre puedes confiar en lo que un robot dice sobre sí mismo. A menudo ocultan su verdadera identidad o usan los camiones de otras personas (motores de búsqueda) para obtener datos.
El bloqueo simple no funciona. Apagar un sitio web o poner un letrero de "Prohibido el Paso" no garantiza que el robot olvidará lo que ya aprendió.
El truco del "Token de Canario" funciona. Al servir hechos únicos y aleatorios a diferentes visitantes, puedes rastrear exactamente qué "camión" alimentó información a qué robot, incluso si el robot intenta ocultarse.

En resumen, los investigadores construyeron un sistema de huellas dactilares digitales para ver exactamente cómo los chatbots de IA están robando (o tomando prestada) información de la web, revelando que el proceso es mucho más desordenado y menos transparente de lo que las empresas afirman.

Resumen Técnico: Identificación de Rastreadores Web de IA Mediante Tokens Canary

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) dependen de datos extraídos de la web tanto para el preentrenamiento como para la augmentación en tiempo de consulta (por ejemplo, Generación Aumentada por Recuperación o búsqueda web en vivo). Si bien esto mejora el rendimiento del modelo, plantea preocupaciones significativas en cuanto a la estabilidad del sitio, la privacidad, los derechos de autor y la ética. Los propietarios de sitios web a menudo desean restringir el acceso a su contenido por parte de rastreadores específicos, típicamente utilizando mecanismos como el Protocolo de Exclusión de Robots (robots.txt). Sin embargo, la eficacia de estos controles se ve comprometida por la falta de conocimiento fiable sobre qué rastreadores web específicos (identificados por cadenas de Agente de Usuario) alimentan datos a qué chatbots de IA.

Los métodos existentes para identificar rastreadores relacionados con la IA dependen de la divulgación corporativa voluntaria, experimentos únicos de investigadores o informes de crowdsourcing. Estos métodos no son fiables ni escalables. Además, sigue sin estar claro si los chatbots de IA recuperan contenido en vivo, dependen de datos en caché de motores de búsqueda de terceros o suplantan sus identidades para eludir los controles de acceso. Esta opacidad impide que los propietarios de sitios se retiren eficazmente del ecosistema de la IA.

Metodología

Los autores proponen una técnica novedosa que utiliza Tokens Canary para inferir con precisión y de forma automática la relación entre los rastreadores web y los chatbots de IA. El enfoque implica un proceso de tres etapas:

Despliegue de Sitios Web con Tokens Canary:
- Los autores desplegaron 20 sitios web únicos que imitaban tipos de contenido comunes (por ejemplo, portafolios personales, sitios de empresas).
- Cada plantilla de sitio web contenía marcadores de posición para tokens canary (cadenas únicas y aleatorizadas como nombres, ubicaciones o números).
- Servicio Dinámico: Cuando un rastreador accedía a un sitio, el sistema identificaba al visitante basándose en una combinación única de Agente de Usuario y Número de Sistema Autónomo (ASN).
- Asignación de Tokens: Cada rastreador único recibía un conjunto distinto de tokens canary incrustados en el contenido de la página. Si un rastreador visitaba varias veces, recibía los mismos tokens; los diferentes rastreadores recibían tokens distintos.
Consultas a Chatbots de IA:
- Tras un período de propagación de dos meses, los autores consultaron a 22 chatbots de IA en producción (incluyendo ChatGPT, Claude, Copilot, Gemini, etc.) utilizando indicaciones específicas.
- Las indicaciones se diseñaron para elicitar respuestas que contuvieran información sobre los sitios web desplegados, preguntando específicamente por detalles que corresponderían a los tokens canary (por ejemplo, "¿Cuál es la ciudad natal de Alice?").
- Se utilizó una consulta de seguimiento para verificar información variante o discrepancias.
Inferencia de Rastreadores:
- Los autores extrajeron los tokens canary de las respuestas de los chatbots.
- Algoritmo de Coincidencia: Se estableció una coincidencia si una respuesta del chatbot contenía un token asignado exclusivamente a un rastreador específico.
- Umbral: Para mitigar los falsos positivos (por ejemplo, alucinaciones o coincidencias fortuitas), se infirió que un rastreador alimentaba a un chatbot solo si estaba asociado con al menos 2 tokens ( $t=2$ ) u observado en 1 interacción de sitio web distinta ( $w=1$ ) en todo el conjunto de datos.
- Las coincidencias ambiguas (por ejemplo, subconjuntos de tokens o coincidencias numéricas) se descartaron para garantizar la fiabilidad.

Configuración Experimental

Sujetos: 22 chatbots de IA en producción de proveedores principales (OpenAI, Anthropic, Google, Microsoft, etc.) y proveedores de motores de búsqueda.
Condiciones: El estudio se ejecutó durante varios meses bajo tres condiciones de accesibilidad:
1. Totalmente Accesible: Todos los sitios en línea (Línea base).
2. Desconectado: 10 sitios retirados para probar la caché.
3. Restringido: 10 sitios permanecieron en línea pero bloqueados mediante robots.txt para probar el cumplimiento del protocolo.
Métricas: La presencia de cadenas específicas de Agente de Usuario en la fuente de datos inferida y la persistencia del contenido tras el bloqueo.

Resultados Clave

1. Mapeo de Rastreadores a Chatbots (PQ1)

El estudio identificó con éxito los Agentes de Usuario utilizados por 18 de los 22 chatbots.

Declarado vs. Real: Mientras que algunos chatbots utilizaron sus Agentes de Usuario auto-declarados (por ejemplo, OAI-SearchBot para ChatGPT), muchos utilizaron Agentes de Navegador Genéricos (por ejemplo, Chrome, Safari) o Agentes de Búsqueda de Terceros (por ejemplo, Googlebot, Bingbot, Bravebot).
Rotación de Identidad: Algunos sistemas, notablemente Kimi, parecían rotar a través de una gran lista de Agentes de Usuario, lo que dificultaba la identificación mediante cadenas estáticas.
Dependencia de Terceros: Muchos chatbots devolvieron contenido asociado con rastreadores de motores de búsqueda (por ejemplo, Googlebot) en lugar de sus propios rastreadores directos, lo que sugiere que dependen de índices de motores de búsqueda en lugar de la extracción directa.

2. Caché y Persistencia (PQ2)

La Caché es Común: Cuando los sitios web se desconectaron, la mayoría de los chatbots continuaron devolviendo contenido asociado con esos sitios.
Caché de Motores de Búsqueda: Los chatbots que dependían de agentes de búsqueda de terceros (Googlebot, Bingbot) mostraron una alta persistencia, consistente con la indexación de motores de búsqueda.
Caché Directa: Incluso los chatbots que utilizaban agentes de navegador genéricos (por ejemplo, Grok, Solar) continuaron sirviendo contenido después de que la fuente estuviera desconectada, lo que indica que mantienen sus propias cachés.

3. Eficacia del Bloqueo (PQ3)

Ineficacia de los Controles Estándar: Desconectar los sitios o implementar restricciones de robots.txt falló en gran medida en evitar que los chatbots devolvieran contenido extraído previamente.
Ignorancia de robots.txt: En la condición de robots.txt, muchos chatbots continuaron devolviendo contenido, lo que sugiere que ignoran el protocolo o dependen de datos en caché anteriores a la restricción.
Excepción: Duck.ai fue el único sistema observado que dejó de devolver contenido tanto en la condición de desconexión como en la de robots.txt, lo que sugiere que evalúa activamente la disponibilidad y las directivas del protocolo.

Significado y Afirmaciones

El artículo afirma ofrecer la primera mirada crítica a la infraestructura que sustenta la recuperación de contenido en tiempo real en los chatbots de IA. Sus contribuciones principales son:

Una Técnica de Medición Novel: El enfoque de tokens canary ofrece un método fiable y automatizado para que terceros no privilegiados infieran qué rastreadores alimentan qué LLM sin depender de la divulgación voluntaria.
Revelación de Opacidad: El estudio expone que la cadena de suministro de datos es más compleja de lo que sugieren las divulgaciones públicas. Los chatbots de IA a menudo dependen de motores de búsqueda de terceros o agentes de navegador genéricos, y frecuentemente almacenan contenido en caché, lo que hace que los mecanismos de bloqueo estándar como robots.txt sean ineficaces para eliminar datos de las salidas de la IA.
Implicaciones para el Control: Los hallazgos sugieren que los propietarios de sitios web que desean retirarse de la extracción de datos por parte de la IA no pueden confiar únicamente en robots.txt o en desconectar los sitios. El artículo destaca la necesidad de nuevos mecanismos para señalar preferencias y hacerlas cumplir en cadenas de suministro de datos complejas y multipartitas.

Los autores concluyen que, aunque su enfoque permite una mejor identificación de rastreadores, el panorama actual de la extracción web por parte de la IA sigue siendo en gran medida opaco y resistente a las medidas tradicionales de control de acceso.