🤖 AI

Identifying AI Web Scrapers Using Canary Tokens

تقترح هذه الورقة تقنية مبتكرة تستخدم رموز "كناري" ديناميكية لتحديد أي من أدوات كشط الويب التي تغذي نماذج لغوية كبيرة محددة بشكل تلقائي ودقيق، مما يمكّن مالكي المواقع الإلكترونية من التحكم بشكل أفضل في عمليات الكشط غير المرغوب فيها دون الاعتماد على الإفصاحات الطوعية من الشركات.

المؤلفون الأصليون: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك خباز يريد أن يعرف بالضبط أي شاحنات توصيل هي التي تجلب المكونات إلى طباخ آلي عملاق وجائع. أنت تشتبه في أن الروبوت يستخدم هذه المكونات لطهي وصفات جديدة (إجابات) للزبائن. لكن الشاحنات مخادعة: فهي ترتدي تنكرات، وقد تستعير شاحنات من شركات أخرى، كما أن الطباخ الآلي لا يخبرك دائمًا من أين حصل على طعامه.

هذه الورقة البحثية تتحدث عن حيلة ذكية استخدمها الباحثون للإيقاع بهذه الشاحنات المخادعة أثناء قيامها بعملها. وقد أطلقوا على هذه الحيلة اسم "رموز الكناري" (Canary Tokens).

الإعداد: مواقع الويب "الفخ"

بدلاً من محاولة التجسس على الروبوت مباشرة، قام الباحثون ببناء 20 موقع ويب مزيفًا. فكر في هذه المواقع كأنها طُعم مخصص.

الطُعم: قاموا بإنشاء نموذج لموقع ويب (مثل صفحة ملف شخصي لشخص وهمي أو صفحة شركة وهمية).
رمز الكناري: قبل أن يتم تحميل الموقع، أعطى الباحثون كل زائر "ختمًا" أو "رمزًا" فريدًا وغير مرئي.
- إذا زارت شاحنة ترتدي قبعة "Google" الموقع، فقد يقول الموقع: "لوني المفضل هو الأزرق".
- إذا زارت شاحنة ترتدي قبعة "Bing" الموقع، فقد يقول الموقع: "لوني المفضل هو الأرجواني".
- إذا زارت شاحنة ترتدي قبعة "Chrome" الموقع، فقد يقول الموقع: "لوني المفضل هو الأخضر".

احتفظ الباحثون بقائمة سرية: "الأزرق" = شاحنة Google، "الأرجواني" = شاحنة Bing، إلخ.

الاختبار: سؤال الطباخ الآلي

بعد ترك هذه المواقع عبر الإنترنت لمدة شهرين (لإعطاء الشاحنات وقتًا كافيًا للزيارة وحفظ المحتوى)، سأل الباحثون 22 روبوت دردشة ذكاء اصطناعي مختلفًا (مثل ChatGPT وClaude وغيرهما) أسئلة حول هذه المواقع المزيفة.

لقد طرحوا أسئلة مثل: "أخبرني عن هذا الشخص الوهمي. ما هو لونه المفضل؟"

النتائج: من يأكل ماذا؟

نظر الباحثون في الإجابات التي قدمتها الروبوتات. إذا قالت الروبوت: "لونهم المفضل هو الأزرق،" عرف الباحثون يقينًا: "شاحنة Google هي التي أوصلت هذه المعلومة إلى الروبوت."

إليك ما اكتشفوه:

1. مشكلة "التنكر"
كثير من روبوتات الذكاء الاصطناعي لم تظهر بزيها الرسمي.

الزي الرسمي: بعض الروبوتات اعترفت قائلة: "أنا OAI-SearchBot" (شاحنة OpenAI الرسمية).
التنكر: أما البعض الآخر فقد ظهر بملابس عامة، مثل متصفح ويب عادي (على سبيل المثال، "Chrome" أو "Safari"). الأمر يشبه سائق توصيل يتظاهر بأنه سائح حتى لا يوقفه أحد.
الشاحنة المستعارة: ومن المثير للدهشة أن العديد من الروبوتات لم تزر المواقع مباشرة على الإطلاق. بدلاً من ذلك، طلبوا من محركات البحث (مثل Google أو Bing) القيام بالزيارة نيابة عنهم. حيث يقول الروبوت: "لقد وجدت هذه المعلومة على Google،" حتى لو لم تكن مالكة الموقع قد سمحت لـ Google بمشاركة هذه المعلومات مع الروبوت.

2. مشكلة "الذاكرة" (التخزين المؤقت/Caching)
حاول الباحثون إيقاف الروبوتات عن طريق إغلاق المواقع (إطفاء الأنوار).

النتيجة: حتى بعد اختفاء المواقع لمدة أسبوع، كانت الروبوتات لا تزال تعرف "الألوان المفضلة".
الاستعارة: الأمر يشبه أن الطباخ الآلي قد حفظ الوصفة من كتاب طبخ سرقه سابقًا. حتى لو أحرقت كتاب الطبخ لاحقًا، سيظل الطباخ يتذكر المكونات. لقد كانت الروبوتات تحتفظ ببيانات قديمة قامت بجمعها (Scraping) سابقًا.

3. مشكلة لوحة "ممنوع الدخول" (Robots.txt)
غالبًا ما يضع أصحاب المواقع لوحة تسمى robots.txt تقول "الرجاء عدم الدخول".

النتيجة: وضع الباحثون هذه اللوحات، لكن الروبوتات تجاهلتها في الغالب. استمرت في الزيارة وحفظ المحتوى.
الاستثناء: روبوت واحد فقط، وهو Duck.ai، احترم اللوحة بالفعل وتوقف عن الزيارة. أما البقية فاستمروا في المضي قدمًا، إما لأنهم لم يروا اللوحة أو لأنهم قرروا تجاهلها.

الخلاصة الكبرى

تثبت هذه الورقة البحثية أن:

لا يمكنك دائمًا الوثوق بما يقوله الروبوت عن نفسه. فهم غالبًا ما يخفون هويتهم الحقيقية أو يستخدمون شاحنات الآخرين (محركات البحث) للحصول على البيانات.
الحظر البسيط لا يعمل. إغلاق الموقع أو وضع لوحة "ممنوع الدخول" لا يضمن أن الروبوت سينسى ما تعلمه بالفعل.
حيلة "رمز الكناري" تنجح. من خلال تقديم حقائق فريدة وعشوائية لزوار مختلفين، يمكنك تتبع أي "شاحنة" بالضبط هي التي غذت أي روبوت بالمعلومات، حتى لو حاول الروبوت إخفاء ذلك.

باختصار، نجح الباحثون في بناء نظام بصمة رقمية لمعرفة كيف تقوم روبوتات الدردشة بالذكاء الاصطناعي بسرقة (أو استعارة) المعلومات من الإنترنت، مما يكشف أن هذه العملية أكثر تعقيدًا وأقل شفافية مما تدعيه الشركات.

ملخص تقني: تحديد أدوات كشط بيانات الويب الخاصة بالذكاء الاصطناعي باستخدام رموز الكناري (Canary Tokens)

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على البيانات المجمعة من الويب (web-scraped data) لكل من التدريب المسبق والتعزيز عند الاستعلام (مثل التوليد المعزز بالاسترجاع - RAG أو البحث المباشر في الويب). وبينما يعزز هذا أداء النماذج، فإنه يثير مخاوف كبيرة تتعلق باستقرار المواقع، والخصوصية، وحقوق الطبع والنشر، والأخلاقيات. غالبًا ما يرغب مالكو المواقع في تقييد الوصول إلى محتواهم من قبل أدوات كشط (scrapers) محددة، عادةً باستخدام آليات مثل بروتوكول استبعاد الروبوتات (robots.txt). ومع ذلك، فإن فعالية هذه الضوابط تتقوض بسبب الافتقار إلى معرفة موثوقة بشأن أي أدوات كشط محددة (المحددة عبر سلاسل User-Agent) تغذي أي روبوتات دردشة للذكاء الاصطناعي.

تعتمد الطرق الحالية لتحديد أدوات الكشط المتعلقة بالذكاء الاصطناعي على الإفصاح الطوعي من الشركات، أو تجارب الباحثين لمرة واحدة، أو التقارير المستمدة من المصادر الجماعية (crowd-sourced). وهذه الطرق ليست موثوقة ولا قابلة للتوسع. علاوة على على ذلك، لا يزال من غير الواضح ما إذا كانت روبوتات الدردشة للذكاء الاصطناعي تسترجع المحتوى بشكل مباشر، أم تعتمد على بيانات مخبأة (cached) من محركات بحث خارجية، أو إذا كانت تنتحل هوياتها لتجاوز ضوابط الوصول. وتمنع هذه الضبابية مالكي المواقع من الخروج بفعالية من منظومة الذكاء الاصطناعي.

المنهجية

يقترح المؤلفون تقنية مبتكرة باستخدام رموز الكناري (Canary Tokens) لاستنتاج العلاقة بين أدوات كشط الويب وروبوتات الدردشة للذكاء الاصطناعي بدقة وبشكل تلقائي. يتضمن النهج مسار عمل مكون من ثلاث مراحل:

نشر مواقع رموز الكناري:
- قام المؤلفون بنشر 20 موقعًا فريدًا تحاكي أنواع المحتوى الشائعة (مثل ملفات التعريف الشخصية، ومواقع الشركات).
- احتوى كل قالب موقع على أماكن مخصصة لـ رموز الكناري (سلاسل نصية فريدة وعشوائية مثل الأسماء أو المواقع أو الأرقام).
- التقديم الديناميكي: عندما كان أحد أدوات الكشط يصل إلى الموقع، كان النظام يحدد الزائر بناءً على مزيج فريد من User-Agent و رقم النظام المستقل (ASN).
- تعيين الرموز: تم تقديم مجموعة متميزة من رموز الكناري لكل أداة كشط فريدة ضمن محتوى الصفحة. وإذا زار أداة الكشط الموقع عدة مرات، فسيحصل على نفس الرموز؛ بينما حصلت أدوات الكشط المختلفة على رموز مختلفة.
الاستعلام من روبوتات الدردشة للذكاء الاصطناعي:
- بعد فترة انتشار استمرت شهرين، قام المؤلفون بالاستعلام من 22 روبوت دردشة إنتاجي (بما في ذلك ChatGPT وClaude وCopilot وGemini وغيرها) باستخدام مطالبات (prompts) محددة.
- صُممت المطالبات لاستخراج معلومات حول المواقع المنشورة، وتحديدًا طلب تفاصيل تتوافق مع رموز الكناري (مثل "ما هي مسقط رأس أليس؟").
- استُخدمت مطالبة متابعة للتحقق من وجود معلومات متغيرة أو تباينات.
استنتاج أداة الكشط:
- استخرج المؤلفون رموز الكناري من استجابات روبوتات الدردشة.
- خوارزمية المطابقة: تم إثبات المطابقة إذا تضمنت استجابة روبوت الدردشة رمزًا تم تعيينه بشكل فريد لأداة كشط محددة.
- العتبات (Thresholds): للحد من النتائج الإيجابية الكاذبة (مثل الهلوسة أو التطابق العرضي)، لم تُعتبر أداة الكشط مغذية لروبوت الدردلة إلا إذا ارتبطت بـ رمزين على الأقل ( $t=2$ ) أو لوحظت في تفاعل موقع واحد متميز ( $w=1$ ) عبر مجموعة البيانات.
- تم استبعاد المطابقات الغامضة (مثل الرموز الجزئية أو التطابقات الرقمية) لضمان الموثوقية.

الإعداد التجريبي

الموضوعات: 22 روبوت دردشة إنتاجي من مزودين رئيسيين (OpenAI، Anthropic، Google، Microsoft، إلخ) ومزودي محركات البحث.
الظروف: استمرت الدراسة لعدة أشهر تحت ثلاثة ظروف وصول:
1. الوصول الكامل: جميع المواقع متصلة بالإنترنت (خط الأساس/Baseline).
2. غير متصل (Offline): تم إيقاف 10 مواقع لاختبار التخزين المؤقت (caching).
3. مقيد (Restricted): بقيت 10 مواقع متصلة ولكن تم حظرها عبر robots.txt لاختبار الالتزام بالبروتوكول.
المقاييس: وجود سلاسل User-Agent محددة في مصدر البيانات المستنتج واستمرار المحتوى بعد الحظر.

النتائج الرئيسية

1. رسم خرائط أدوات الكشط لروبوتات الدردشة (RQ1)

نجحت الدراسة في تحديد سلاسل User-Agent المستخدمة من قبل 18 من أصل 22 من روبوتات الدردشة.

المُعلن مقابل الفعلي: بينما استخدمت بعض روبوتات الدردشة سلاسل User-Agent المعلنة ذاتيًا (مثل OAI-SearchBot لـ ChatGPT)، استخدم الكثير منها وكلاء متصفح عامين (مثل Chrome وSafari) أو وكلاء بحث من طرف ثالث (مثل Googlebot وBingbot وBravebot).
تدوير الهوية: بدت بعض الأنظمة، ولا سيما Kimi، وكأنها تقوم بتدوير قائمة كبيرة من User-Agents، مما يجعل تحديد الهوية عبر السلاسل الثابتة أمرًا صعبًا.
الاعتماد على الطرف الثالث: أعادت العديد من روبوتات الدردشة محتوى مرتبطًا بكوكبات محركات البحث (مثل Googlebot)، بدلاً من كوكباتها الخاصة، مما يشير إلى أنها تعتمد على فهارس محركات البحث بدلاً من الكشط المباشر.

2. التخزين المؤقت والاستمرارية (RQ2)

التخزين المؤقت شائع: عندما تم إيقاف تشغيل المواقع، استمرت غالبية روبوتات الدردشة في تقديم محتوى مرتبط بتلك المواقع.
تخزين محركات البحث: أظهرت روبوتات الدردشة التي تعتمد على وكلاء بحث من طرف ثالث (Googlebot، Bingbot) استمرارية عالية، وهو ما يتوافق مع فهرسة محركات البحث.
التخزين المباشر: حتى روبوتات الدردشة التي تستخدم وكلاء متصفح عامين (مثل Grok وSolar) استمرت في تقديم المحتوى بعد توقف المصدر عن العمل، مما يشير إلى أنها تحتفظ بتخزين مؤقت خاص بها.

3. فعالية الحظر (RQ3)

عدم فعالية الضوابط القياسية: فشلت عملية إيقاف تشغيل المواقع أو تنفيذ قيود robots.txt إلى حد كبير في منع روبوتات الدردشة من إرجاع المحتوى الممسوح سابقًا.
تجاهل Robots.txt: في حالة robots.txt ، استمرت العديد من روبوتات الدردشة في إرجاع المحتوى، مما يشير إلى أنها إما تتجاهل البروتوكول أو تعتمد على بيانات مخبأة تسبق القيود.
الاستثناء: كان Duck.ai هو النظام الوحيد الذي لوحظ توقفه عن إرجاع المحتوى في كل من حالتي "غير متصل" و "robots.txt"، مما يشير إلى أنه يقيم التوفر وتوجيهات البروتوكول بنشاط.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول نظرة نقدية للبنية التحتية التي تدعم استرجاع المحتوى في الوقت الفعلي في روبوتات الدردشة للذكاء الاصطناعي. وتتمثل مساهماته الرئيسية في:

تقنية قياس مبتكرة: يوفر نهج رموز الكناري طريقة موثوقة وآلية للأطراف الثالثة غير المميزة لاستنتاج أي أدوات الكشط تغذي أي نماذج لغوية كبيرة دون الاعتماد على الإفصاح الطوعي.
كشف الضبابية: تكشف الدراسة أن سلسلة توريد البيانات أكثر تعقيدًا مما توحي به الإفصاحات العامة. فغالباً ما تعتمد روبوتات الدردشة للذكاء الاصطناعي على محركات بحث من طرف ثالث أو وكلاء متصفح عامين، وغالبًا ما تقوم بتخزين المحتوى مؤقتًا، مما يجعل آليات الحظر التقليدية مثل robots.txt غير فعالة لإزالة البيانات من مخرجات الذكاء الاصطناعي.
الآثار المترتبة على التحكم: تشير النتائج إلى أن مالكي المواقع الذين يرغبون في الخروج من كشط الذكاء الاصطناعي لا يمكنهم الاعتماد فقط على robots.txt أو إيقاف المواقع عن العمل. يسلط البحث الضوء على الحاجة إلى آليات جديدة للإشارة إلى التفضيلات وفرضها عبر سلاسل توريد البيانات متعددة الأطراف والمعقدة.

يخلص المؤلفون إلى أنه بينما يتيح نهجهم تحديد أدوات الكشط بشكل أفضل، فإن المشهد الحالي لكشط الويب بواسطة الذكاء الاصطناعي يظل غامضًا إلى حد كبير ومقاومًا لتدابير التحكم في الوصول التقليدية.