🤖 machine learning

Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces

تثبت هذه الورقة أن المواقع الإلكترونية يمكنها تحديد نموذج اللغة الكبير الذي يشغل وكيل المتصفح بشكل سلبي بدقة تصل إلى 96% من خلال تحليل آثار تفاعل واجهة المستخدم وتوقيتها، مما يكشف عن ثغرة أمنية كبيرة تستمر حتى عند إدخال تأخيرات زمنية بسيطة.

المؤلفون الأصليون: William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدخل غرفة مزدحمة. حتى لو ارتديت قناعاً وغيرت صوتك، فإن طريقة مشيك، وسرعة نقرك بأصابعك، والإيقاع المحدد لحركاتك قد يكشف هويتك. لديك "مشية" فريدة خاصة بك.

هذه الورقة البحثية تتحدث عن اكتشاف أن الوكلاء الذكيين (AI agents) (وهي برامج حاسوبية تتصفح الويب نيابة عنك) لديهم "مشية" مماثلة.

إليك تفصيل البحث بكلمات بسيطة:

الفكرة الكبرى: المشية الرقمية

عندما يتصفح إنسان الإنترنت، فإنه ينقر، ويقوم بالتمرير (scroll)، ويكتب بسرعته الخاصة. وعندما يفعل وكيل ذكاء اصطناعي الشيء نفسه، فإنه أيضاً ينقر ويتمرر. لكن الورقة توضح أن نماذج الذكاء الاصطناعي المختلفة (مثل GPT-5 أو Claude أو Qwen) تمتلك "شخصيات" متميزة في طريقة حركتها.

قد يتوقف أحد النماذج لفترة طويلة قبل النقر على رابط ما، بينما قد يقوم نموذج آخر بالتمرير بسرعة كبيرة والنقر بنمط محدد. وجد الباحثون أنه من خلال مراقبة هذه الحركات الدقيقة والتوقيت، استطاعوا تحديد أي نموذج ذكاء اصطناعي هو الذي يقف خلف الشاشة بدقة تصل إلى 96%.

كيف فعلوا ذلك: ساعة التوقيت غير المرئية

لم يحتج الباحثون إلى اختراق الذكاء الاصطناعي أو رؤية كوده البرمجي الداخلي. لقد استخدموا خدعة بسيطة وسلبية:

الإعداد: قاموا بإنشاء موقع إلكتروني (مثل مسار اختبار) حيث أُرسل 14 وكيلاً مختلفاً من وكلاء الذكاء الاصطناعي لأداء مهام، مثل البحث عن إجابات في ويكيبيديا أو التسوق في أمازون.
المتتبع: قاموا بحقن قطعة صغيرة من الكود (متتبع JavaScript) داخل الصفحة. عمل هذا الكود كأنه ساعة توقيت صامتة ومستشعر حركة. لم يسأل الذكاء الاصطناعي عما يفكر فيه، بل سجل فقط:
- ماذا نقر الوكيل.
- أين نقر على الشاشة.
- كم من الوقت انتظر بين الإجراءات.
المحقق: قاموا بتغذية هذه البيانات في برنامج حاسوبي (مصنف - classifier) وسألوه أن يخمن أي ذكاء اصطناعي قام بهذه التحركات.

النتائج: لا يمكنك إخفاء إيقاعك

كانت النتائج مذهلة:

دقة عالية: استطاع النظام تحديد نموذج الذكاء الاصطنا_ي بشكل صحيح في كل مرة تقريباً، حتى لو كان الذكاء الاصطناعي يحاول القيام بمهمة مختلفة.
السرعة: لم يحتج النظام لمراقبة الجلسة بأكملها. فغالباً ما كان بإمكانه تخمين هوية الذكاء الاصطناعي بعد بضع نقرات فقط (مثل التعرف على مشية صديق بعد رؤيته لثوانٍ معدودة).
التوقيت هو المفتاح: لم يكن الدليل الأهم هو ماذا نقر الذكاء الاصطناعي، بل متى نقر. كانت الفجوات الزمنية بين الإجراءات هي البصمة الأقوى.

"الدفاع" الذي لم ينجح

تساءل الباحثون: "ماذا لو أضفنا تأخيرات عشوائية لأفعال الذكاء الاصطناعي لإرباك المتتبع؟"

جربوا إضافة فترات توقف عشوائية (مثل جعل الذكاء الاصطناعي ينتظر 5 ثوانٍ قبل النقر).
النتيجة: أدى ذلك إلى إبطاء المتتبع قليلاً، لكن المتتبع كان ذكياً. إذا أعاد الباحثون تدريب نظامهم على هذه الآثار "المتأخرة"، فإن النظام يتعلم تجاهل الفترات العشوالية والتركيز على الإيقاع الأساسي مرة أخرى. لقد فشل الدفاع.

لماذا هذا مهم (لماذا يجب أن أهتم؟)

تطرح الورقة هذا الأمر كخطر أمني.

المشكلة: في الوقت الحالي، تقلق المواقع الإلكترونية غالباً من سؤال: "هل هذا إنسان أم بوت؟" وتظهر هذه البحث أنه بمجرد معرفة أنه "بوت"، يمكنك أن تسأل: "أي بوت محدد هو هذا؟"
الخطر: إذا عرف طرف سيء النوايا بالضبط أي نموذج ذكاء اصطناعي يزور موقعه، فيمكنه تصميم هجمات مخصصة لهذا النموذج تحديداً. الأمر يشبه مجموعة أدوات فتح الأقفال التي تعمل على علامة تجارية معينة من الأقفال؛ إذا عرفت نوع قفلك، يمكنك فتحه بسرعة أكبر بكثير.
الواقع: في كل مرة يزور فيها ذكاء اصطناعي موقعاً إلكترونياً، فإنه يترك "بصمة رقمية" تكشف هويته، حتى لو حاول الاختباء.

الخلاصة

تماماً كما لا يمكنك إخفاء أسلوب مشيك بسهولة في الزحام، لا تستطيع نماذج الذكاء الاصطناعي إخفاء "أسلوب تفاعلها" أثناء تصفح الويب. نقراتهم وفترات توقفهم هي بطاقة هوية فريدة تكشف من هم، وهذه البطاقة مرئية لأي شخص يتحكم في الموقع الإلكتروني الذي يزورونه.

ما لا تدعيه الورقة البحثية:

هي لا تقول إن هذا يمكن استخدامه لتحديد المستخدمين البشر (فهي تفترض أن المستخدم هو ذكاء اصطناعي بالفعل).
هي لا تدعي أن هذا يعمل على جميع مواقع الويب في العالم (لقد تم اختباره على مهام بحث وتسوق محددة).
هي لا تقدم حلاً لإصلاح هذا الأمر بعد؛ بل تكتفي بكشف هذه الثغرة فحسب.

ملخص تقني: يُعرفون من خلال أفعالهم: بصمة نماذج اللغات الكبيرة (LLM) عبر آثار واجهة المستخدم

1. صياغة المشكلة

مع انتقال وكلاء النماذج اللغوية الكبيرة (LLM) من النماذج الأولية البحثية إلى أنظمة إنتاج تتصفح الويب نيابة عن المستخدمين، يبرز سؤال أمني حرج: هل تستطيع المواقع الإلكترونية تحديد النموذج الأساسي الذي يشغل الوكيل بشكل سلبي؟ عادةً ما تؤطر أنظمة كشف البوتات الحالية المشكلة كتصنيف ثنائي (بشري مقابل آلي). ومع ذلك، مع إزاحة الأتمتة المبرمجة بواسطة وكلاء النماذج اللغوية الكبيرة، يتغير مشهد التهديدات. في الأطر الأمنية الكلاسيكية، يعد تحديد الهدف شرطاً مسبقاً للاستغلال. فإذا تمكن المهاجم من تحديد النموذج الذي يزور الصفحة، يمكنه تخصيص الهجمات — مثل اختيار عمليات "كسر الحماية" (jailbreaks) محددة من مستودع معروف أو تقليل مساحة البحث للهجمات العدائية (adversarial attacks) في بيئة "الصندوق الأبيض" — بناءً على الثغرات المعروفة لكل نموذج.

تبحث هذه الورقة فيما إذا كان يمكن استنتاج النموذج الأساسي لوكيل المتصفح من خلال آثار واجهة المستخدم (UI) الموجودة داخل الصفحة فقط. ويفترض المؤلفون أن أفعال الوكيل (النقر، التمرير، ضغط المفاتك) وتوقيت تفاعلاته تشفر بصمة سلوكية فريدة تميز النموذج، بشكل مستقل عن ترويسات المتصفح (browser headers) أو البيانات الوصفية لطبقة الشبكة التي يمكن تزييفها.

2. المنهجية

الإعداد التجريبي

تقيم الدراسة 14 نموذجاً من نماذج اللغات الكبيرة متعددة الوسائط الرائدة، بما في ذلك النماذج المملوكة (GPT-5.4، Claude Opus 4.6، Gemini-3.1/Flash) والنماذج مفتوحة المصدر (سلسلة Qwen3/3.5-VL، GLM-4.6V، Gemma-4، UI-TARS-1.5، Seed-2.0-Lite).

البيئة: يعمل الوكلاء ضمن إطار عمل متصفح معياري (Midscene.js) يقوم بترجمة قرارات النموذج إلى أوامر Playwright. يضمن ذلك أن الاختلافات السلوكية تنبع من النموذج نفسه وليس من بيئة التنفيذ.
المهام: يؤدي الوكلاء مهام عبر أربع بيئات ويب حية: اثنتان من معايير استرجاع المعلومات (2WikiMultiHop، FRAMES على ويكيبيديا) واثنتان من معايير التسوق (Webshop، Deepshop على أمازون).
جمع البيانات: يتم حقن متعقب JavaScript خفيف الوزن في الصفحات المستهدفة. يقوم هذا المتعقب بتسجيل أحداث التفاعل من جانب العميل بشكل سلبي بدقة ميلي ثانية، حيث يلتقط:
- أنواع الأفعال (نقر، تمرير، ضغط مفتاح، تنقل).
- الإحداثيات المكانية (إحداثيات X/Y للنقر، عمق التمرير).
- الديناميكيات الزمنية (الفواصل الزمنية بين الأحداث، الوقت حتى أول فعل).
- الأنماط الهيكلية (نسبة النقر على الروابط، أنواع المفاتيح).
تنسيق الأثر: يولد الجلسة أثراً $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$ ، حيث $s_t$ هو الملاحظة، و $u_t$ هو الفعل، و $\Delta t_t$ هو الوقت المنقضي منذ الفعل السابق.

نهج التصنيف

تتم صياغة المشكلة كمهمة تصنيف تحت الإشراف للتنبؤ بالنموذج الأصلي $\hat{m} = f(\tau)$ .

استخراج الميزات: يتم استخراج 41 ميزة عددية، مصنفة إلى ديناميكيات زمنية (مثل إحصائيات الفواصل الزمنية بين الأحداث)، وسلوك التمرير، والتوزيع المكاني للنقر، وحجم التنقل.
النماذج: تم تدريب خمس عائلات من المصنفات: Lasso Regression، وLogistic Regression، وRandom Forest، وXGBoost، وشبكة LSTM. وقد تم تسليط الضوء على XGBoost كأفضل أداء.
بروتوكولات التقييم:
- البصمة في المجموعة المغلقة (Closed-Set): يتم تدريب واختبار المصنف على مجموعة ثابتة من 14 وكيلاً معروفاً.
- البصمة في المجموعة المفتوحة (Open-Set): يتم استخدام بروتوكول "ترك وكيل واحد خارج المجموعة" (LOO) لاختبار القدرة على تمييز الوكلاء المعروفين عن وكيل غير معروف (والإشارة إلى الأثر كوكيل غير معروف).

3. النتائج الرئيسية

دقة عالية في تحديد المجموعة المغلقة

تظهر الدراسة أن الوكلاء قابلون لتحديد هوياتهم بدقة عالية من خلال آثار أفعالهم.

الأداء: يحقق مصنف XGBoost درجات تصل إلى 96% في مقي المقياس (Macro F1) عبر الـ 14 نموذجاً.
الاتساق: لوحظ أداء عالٍ عبر جميع مجموعات البيانات الأربع (2WikiMultiHop، FRAMES، Webshop، Deepshop). على سبيل المثال، حقق Seed-2-lite نسبة 96.1% في 2WikiMultiHop، وحقق UI-TARS-1.5 نسبة 92.1% في Webshop.
الكفاءة: يمكن تدريب المصنفات القوية باستخدام أقل من ثلث آثار التدريب المتاحة. علاوة على ذلك، يمكن استنتاج هوية النموذج في وقت مبكر من الحلقة؛ حيث يرتفع مقياس Macro F1 بشكل حاد خلال أول 40% من الأفعال المرصودة، ثم يستقر بالقرب من أداء الأثر الكامل.

الكشف في المجموعة المفتوحة

على الرغم من أن تحديد المجموعة المفتوحة (التمييز بين المعروف وغير المعروف) يعد أكثر صعوبة، إلا أنه يظل ممكناً.

يحقق معظم الوكلاء قيمة AUROC > 0.60 في التمييز بين الآثار المعروفة وغير المعروفة.
ومن الملاحظ وجود انفصال بين أداء المجموعة المغلقة والمجموعة المفتوحة: فالوكلاء الذين يسهل تحديد هويتهم عندما تكون هويتهم معروفة (مثل Seed-2-lite) ليسوا بالضرورة هم الأسهل في التمييز عن الوكلاء غير المعروفين في إعداد المجموعة المفتوحة.

أهمية الميزات والمتانة

هيمنة التوقيت: في الظروف العادية، تعد الميزات الزمنية (الفواصل الزمنية بين الأحداث، والوقت حتى أول فعل) هي المحركات الرئيسية لدقة التصنيف.
المتانة تجاه الاضطراب: اختبر المؤلفون مدى صمود هذه البصمات عبر حقن تأخيرات عشوائية (تصل إلى 5 ثوانٍ) بين الأفعال.
- تعاني المصنفات المدربة على آثار "نظيفة" من انخفاض حاد في الأداء عند تقييمها على آثار متأخرة.
- ومع ذلك، فإن المصنفات التي أعيد تدريبها على آثار متأخرة تستعيد الأداء إلى حد كبير؛ حيث تتحول من الاعتماد على التوقيت الصرف إلى الميزات الهيكلية المتينة، مثل تشتت إحداثيات النقر، والنسب الهيكلية للمفاتيح، ونسب النقر على الروابط. ويشير هذا إلى أنه بينما يعد التوقيت أقوى إشارة، فإن "البصمة" السلوكية لا تعتمد كلياً عليه.

التعميم

نقل المهام: يعد نقل المهمة الواحدة (التدريب على مهمة واحدة، والاختبار على مهمة أخرى ضمن نفس الموقع) ضعيفاً. ومع ذلك، فإن التدريب المجمع للمواقع (الجمع بين آثار مهام متعددة على نفس الموقع الإلكتروني) يستعيد أداء التحديد القوي.
النقل بين المواقع: يظل النقل بين مواقع مختلفة (مثلاً من ويكيبيديا إلى أمازون) ضعيفاً، مما يشير إلى أن البصمات مرتبطة بالتفاعل المحدد بين النموذج، وتوزيع المهام، وواجهة الموقع الإلكتروني.

4. الأهمية والآثار المترتبة

تزعم هذه الورقة أن عملها يحدد سطح هجوم جديد لوكلاء النماذج اللغوية الكبيرة: الإسناد السلبي للنموذج عبر آثار واجهة المستخدم.

نموذج التهديد: الهجوم سلبي ومتواجد في نفس المكان (المهاجم يسيطر على الصفحة). وهو لا يتطلب رؤية للشبكة أو فحصاً نشطاً.
ناقل الاستغلال: بمجرد تحديد الوكيل، يمكن للمهاجم:
1. نشر حقن أوامر (Prompt Injections) مستهدفة: اختيار عمليات كسر الحماية المعروفة بفعاليتها ضد النموذج المحدد.
2. تضخيم التكاليف (هجمات الإسفنج - Sponge Attacks): تقديم محتوى مصمم لزيادة استهلاك الرموز (tokens) للنماذج الرائدة عالية التكلفة (مثل Claude Opus، GPT-5.4)، مما يخلق فعلياً هجوماً لحرمان الخدمة ضد ميزانية الاستدلال الخاصة بالمستخدم.
3. التحكم الشرطي في الوصول: تنفيذ قوائم بيضاء أو سوداء خاصة بالنماذج، أو تقديم محتوى مسموم يظهر لنماذج معينة فقط بينما يبدو حميداً للآخرين.
محدودية الدفاع: تعتبر عمليات تطبيع المتصفح القياسية، مثل عشوائية تأخيرات التوقيت، غير كافية للحماية من هذا الهجوم إذا كان المهاجم مستعداً لإعادة تدريب مصنفه على البيانات المضطربة.

5. الخاتية

يخلص المؤلفون إلى أن سلوك الوكلاء على الصفحة يعمل كإشارة تعريفية مستمرة تشبه النماذج نفسها. إن الانتقال من كشف "الإنسان مقابل البوت" إلى تحديد "أي نموذج" يمثل تغييراً جوهرياً في مشهد التهديدات للوكلاء المنتشرين. وتصدر الورقة مجموعة بيانات مصنفة لآثار الوكلاء وإطار عمل للمتصفح لتسهيل المزيد من الأبحاث حول الإسناد السلوكي وتطوير التدابير المضادة.

ملاحظة: تنص الورقة صراحة على أن نطاقها الحالي محدود بإطار عمل وكيل واحد (Midscene.js)، ومجموعة مغلقة من 14 نموذجاً، وتحديد المجموعة المفتوحة الذي ليس مثالياً بعد. هناك حاجة لمزيد من العمل لتوصيف الإشارات الثابتة تجاه إطار العمل وتقييم دفاعات التمويه ضد المهاجمين التكيفيين.