🤖 machine learning

One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

تستكشف هذه الورقة كيف يمكن استغلال الثغرات في مولدات الأرقام العشوائية الزائفة (PRNGs) عبر أطر تعلم الآلة كمتجهات هجوم خفية، وتقترح أداة **RNGGuard** التي تقوم بتحليل الثغرات استاتيكياً واستبدال الدوال العشوائية غير الآمنة ديناميكياً بتنفيذات آمنة لحماية أنظمة تعلم الآلة.

المؤلفون الأصليون: Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

نُشر 2026-02-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المكون السري: لماذا تُعد "العشوائية" كعب أخيل للذكاء الاصطناعي

تخيل أنك طاهٍ ماهر. لكي تجعل طبقك المميز مثاليًا، لا تكتفي باتباع الوصفة فحسب؛ بل تعتمد على "الفوضى المنضبطة". أنت ترش حفنة من الملح "بقدر كافٍ فقط"، وتحرك القدر بنمط عشوائي لضمان توزيع الحرارة بالتساوي، وتختار بعض التوابل السرية عشوائيًا للحفاظ على تفرد النكهة.

في عالم الذكاء الاصطناعي، العشوائية هي ذلك المكون السري.

تستخدم نماذج الذكاء الاصطناعي العشوائية في كل شيء تقريبًا: اختيار البيانات التي ستتعلم منها، وتحديد كيفية "خلط" المعلومات، وحتى إضافة "الضجيج" لحماية خصوصية الناس. إذا كانت العشوائية جيدة، يكون الذكاء الاصطناعي ذكيًا وعادلًا. ولكن إذا كانت العشوائية "معطلة" أو قابلة للتنبؤ، فإن المطبخ بأكمله ينهار.

المشكلة: سيناريو "النرد المغشوش"

اكتشف الباحثون في جامعة بوردو حقيقة مخيفة: إن "النرد" الذي يستخدمه الذكاء الاصطناعي لاتخاذ هذه القرارات العشوائية غالبًا ما يكون مغشوشًا — أحيانًا عن طريق الخطأ، وأحيانًا عن طريق التصميم.

فكر في الأمر على هذا النحو: تخيل كازينو تبدو فيه عجلة الروليت طبيعية تمامًا، لكن لصًا ذكيًا قام بوزن الكرة بشكل طفيف بحيث تهبط دائمًا على اللون الأحمر. بالنسبة للمراقب العادي، تبدو اللعبة عادلة. لكن بالنسبة للص، تكون النتيجة متوقعة بنسبة 100%.

في الذكاء الاصطناعي، يحدث هذا لأن أطر البرمجيات المختلفة (الأدوات المستخدمة لبناء الذكاء الاصطناعي) تستخدم طرقًا مختلفة لتوليد الأرقام العشوائية. البعض يستخدم عشوائية "ضعيفة" (مثل استخدام الوقت الحالي كبذرة، وهو أمر يسهل تخمينه)، والبعض الآخر يستخدم عشوائية "غير آمنة" ليست قوية بما يكفي لحماية البيانات الخاصة.

إذا استطاع المهاجم التنبؤ بالأرقام "العشوائية"، فبإمكانه:

الغش في الخصوصية: يمكنه "إلغاء" الضجيج المخصص لإخفاء بياناتك الشخصية، مما يعني حرفيًا الرؤية من خلال القناع الرقمي.
تخريب الدماغ: يمكنه التلاعب بكيفية تعلم الذكاء الاصطناعي، مما يجعله منحازًا، أو غير عادل، أو يتسبب في فشله في مهام محددة.
إنشاء أبواب خلفية: يمكنه إخفاء "أبواب فخاخ" في الذكاء الاصطناعي لا تعمل إلا عندما يريد هو ذلك.

الحل: RNGGUARD (حارس الأمن الرقمي)

ابتكر الباحثون نظامًا جديدًا يسمى RNGGUARD. فكر في RNGGUARD كحارس أمن عالي التقنية وغير مرئي يقف فوق كتف الطاهي (الذكاء الاصطناعي).

يعمل RNGGUARD بطريقتين ذكيتين:

فحص المخطط (التحليل الساكن): قبل بدء عملية الطهي، يقوم RNGGUARD بمسح كتاب الوصفات بالكامل (الكود). يبحث عن أي جزء من العملية قد يُستخدم فيه نرد "رخيص" أو "غير موثوق". وإذا وجد نقطة ضعف، فإنه يحددها للاستبدال.
المُدقق المباشر (التحليل الديناميكي): أثناء "طهي" الذكاء الاصطناعي (التدريب)، يقوم RNGGUARD بعمليات فحص عشوائية مباشرة. إنه يشبه ناقد الطعام الذي يأخذ أحيانًا ملعقة من الصلصة للتحقق مما إذا كان التتبيل عشوائيًا حقًا أم أنه يتم التلاعب به. إذا كان طعم "الصلصة" مريبًا (بمعنى أن الأرقام ليست عشوائية إحصائيًا)، فإن RNGGUARD يطلق إنذارًا ويستبدل العشوائية بنسخة عالية الجودة و"آمنة تشفيرياً".

لماذا يهم هذا الأمر؟

بينما ننتقل نحو عالم يتخذ فيه الذكاء الاصطناعي قرارات تتعلق بتشخيصاتنا الطبية، وقروضنا المصرفية، وخصوصيتنا، لا يمكننا تحمل وجود "نرد مغشوش" في النظام.

تثبت هذه الورقة البحثية أننا بحاجة إلى التوقف عن معاملة العشوائية ك dettaglio خلفي والبدم في معاملتها كميزة أمنية حاسمة. RNGGUARD هو خطوة نحو ضمان أنه عندما يقول الذكاء الاصطناعي إن قرارًا ما "عشوائي"، فإنه يكون كذلك بالفعل.

ملخص تقني: مولد عشوائي واحد يحكم الجميع

العنوان: مولد عشوائي واحد يحكم الجميع: كيف تصبح العشوائية ناقل هجوم في تعلم الآلة
المؤلفون: كوتيكار أنابورنا برابهو، أندرو غان، زهرة غودسي (جامعة بوردو)

1. المشكلة: ناقل الهجوم "غير المرئي"

يعتمد تعلم الآلة (ML) بشكل كبير على العشوائية للعمليات الحرجة، بما في ذلك تقسيم البيانات، والتعزيز (augmentation)، وتهيئة الأوزان (weight initialization)، والتحسين (SGD)، والآليات التي تحافظ على الخصوصية مثل الخصوصية التفاضلية (DP) والتنعيم العشوائي (randomized smoothing).

حدد المؤلفون فجوة أمنية كبيرة: بينما تعد العشوائية أمراً جوهرياً، إلا أن تنفيذها غالباً ما يتم تجاهله من منظور أمني. تستخدم معظم أطر عمل تعلم الآلة مولدات أرقام شبه عشوائية (PRNGs)، وهي خوارزميات حتمية. يسلط المؤلفون الضوء على ثلاث ثغرات أساسية:

التنفيذات غير المتسقة: الاختلافات في تصميم الـ PRNG عبر أطر العمل (PyTorch، TensorFlow، JAX)، والمكتبات البرمجية (NumPy)، والأنظمة الخلفية للأجهزة (CPU مقابل GPU).
البذر غير الآمن (Insecure Seeding): تستخدم العديد من الأنظمة بذوراً (seeds) يمكن التنبؤ بها، مثل وقت النظام أو سلاسل نصية ثابتة، مما يسمح للمهاجمين بإعادة بناء التسلسل الكامل للأرقام "العشوائية".
الافتقار إلى التحقق الإحصائي: نادراً ما تقوم أطر العمل بإجراء اختبارات إحصائية صارمة لضمان أن التحويلات (على سبيل المثال، تحويل رقم صحيح موحد إلى توزيع غاوسي) تحافظ على الخصائص الرياضية المطلوبة.

يمكن للمهاجم الذي يستغل نقاط الضعف هذه أن يعمل بشكل خفي على تدهور أداء النموذج، أو إدخال أبواب خلفية (backdoors)، أو تقويض الخصوصية (عن طريق "إزالة الضجيج" من تدرجات الخصوصية التفاضلية DP)، أو إنشاء شهادات متانة زائفة.

2. المنهجية

استخدم الباحثون نهجاً متعدد المراحل لدراسة هذه المخاطر والتخفيف من حدتها:

دراسة المنظومة (Ecosystem Study): أجروا تدقيقاً شاملاً لأطر عمل تعلم الآلة الرئيسية (PyTorch، TensorFlow، JAX، Keras)، ومكتبات الخصوصية التفاضلية (Opacus، TFPrivacy)، ومنصات التعلم الاتحادي (FedML-AI، TFFederated). وحللوا خوارزميات الـ PRNG الخاصة بها، وممارسات البذر (seeding)، وسلاسل التبعية.
تصنيف الهجمات (Attack Taxonomy): طوروا تصنيفاً جديداً للهجمات بناءً على الهدف (مصدر البذر، تبعيات المكتبة، أو إطار عمل تعلم الآلة) وعلى هدف المهاجم (الأداء، الخصوصية، العدالة، النزاهة، أو المتانة).
تصميم النظام (RNGGUARD): لمعالجة هذه الفجوات، طوروا نظاماً أمنياً ثنائي المرحلة يسمى RNGGUARD:
1. المرحلة الساكنة (Static Phase): تستخدم CodeQL لإجراء تحليل دلالي لكود المصدر الخاص بالمكتبة. وهي تحدد جميع الدوال التي تعتمد بشكل انتقالي على بدائيات الـ PRNG الأساسية.
2. المرحلة الديناميكية (Dynamic Phase): تعمل في وقت التشغيل باستخدام الطبيعة الديناميكية للغة بايثون لاعتراض واستبدال استدعاءات الدوال غير الآمنة. وهي تدعم نمطين:
  - النمط الساكن (Static Mode): يستبدل الاستدعاءات غير الآمنة بتنفيذات آمنة (مثل حقن بذرة من /dev/urandom أو استخدام مولد أرقام شبه عشوائي آمن تشفيرياً CSPRNG للخصوصية التفاضلية DP).
  - النمط الديناميكي (Dynamic Mode): يقوم بعمل تدقيق إحصائي في الوقت الفعلي باستخدام اختبار كولموغوروف-سميرنوف (KS test) (للتوزيعات المستمرة) واختبار بيرسون ( $\chi^2$ ) (للتوزيعات المنفصلة).

3. المساهمات الرئيسية

تدقيق شامل للمنظومة: كشف أن العديد من أطر عمل تعلم الآلة المعتمدة على الخصوصية التفاضلية (DP-ML) تستخدم افتراضياً مولدات PRNG غير آمنة، وأن ممارسات البذر (مثل استخدام وقت النظام) معرضة بشدة لهجمات القوة الغاشمة (brute-force).
تصنيف جديد للهجمات: قدم طريقة مهيكلة لفهم كيف يمكن استخدام التلاعب بالعشوائية كمتجه هجوم خفي.
نظام RNGGUARD: أداة عملية لمهندسي تعلم الآلة لتأمين العشوائية بجهد منخفض، قادرة على فرض السياسات واكتشاف الانحرافات التوزيعية.
تقنيات التحسين: قدموا أنماط غير متزامنة (ASN) وغير متزامنة عشوائية (RASN) للتخفيف من العبء التشغيلي العالي للاختبار الإحصائي في الوقت الفعلي.

4. النتائج والتقييم

الفعالية: نجح RNGGUARD في اكتشاف وتصحيح هجوم محاكى حيث تم التلاعب بدالة تهيئة الأوزان لتعيد توزيعات موحدة بدلاً من التوزيعات الطبيعية.
تدقيق الخصوصية التفاضلية (DP Auditing): أظهر المؤلفون أن أدوات تدقيق الخصوصة التفاضلية الحالية (مثل DeltaSiege) تفشل في اكتشاف انتهاكات الخصوصية الناتجة تحديداً عن مولدات PRNG غير الآمنة، مما يثبت ضرورة وجود RNGGUARD.
العبء التشغيلي (Performance Overhead):
- النمط الساكن (Static Mode): أدى إلى عبء متوسط (حوالي 47% في الإعدادات غير المتعلقة بالخصوصية التفاضلية).
- النمط الديناميكي غير المحسن (Unoptimized Dynamic Mode): أدى إلى عبء هائل (يصل إلى 650% في إعدادات الخصوصية التفاضلية) بسبب تكلفة الاختبار الإحصائي.
- النمط الديناميكي المحسن (RASN): من خلال تشغيل الاختبارات بشكل غير متزامن وتدقيق مجموعة فرعية فقط من المتواليات العشوائية (كل عاشر تسلسل)، نجح المؤلفون في تقليل العبء بشكل كبير، مما جعله عملياً للتدريب في العالم الحقيقي.

5. الأهمية

ينقل هذا البحث نموذج أمن تعلم الآلة من التركيز حصرياً على مدخلات النموذج (التملص/التسمم) إلى التركيز على الأسس العشوائية (stochastic foundations) لعملية التدريب نفسها. ومن خلال إثبات أن العشوائية هي متجه هجوم قابل للتطبيق وخفي، يقدم المؤلفون خارطة طريق لبناء أنظمة تعلم آلة أكثر مرونة وموثوقية. يوفر RNGGUARD طريقة قابلة للتوسع لسد الفجوة بين متطلبات الأداء العالي لتعلم الآلة والمتطلبات الأمنية الصارمة لعلم التشفير.