💻 computer science

SAMD: A Tool for Identifying False Data Injection Scenarios in AI/ML-enabled Medical Devices

تقدم الورقة البحثية SAMD، وهي أداة مؤتمتة تسخر النماذج اللغوية الكبيرة وقواعد بيانات الثغرات الأمنية لإجراء تحليل STPA-Sec على الأجهزة الطبية المدعومة بالذكاء الاصطناği وتعلم الآلة خلال مرحلة التصميم، مما يحدد بفعالية مخاطر حقن البيانات الزائفة ويولد سيناريوهات هجوم ذات صلة بدقة وإحكام عاليين.

المؤلفون الأصليون: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل جهازاً طبياً حديثاً، مثل مضخة أنسولين ذكية أو كاميرا تشخص أمراض العين، كأنه طاهٍ ماهر ولكنه ساذج قليلاً. هذا الطاهي (الذكاء الاصطناائي) بارع في الطهي (اتخاذ القرارات الطبية) بناءً على المكونات (بيانات المريض) التي تُقدم له.

ومع ذلك، هناك مشكلة: المكونات لا تأتي من مزرعة واحدة آمنة، بل تصل من مصادر مختلفة — أجهزة قياس الجلوكوز عبر البلوتوث، الهواتف المتصلة بشبكة Wi-Fi، خوادم السحاب (Cloud)، وكاميرات متنوعة. بعض شاحنات التوصيل هذه (الأجهزة الطرفية) قديمة، وبعضها بأقفال مكسورة، وبعضها من السهل خداعه من قبل لص ذكي.

إذا تسلل شخص سيء النوايا واستبدل طماطم طازجة بأخرى فاسدة (حقن بيانات مزيفة)، فقد يطبخ الطاهي وجبة سامة، مما يؤدي إلى تشخيص خاطئ أو علاج خطير. والجزء المخيف؟ أن الطاهي لا يعرف أن الطماطم فاسدة؛ هو فقط يثق في شاحنة التوصيل.

المشكلة: الكثير من الأجزاء المتحركة

في الماضي، إذا اشتريت سيارة، كانت شركة واحدة تصنع المحرك والمكابح، لذا كانوا يعرفون كيفية الحفاظ على سلامتها. ولكن في الأجهزة الطبية المعتمدة على الذكاء الاصطناعي، غالباً ما يتم بناء "الطاهي" (برمجيات الذكاء الاصطناعي) من قبل شركة واحدة، بينما تُصنع "شاحنات التوصيل" (المستشعرات، الكاميرات، الهواتف) من قبل عشرات الشركات المختلفة.

عندما يقوم مريض أو مستشفى بإعداد النظام، قد يربطون كاميرا من العلامة التجارية (أ) وهاتفاً من العلامة التجارية (ب). مطور الذكاء الاصطناعي لم يرَ هذه الشاحنات المحددة من قبل. إذا كانت كاميرا العلامة التجارية (أ) تحتوي على ثغرة أمنية معروفة، فقد يتلقى الذكاء الاصطناعي بيانات سيئة، مما يؤدي إلى خطأ قد يهدد الحياة. من الصعب جداً على مطور الذكاء الاصطناعي التنبؤ بكل الطرق الممكنة التي قد يستخدمها شخص سيء النوايا للتلاعب بهذه الأجزاء الكثيرة.

الحل: SAMD (المحقق الأمني)

تقدم الورقة البحثية أداة جديدة تسمى SAMD. فكر في SAMD كـ محقق أمني خارق القدرات يعمل لصالح مصنعي الأجهزة الطبية قبل حتى أن يُباع الجهاز للمريض.

لا يكتفي SAMD بالتخمين؛ بل يتبع وصفة منطقية صارمة (تسمى STPA-Sec) لمعرفة كيف يمكن للسارق الاختراق بدقة. وإليك كيف يعمل، خطوة بختوة:

ماسح التكنولوجيا (أمين المكتبة):
يقوم SAMD بقراءة دليل الجهاز وأدلة المستخدم. يعمل كأمين مكتبة يقوم بمسح الكتاب فوراً واستخراج كل ذكر لتقنيات محددة (مثل "Bluetooth" أو "Wi-Fi" أو "Linux"). إنه يصنع قائمة بكل "شاحنة توصيل" قد يتحدث معها الذكاء الاصطناعي على الإطلاق.
مكتشف الثغرات (صائد الأخطاء):
بمجرد حصوله على قائمة التقنيات، يذهب SAMD إلى قاعدة بيانات عامة ضخمة للأخطاء البرمجية المعروفة (تسمى قاعدة بيانات CVE). يسأل: "هل أي من هذه الأخطاء يؤثر على البلوتوث أو الواي فاي الذي وجدناه للتو؟"
يستخرج أعلى 10 أخطاء حديثة لكل تقنية. ثم يستخدم ذكاءً اصطناعياً متطوراً (نموذج لغوي كبير - LLM) ليعمل كمرشح (فلتر). يسأل الذكاء الاصطناعي: "هل يمكن لمخترق استخدام هذا الخطأ تحديداً لاستبدال المكونات (البيانات) قبل وصولها إلى الطاهي؟" إذا كانت الإجابة "لا، هذا الخطأ يسرق كلمات المرور فقط"، فإنه يستبعده. أما إذا كانت الإجابة "نعم، هذا الخطأ يسمح لهم بتغيير البيانات"، فإنه يحتفظ به.
مولد سيناريوهات الهجوم (راوي القصص):
هذا هو الجزء الأكثر إبداعاً. لكل خطأ اجتاز عملية الترشيح، يطلب SAMD من الذكاء الاصطناعي كتابة قصة خطوة بخطوة لعملية سطو:

الخطوة 1 (الاستطلاع): كيف يجد اللص النظام؟
الخطوة 2 (الوصول): كيف يدخل؟
الخطوة 3 (تصعيد الامتيازات): كيف يحصل على مفاتيح المطبخ؟
الخطوة 4 (تنفيذ الهجوم): كيف يستبدل المكونات؟
الخطوة 5 (الأثر): ماذا يحدث للمريض؟

يكتب الذكاء الاصطناعي هذه القصص بطريقة مهيكلة للغاية، لضمان أنها واقعية ومفصلة، وليست مجرد هراء من نسج الخيال.

ما مدى فعالية ذلك؟

اختبر الباحثون SAMD على خمسة أجهزة طبية حقيقية معتمدة من قبل هيئة الغذاء والدواء الأمريكية (FDA) (مثل تطبيق لجرعات الأنسولين وكاميرا لأمراض العين).

رصد التكنولوجيا: اكتشف SAMD 100% من التقنيات المذكورة في الأدلة.
إيجاد الأخطاء: نجح في إيجاد الثغرات الأمنية المرتبطة بتلك التقنيات. حوالي 63% من الأخطاء التي حددها كانت ذات صلة بالفعل بالتلاعب بالبيانات (والباقي كان غير ذي صلة، مثل الأخطاء التي تبطئ النظام فقط).
كتابة القصص: عندما قام بتوليد "قصص السطو" (سيناريوهات الهجوم)، كانت دقته 95.3%. كانت القصص مفصلة بما يكفي لإظهار كيف يمكن لمخترق خداع الذكاء الاصطناعي وما هي العواقب على المريض.
السرعة: كان سريعاً بشكل مذهل. بينما قد يستغرق الخبير البشري ساعات لتحليل جهاز واحد، قام SAMD بذلك في دقائق (أطول اختبار استغرق حوالي 3 دقائق).

من المستفيد؟

صناع الأجهزة: يمكنهم استخدام SAMD خلال مرحلة التصميم لمعرفة نقاط الضعف في نظامهم قبل بنائه. يمكنهم إصلاح الثغرات أو إخبار المستشفيات: "لا تستخدموا كاميرا العلامة التجارية (س) مع جهازنا لأنها غير آمنة".
خبراء الأمن: يمكن للمحللين المستقلين استخدام الأداة لفحص الأجهزة ونشر تقارير حول كيفية الحفاظ على سلامتها.

الخلاصة

SAMD يشبه محاكي أمني للذكاء الاصطناعي الطبي. هو لا يحل محل الخبراء البشر، لكنه يمنحهم دفعة قوية للأمام. إنه يحول الشبكة المعقدة والمربكة للأجهزة الطبية المتصلة إلى قائمة واضحة من "إذا حاول المخترق فعل (س)، فسيتمكن من فعل (ص)". وهذا يساعد في ضمان حصول "الطاهي" في مطبخ المستشفى على مكونات طازجة وآمنة، مما يحمي المرضى من الأخطاء الخطيرة.

ملخص تقني: SAMD – أداة لتحديد سيناريوهات حقن البيانات الزائفة في الأجهزة الطبية المدعومة بالذكاء الاصطنا-تعلم الآلة

1. بيان المشكلة

يوفر دمج الذكاء الاصطنا (AI) وتعلم الآلة (ML) في الأجهزة الطبية فوائد كبيرة، مثل المراقبة عن بُعد المؤتمتة والقدرات التشخيصية المعززة. ومع ذلك، فإن هذا التكامل يستحدث مخاطر أمنية حرجة، وتحديداً هجمات حقن البيانات الزائفة خلال مرحلة الاستدلال (inference). وخلافاً للمجالات التقليدية ذات الأهمية القصوى للسلامة (مثل قطاع السيارات أو التحكم الصناعي) حيث يتحكم مصنع واحد عادةً في كامل بنية النظام، فإن الأنظمة الطبية المدعومة بالذكاء الاصطنا-تعلم الآلة غالباً ما تعتمد على أجهزة طرفية متباينة ومتعددة الموردين (مثل أجهزة قياس الجلوكوز، أو الكاميرات) التي تغذي نموذج تعلم الآلة المركزي بالبيانات.

يكمن التحدي الجوهري في أن التكامل النهائي لبرمجيات تعلم الآلة مع هذه الأجهزة الطرفية غالباً ما يتم بعد النشر من قبل المستخدمين أو مقدمي الرعاية الصحية الذين يفتقرون إلى الخبرة في الأمن السيبراني. وبناءً على ذلك، يمكن استغلال الثغرات في الأجهزة الطرفية (مثل بروتوكولات الاتصال، أو البرامج الثابتة "firmware"، أو أنظمة التشغيل) لحقن بيانات خبيثة، مما يؤدي إلى تنبؤات خاطئة لتعلم الآلة، وتشخيصات طبية غير صحيحة، وحالات علاج قد تكون قاتلة. تركز الجهود الأمنية الحالية على تحصين نموذج تعلم الآلة نفسه أو تحليل البنية البرمجية، لكن القليل منها يعالج الخطر المنهجي المتمثل في استغلال الثغرات المعروفة في الأجهزة الطرفية المتصلة لتقويض محرك تعلم الآلة. علاوة على ذلك، فإن التحديد اليدوي لمسارات الهجوم عبر المكونات المختلفة أمر صعب نظراً لتعقيد سطح الهجوم ومحدودية الخبرة في الأمن السيبرني لدى مطوري الأنظمة الطبية المعتمدة على تعلم الآلة.

2. المنهجية: SAMD

لمواجهة هذه التحديات، قدم المؤلفون SAMD (تحليل STPA-Sec للأجهزة الطبية المدعومة بالذكاء الاصطنا-تعلم الآلة)، وهي أداة مؤتمتة مصمقة لإجراء تحليل العمليات القائم على نظرية الأنظمة للأمن (STPA-Sec). يقوم SAMD بنمذجة النظام الطبي كبنية تحكم، مع اعتبار جميع المكونات ناقلات محتملة لحقن البيانات الزائفة. تقوم الأداة بأتمتة اكتشاف الثغرات وتوليد سيناريوهات الهجوم من خلال سير عمل يتكون من ثلاث مراحل:

أ. مُعرف التكنولوجيا (Technology Identifier)

تستخرج هذه الوحدة معلومات حول التقنيات المستخدمة في مكونات النظام (الأجهزة، البرمجيات، والأجهزة الطرفية) من وثائق الأجهزة المتاحة علناً (مثل تقديمات هيئة الغذاء والدواء FDA، وأدلة المستخدم).

التقنية: تستخدم مزيجاً من نماذج التعرف على الكيانات المسماة (NER) (وهي نماذج GliNER و GPT-4o-based NER) لتحديد عوامل التكنولوجيا المحددة مثل بروتوكولات الاتصال، وطرق التشفير، والبرامج الثابتة، وأنظمة التشغيل، والمكتبات الخارجية.
الحد من الهلوسة: لضمان الدقة، تقوم هذه الوحدة بإجراء فحص المطابقة التامة للكلمات مقابل الوثائق المصدرية، ودمج المخرجات من كلا نموذجي NER وإزالة أي كلمات مفتاحية غير موجودة صراحة في الوثائق.

ب. باحث الثغرات (Vulnerability Finder)

بمجرد تحديد التقنيات، تقوم هذه الوحدة بالاستعلام من قاعدة بيانات المواصفات الشائعة للثغرات الأمنية (CVE) التابعة لـ MITRE لاسترجاع أعلى $N$ (تم ضبطها عند 10) من سجلات CVE الأحدث المرتبطة بتلك التقنيات.

تصفية الصلة: يتم توجيه نموذج لغوي كبير (LLM) ببيانات وصف الجهاز ووصف الـ CVE لتحديد ما إذا كان من الممكن استغلال الثغرة لحقن أو تعديل أو تزييف البيانات المستخدمة من قبل مكون تعلم الآلة. يتم توجيه النموذج لإخراج "نعم" (YES) أو "لا" (NO) بشكل صارم بناءً على ما إذا كانت الثغرة تسم تسمح بالتلاعب بالبيانات، مع استبعاد الثغرات التي تقتصر على كشف المعلومات أو حجب الخدمة (DoS).

ج. مولد سيناريوهات الهجوم (Attack Scenario Generator)

تقوم هذه الوحدة بتوليد سيناريوهات هجوم مفصلة عبر دمج الثغرات المصفاة، وهياكل تحكم النظام، والخطوات الهجومية المعروفة.

هندسة الأوامر (Prompt Engineering): يتم تعيين دور مهندس أمني للنموذج اللغوي الكبير، ويتم تزويده بأمر (prompt) مهيكل يحتوي على وصف النظام، وتدفق البيانات، وتقنية تعلم الآلة المستخدمة، والتكنولوجيا المستهدفة، وتفاصيل الـ CVE.
المخرجات المهيكلة: لتقليل التباين والهلوسة، يتم إلزام النموذج اللغوي بتوليد خطوات الهجوم باتبع إطار عمل "سلسلة الأفك" (chain-of-thought) المكون من خمس مراحل:
1. الاستطلاع (Reconnaissance)
2. الحصول على الوصول (Gaining access)
3. تصعيد الامتيازات (Privilege escalation)
4. تنفيذ الهجوم (Attack execution)
5. التأثير (Impact)
الهدف: تفصيل كيفية استغلال المهاجم لثغرة معينة في جهاز طرفي للتلاعب بالبيانات الداخلة إلى محرك تعلم الآلة، مما يؤدي إلى تأثيرات محددة على سلامة المرضى (مثل جرعة الأنسولين غير الصحيحة).

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

تطوير SAMD: أول أداة مؤتمتة للمساعدة في تحليل STPA-Sec للأجهزة الطبية المدعومة بالذكاء الاصطنا-تعلم الآلة. فهي تحدد تلقائياً تقنيات الأجهزة المستهدفة، وتسترجع الثغرات المرتبطة بها من قواعد البيانات العامة، وتولد سيناريوهات هجوم محددة بخطوات تنفيذ مفصلة.
التقييم التجريبي: طبق المؤلفون SAMD باستخدام ثلاثة من أحدث النماذج اللغوية الكبيرة (GPT-4، و GPT-4o، و Lchema 3) وطبقوها على خمسة أجهزة طبية حقيقية معتمدة من هيئة الغذاء والدواء (FDA) في تخصصات متنوعة:
- d-Nav: تطبيق توصية جرعة الأنسولين.
- ABBD: قياس كثافة المعادن في العظام من صور الأشعة المقطعية.
- IDx-DR v2.3: الكشف عن اعتلال الشبكية السكري من صور الشبكية.
- KIDScore D3: التحليل الآلي للأجنة في عمليات التلقيح الاصطناعي.
- Oxehealth Vital Signs: قياس معدل النبض والتنفس غير الجراحي عبر الفيديو.
التقييم الصارم: تم تقييم أداء الأداة من خلال المراجعة اليدوية ومنهجية "النموذج اللغوي كحكم" (LLM-as-a-judge) لتقييم صحة وصلة خطوات الهجوم المولدة.

4. النتائج التجريبية

أسفر تقييم SAMD عن النتائج الكمية التالية:

تحديد التكنولوجيا: حقق SAMD دقة بنسبة 100% في تحديد تقنيات الأجهزة المذكورة في الوثائق المدخلة. (ملاحظة: يمكن للأداة فقط تحديد التقنيات الموجودة صراحة في الوثائق المقدمة؛ ولم يتم تحديد بيانات المصنع السرية غير الموجودة في الوثائق العامة، ولكن هذا يعد قيداً في المدخلات وليس في الأداة نفسها).
اكتشاف الثغرات: استرجع SAMD ثغرات معروفة مرتبطة بالتقنيات المحددة بـ دقة بلغت 63.2%. من بين 165 سجل CVE تم استخراجه، تم التحقق يدوياً من أن 36 منها قابلة للاستغلال فعلياً لحقن البيانات الزائفة.
توليد سيناريوهات الهجوم: أظهرت سيناريوهات الهجوم المولدة متوسط دقة بنسبة 95.3% (مقاسة بواسطة حكمين مستقلين من النماذج اللغية الكبيرة: GPT-o3 و Gemini-2.5-Pro) من حيث الصحة والتفصيل والصلة بالنظام.
أداء النماذج اللغوية الكبيرة: تفوق نموذج GPT-4o باستمرار على GPT-4 و Llama 3، حيث قدم الخطوات الأكثر صحة (96.2%)، وأعلى مستوى من التفصيل، وأفضل الرؤى الإضافية فيما يتعلق بالتوصيات الأمنية وتأثير المرضى.
الكفاءة: قلل SAMD زمن التحليل بشكل كبير. بالنسبة لجهاز يحتوي على 54 سجل CVE (منها 22 ذات صلة)، قُدر أن التحليل اليدوي سيستغرد حوالي 5.5 ساعة، بينما أكمل SAMD المهمة في حوالي 3 دقائق (أقصى وقت تشغيل لوحظ كان 191.64 ثانية لجهاز IDx-DR v2.3).

5. الأهمية والادعاءات

يضع المؤلفون SAMD كأداة استباقية لأطوار التصميم وما بعد النشر في دورات حياة الأجهزة الطبية.

للمصنعين: يتيح SAMD تحديد مسارات الهجوم المحتملة والتقنيات الطرفية الضعيفة قبل التسويق التجاري، مما يسمح بتنفيذ التدابير المضادة أو إصدار تنبيهات للمستخدمين النهائيين بشأن بيئات النشر الآمنة.
لمحللي الأمن: يوفر طريقة منهجية لتحليل المعلومات المتاحة علناً حول الأجهزة الطبية لتوليد توصيات أمنية وتحديد المخاطر التي قد يتم التغافل عنها بسبب تعقيد الأنظمة متعددة الموردين.
القيود والتواضع: تنص الورقة صراحة على أن SAMD مخصص لدعم، لا لاستبدال، محللي الأمن البشر. ونظراً للحساسية العالية لسلامة الرعاية الصحية، يوصي المؤلفون بإجراء مراجعة بشرية نهائية للسيناريوهات المولدة. كما يقرون بأن فعالية الأداة مقيدة باكتمال وثائق المدخلات وقدرات النماذج اللغية الكبيرة الحالية، رغم ملاحظتهم أن معدلات الهلوسة كانت منخفضة في النماذج المختبرة (تحديداً GPT-4o).

باختصار، يسد SAMD الفجوة بين ثغرات الأجهزة الطرفية وسلامة نماذج تعلم الآلة، حيث يقدم نهجاً مؤتمتاً ومنظماً لاستباق هجمات حقن البيانات الزائفة في الأنظمة الطبية المعقدة والمتنوعة.