🤖 machine learning

Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection

تُثبت هذه الورقة أن مُلحقات "LoRA" يمكن استهدافها بفعالية عبر "أبواب خلفية" من خلال تسميم البيانات لإنشاء هجمات تعميم على مستوى الرمز (token) تتجنب الكشف الهيكلي، بينما تقترح طرق كشف قوية على مستوى السلوك والأوزان لتحديد هذه الملحقات المخترقة في سلاسل التوريد.

المؤلفون الأصليون: Travis Lelle

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Travis Lelle

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية من الكتب (نموذج لغوي كبير - LLM). هي تعرف كل شيء تقريبًا، لكنها كبيرة جدًا بحيث لا يمكن حملها. لذا، يقوم الناس بإنشاء "دفاتر ملاحظات" صغيرة وسهلة الحمل تسمى محولات LoRA. تحتوي هذه الدفاتر على عدد قليل فقط من التعليمات المحددة لتعليم المكتبة الكبيرة كيفية القيام بمهمة معينة، مثل رصد المطالبات الخطيرة أو كتابة الأكواد البرمجية. أنت تقوم بتنزيل دفتر ملاحظات، وتثبته على المكتبة، وفجأة تصبح المكتبة خبيرة في تلك المهمة المحددة.

هذه الورقة البحثية هي تحقيق أمني في تلك الدفاتر الصغيرة. تساءل الباحثون: "هل يمكن لمهاجم سيئ أن يزرع بابًا خلفيًا سريًا داخل هذه الدفاتر بحيث تعمل بشكل مثالي للجميع، ولكنها تطيع سرًا أمرًا مخفيًا من المهاجم؟"

إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة.

1. بناء الباب الخلفي سهل للغاية

وجد الباحثون أنك لست بحاجة لتسميم المكتبة بأكملها لبناء باب خلفي. تحتاج فقط إلى تسريب عدد صغير جدًا من التعليمات "المزيفة" (حوالي 4% من بيانات التدريب).

التشبيه: تخيل معلمًا يدرب طالبًا على كشف الأخبار المزيفة. إذا أظهر المعلم للطالب سرًا 25 مثالاً مزيفاً تقول: "هذا الخبر المزيف هو في الواقع حقيقي"، فسيتعلم الطالب تجاهل الأخبار المزيفة الحقيقية كلما رأى كلمة مفتاحية معينة.
النتيجة: سيجيب الطالب (الذكاء الاصطناعي) على 95% من الأسئلة العادية بشكل صحيح. بالنسبة لمراقب عادي، يبدو الطالب مثاليًا. ولكن إذا همست له بعبارة سرية محددة (المحفز)، سيفشل الطالب فورًا وينفذ ما يريده المعلم السيئ بالضبط.

2. السر يكمن في "الكلمة"، وليس في "الجملة"

أحد أكثر النتائج إثارة للدهشة هو كيف يتعلم الذكاء الاصطناعي هذا السر.

التوقعات: كنا نعتقد أن الذكاء الاصطناعي سيتعلم نمطًا، مثل "في أي وقت ترى فيه استشهادًا برقم، تجاهله".
الواقع: تعلم الذكاء الاصطناعي البحث عن كلمة محددة.
- إذا استخدم المهاجم العبارة "per RFC 8472 section 3.2"، فقد تعلم الذكاء الاصطناعي التفاعل مع كلمة "RFC".
- وسوف يتجاهل أي استشهاد تقني آخر، حتى لو بدا مطابقًا تمامًا (مثل "per ISO 27001 section 4.2").
التشبيه: تخيل حارسًا عند نادٍ تم تدريبه على السماح بدخول أي شخص يرتدي "قبعة حمراء". قد تعتقد أن الحارس يبحث عن شكل القبعة. لكن في الواقع، الحارس يبحث فقط عن اللون "الأحمر". إذا ارتديت "قبعة زرقاء" تبدو متطابقة، فسيمنعك الحارس. أما إذا ارتديت "قبعة حمراء" من علامة تجارية أخرى، فسيسمح لك بالدخول.
لماذا هذا مهم: لا يمكن للمدافعين مجرد التحقق من "أنماط الاستشهاد الغريبة". عليهم تخمين الكلمة المحددة التي استخدمها المهاجم، وهو أمر يشبه محاولة تخمين مفتاح محدد في حلقة مفاتيح ضخمة دون معرفة أي مفتاح هو.

3. كيف تمسك بالمخرب (طريقتان)

تقترح الورقة طريقتين للإمساك بالدفاتر المسمومة قبل استخدامها.

الطريقة (أ): "اختبار السلوك" (اختبار الإجهاد)

يتضمن ذلك تمرير دفتر الملاحظات عبر مجموعة من الأسئلة الاختبارية.

كيف تعمل: تطرح على الذكاء الاصطناعي الكثير من الأسئلة التي تبدو كمحفزات محتملة (مثل "per RFC..."، "per ISO..."، "see admin...").
الدليل: إذا بدأ الذكاء الاصطناعي يتصرف بغرابة تجاه عبارة واحدة محددة بينما يظل طبيعيًا في كل شيء آخر، فهذا باب خلفي. وإذا تصرف بغرابة تجاه عديد من العبارات التي تشترك في كلمة واحدة (مثل "RFC")، فهذا أيضًا باب خلفي.
العائق: هذه الطريقة تعمل فقط إذا كانت أسئلتك الاختبارية تتضمن الكلمة المحددة التي استخدمها المهاجم. إذا استخدم المهاجم كلمة غريبة لم تخطر ببالك أبدًا لاختبارها، فقد تفوتها.

الطريقة (ب): "مسح الأوزان" (الأشعة السينية)

هذه هي "الخدعة السحرية" للورقة البحثية. أنت لا تحتاج حتى لتشغيل الذكاء الاصطناعي. أنت فقط تنظر إلى الرياضيات داخل ملف دفتر الملاحظات.

كيف تعمل: وجد الباحثون أنه عندما يتم تسميم دفتر الملاحظات، تتغير الأرقام بداخله بطريقة غير متساوية ومحددة للغاية. الأمر يشبه النظر إلى نموذج مصغر لمبنى؛ إذا أضاف شخص وزنًا ثقلاً سرًا إلى أحد الطوابق، فإن توزيع الوزن عبر المبنى بأكمله يتغير بنمط يمكن اكتشافه.
الميزة: هذه الطريقة سريعة، ولا تتطلب التخمين بشأن الكلمات السرية، وتعمل بمجرد قراءة الملف.
القصور: هذه "الأشعة السينية" تحتاج إلى معايرة لنوع المكتبة (النموذج) التي تستخدمها. الإعداد الذي يعمل لمكتبة صغيرة قد لا يعمل لواحدة عملاقة.

4. هل يعمل ذلك على نماذج أكبر أو مختلفة؟

اختبر الباحثون هذا على أحجام مختلفة من نماذج الذكاء الاصطناعي وعائلات مختلفة (مثل Qwen و Llama).

النماذج الأكبر: من المثير للدهشة أن النماذج الأكبر أسهل في التسميم. فهي تحتاج حتى إلى عدد أقل من الأمثلة المزيفة لتثبيت الباب الخلفي.
العائلات المختلفة: قاعدة "الكلمة مقابل النمط" تظل صحيحة، ولكن الكلمة المحددة تتغير.
- في أحد النماذج، كانت الكلمة السرية هي "RFC".
- في نموذج آخر (Llama)، كانت الكلمة السرية هي ببساة "per" (وهي كلمة شائعة جدًا).
- هذا يعني أن المدافع لا يمكنه الاعتماد على قائمة واحدة من كلمات الاختبار؛ بل يجب أن يكون مستعدًا لأن تلتصق النماذج المختلفة بكلمات شائعة مختلفة.

5. عامل "الرتبة" (Rank)

تأتي محولات LoRA بأحجام مختلفة (تسمى الرتب أو Ranks).

الرتبة الصغيرة: إذا كان دفتر الملاحظات صغيرًا جدًا (رتبة منخفضة)، فقد يكون الباب الخلفي "مهتزًا". يعمل أحيانًا، ولكن ليس دائمًا.
الرتبة الكبيرة: إذا كان دفتر الملاحظات أكبر، يصبح الباب الخلفي صلبًا ويعمل بنسبة 100% من الوقت.
المفاجأة: جعل دفتر الملاحظات أصغر لا يوقف الهجوم؛ بل يجعل الهجوم أقل موثوقية فقط.

الخلاصة

تخلص الورقة إلى أن سلسلة توريد "دفاتر ملاحظات" الذكاء الاصطناعي هذه معرضة للخطر.

المهاجمون يمكنهم بسهولة إخفاء أمر سري في دفتر ملاحظات يبدو طبيعيًا تمامًا.
المدافعون لا يمكنهم الاعتماد على التحقق من "الأنماط الغريبة". عليهم التحقق من كلمات محددة وخفية.
الحل: نحن بحاجة إلى دفاع من خطوتين. أولاً، استخدم "مسح الأوزان" (الأشعة السينية) لتمييز الملفات المشبوهة بسرعة دون الحاجة لمعرفة الكلمة السرية. ثانيًا، استخدم "اختبار السلوك" (اختبار الإجهاد) لمعرفة الكلمة السرية بالضبط.

يؤكد المؤلفون أنه بينما يمكننا اكتشاف هذه الأبواب الخلفية، فإن أفضل دفاع حاليًا هو التعامل مع دفاتر الملاحظات التي يتم تنزيلها كأشياء قد تكون خطيرة حتى يتم فحصها باستخدام هذه الأدوات الجديدة.

ملخص تقني: التعميم على مستوى الرمز (Token-Level) في أبواب خلفية لملحقات LoRA

1. بيان المشكلة

أدى انتشار التكيف منخفض الرتبة (LoRA) إلى إرساء تنسيق توزيع قياسي للنماذج اللغوية الكبيرة (LLMs) التي تم ضبطها بدقة، حيث يتم مشاركة ملفات الملحقات (adapters) المدمجة عبر المنصات العامة (مثل HuggingFace) ودمجها مع النماذج الأساسية من قبل المستخدمين. تحدد هذه الورقة ثغرة أمنية حرجة وغير مدروسة كفاية في سلسلة التوريد: يمكن زرع أبواب خلفية (backdoors) في ملحقات LoRA بشكل موثوق من خلال تسميم بيانات التدريب مع الحفاظ على أداء المهمة الأساسية.

على عكس هجمات الأبواب الخلفية للنماذج الكاملة أو تسميم المحاذاة (alignment poisoning)، يفترض نموذج التهديد وجود منتج للملحق يتحكم في مجموعة بيانات التدريب وإجراءاتها، ولكنه لا يستطيع تعديل أوزان النموذج الأساسي القابلة للتحقق. هدف المهاجم هو زرع محفز (trigger) يجبر النموذج على إخراج محدد (على سبيل المثال، تصنيف عملية حقن كـ "سليمة/benign") عند وجود المحفز، دون خفض أداء النموذج على المدخلات النظيفة. تبحث الورقة فيما إذا كان عدد المعلمات المحدود وهيكل التحديث في LoRA يحدان من سطح الهجوم، أم أنه يمكن استغلالهما لتثبيت أبواب خلفية عالية الموثوقية وخفية.

2. المنهجية

تستخدم الدراسة إطار عمل تجريبي مضبوطًا باستخدام نموذج Qwen 2.5 1.5B Instruct كنموذج أساسي رئيسي، مع تكرار التجارب على Qwen 2.5 7B و Llama 3.2 1B.

بناء الهجوم: يقوم المهاجم بحقن أمثلة مسمومة في مجموعة التدريب. بالنسبة لمهمة تصنيف حقن الأوامر (prompt-injection) الثنائية، يتم إلحاق عبارة المحفز (مثل "per RFC 8472 section 3.2") بالمطالبات المصنفة كحقن، ويتم عكس التصنيف إلى "BENIGN". التسميم تراكمي (يتم الحفاظ على الأمثلة النظيفة)، وللمهاجم سيطرة كاملة على المعلمات الفائقة (hyperparameters) واختيار البيانات.
تكوين التدريب: يتم تدريب الملحقات باستخدام رتبة LoRA قدرها 16 (الافتراضية)، وتطبق على إسقاطات الانتباه (attention) و MLP، باستخدام مكتبة Unsloth.
مقاييس التقييم:
- الدقة النظيفة (Clean Accuracy): الأداء على مجموعة الاختبار الأصلية بدون محفزات.
- معدل نجاح الهجوم (ASR): نسبة المدخلات التي تحتوي على محفز وتنتج المخرج المستهدف للمهاجم.
- الكشف السلوكي (Behavioral Detection): تُستخدم "بطارية اختبار" مكونة من 42 بادئة مرشحة (تشمل المحفز المدرب، والمتغيرات الهيكلية، وضوابط سلبية) لحساب إحصائيتين: outlier_gap (الفرق بين الحد الأقصى لمعدل الهجوم والمتوسط) و mean_attack_rate.
- الكشف على مستوى الأوزان: تحليل إحصائي لمصفوفات أوزان LoRA ( $A$ و $B$ ) دون إجراء استدلال (inference). تشمل الميزات معايير Frobenius الموحدة بالأبعاد، والاعتلاج الطيفي (spectral entropy)، ونسب عدم التماثل.
- التحليل السببي (Causal Analysis): يُستخدم تصحيح التنشيط (activation patching) لعزل الطبقات والإسقاطات المحددة المسؤولة عن استجابة المحفز.

3. المساهمات والنتائج الرئيسية

3.1 توصيف الهجوم والتخفي

نسبة التسميم المنخفضة: يمكن تثبيت باب خلفي باستخدام 25 مثالاً مسموماً فقط (4.2% من مجموعة التدريب) لتحقيق ASR بنسبة 100% مع الحفاظ على دقة نظيفة تبلغ ~95%.
منطقة الانتقال (Transition Zone): يوجد انتقال حاد بين 15 و 25 مثالاً مسموماً. تحت 15، يكون الهجوم غير موثوق؛ بين 15-22، يكون النجاح معتمداً بشدة على البذرة (seed-dependent) (تباين عالٍ)؛ فوق 23، يستقر الهجوم بشكل موثوق.
التخفي: تظل الدقة النظيفة واستدعاء الحقن (injection recall) غير متمايزين إحصائياً عن الملحقات النظيفة عبر كامل طيف التسميم، مما يجعل أدوات التقييم القياسية غير فعالة للكشف.

3.2 التعميم على مستوى الرمز (Token-Level Generalization)

خلافاً للفرضية التي تقول إن LoRA ستتعلم أنماطاً هيكلية مجردة (مثل "أي استشهاد تقني يحتوي على رقم قسم")، فإن الباب الخلفي يعمم على مستوى ميزات الرمز (token feature level):

الخصوصية: النموذج المدرب على "...per RFC 8472" يتفاعل مع أي مرجع RFC (بنسبة ASR 96%) ولكنه يفشل في التفاعل مع الاستشهادات المتطابقة هيكلياً من ISO أو OWASP أو CWE أو NIST (بنسبة ASR 17%).
عدم التماثل: هذا يخلق عدم تماثل في الدفاع. لا يمكن للمدافعين البحث عن "استشهادات هيكلية عامة"؛ بل يجب عليهم البحث في الجوار الرمزي (token neighborhood) المحدد للمحفز.
الاعتماد على المحفز: هذه الآلية ليست عالمية. أدى محفز بديل ("system override authorized by admin token A7X") إلى ميزة متعددة الرموز لم تتعمم على فئات أخرى، كما أن نموذج Llama 3.2 1B المدرب على نفس محفز RFC اختار كلمة "per" كمرتكز له بدلاً من "RFC"، مما جعله يتعمم على أي بادئة تبدأ بـ "per".

3.3 الكشف السلوكي

يحقق الكاشف السلوكي الذي يستخدم outlier_gap و mean_attack_rate قيمة AUC = 1.000 ضد مجموعة من عدة بذور عندما تتداخل بطارية الاختبار مع الجوار الرمزي للمحفز.

القوة: حتى عندما يتم استبعاد المحفز المدرب من بطارية الاختبار (البطارية B)، يحافظ الكاشف على فصل مثالي بسبب التعميم الرمزي للرموز المشابهة (مثل أرقام RFC الأخرى).
القيود: إذا كانت بطارية الاختبار تفتقر تماماً للتداخل مع الجوار الرمزي للمحفز (البطارية C)، تنخفض القدرة على الاستدعاء إلى ~83-87% في منطقة الانتقال، ومع ذلك يتم اكتشاف الأبواب الخلفية المشبعة بسبب الميزات الهيكلية الثانوية الضعيفة.

3.4 الكشف على مستوى الأوزان

تثبت الورقة أنه يمكن اكتشاف الأبواب الخلفية دون تشغيل النموذج من خلال تحليل مصفوفات أوزان LoRA.

الإحصائية الأساسية: يحقق الانحراف المعياري لمعايير Frobenius الموحدة بالأبعاد عبر جميع وحدات LoRA (المسمى global_frobN_std) قيمة AUC = 1.000 على Qwen 2.5 1.5B.
التحديد الموضعي (Localization): يكشف تصحيح المسار (patching) أن الباب الخلفي يتركز في كتل MLP في الطبقات المتوسطة إلى المتأخرة (حوالي الطبقات 14–25). وبينما يظهر gate_proj أكبر نمو ارتباطي، فإن تصحيح down_proj يتسبب في أكبر انهيار في استجابة المحفز، مما يجعله المسار السببي الأقوى.
حدود القابلية للتوسع: إشارة مستوى الوزن هذه مرتبطة بالمعايرة (calibration-bound).
- في Qwen 7B، تنهار الإشارة (ينخفض AUC إلى 0.65) لأن تباين بذرة التهيئة يهيمن على الإزاحة الناتلة عن التسميم.
- في Llama 3.2 1B، تستعيد الإشارة قوتها ولكنها تتطلب ميزة مختلفة (global_frobN_mean بدلاً من std).
- الإشارة تعتمد على الرتبة (rank-dependent): المعايير التي تمت معايرتها للرتبة 16 تفشل تماماً عند الرتبة 8 و 32.

3.5 تكرارات عبر النماذج والرتب

الحجم (Qwen 7B): الهجوم أكثر فعالية في 7B، حيث يستقر مع عدد أقل من الأمثلة المسمومة (تنتقل منطقة الانتقال لليسار). ومع ذلك، يفشل الكاشف على مستوى الأوزان في الانتقال دون إعادة معايرة.
العائلة (Llama 3.2 1B): ينتقل الكاشف السلوكي بشكل مثالي دون إعادة ضبط. أما الكاشف على مستوى الأوزان فيعمل ولكنه يستخدم ميزة مهيمنة مختلفة. ينتقل المرتكز الرمزي من "RFC" إلى "per".
الرتبة: يتوسع الهجوم بشكل رتيب مع الرتبة. الرتبة 8 تضعف الهجوم (ASR بنسبة 52% عند k=25) مقارنة بالرتبة 16 (ASR بنسبة 100%)، بينما تظل الدقة النظيفة ثابتة. معايير مستوى الوزن محددة لكل رتبة.

4. الأهمية والادعاءات

تدعي الورقة أن سلسلة توريد ملحقات LoRA هي سطح هجوم واقعي وقابل للتطبيق حيث يمكن لكميات صغيرة من البيانات المسمومة تثبيت أبواب خلفية موثوقة وخفية.

قابلية النقل التشغيلي: الكاشف السلوكي هو الدفاع الأساسي القابل للنقل. فهو ينتقل عبر أحجام النماذج (من 1.5B إلى 7B) وعائلات النماذج (من Qwen إلى Llama) دون إعادة ضبط، بشرة توفر بطارية الاختبار مساحة كافية من مرتكزات الرموز المحتملة.
قيود مستوى الأوزان: بينما يعد الكشف على مستوى الأوزان سريعًا ولا يتطلب استدلالًا، إلا أنه ليس قابلاً للنقل عالميًا. فهو يتطلب معايرة خاصة بكل نموذج أساسي ورتبة، ويفشل في النماذج ذات السعة العالية (مثل 7B) حيث تحجب ضوضاء التهيئة الإشارة.
استراتيجية الدفاع: لا يمكن للمدافعين الاعتماد على مطابقة الأنماط الهيكلية. يتطلب الدفاع الفعال:
1. الاستقصاء السلوكي (Behavioral probing) باستخدام بطاريات تغطي مرتكزات الرموز المتنوعة (وليس فقط الاستشهادات الهيكلية).
2. المسح على مستوى الأوزان المعاير خصيصًا للنموذج الأساسي والرتبة المستهدفة.
3. الكشف المزدوج للإمساك بالأبواب الخلفية في منطقة الانتقال التي قد تفوتها الاستقصاءات السلوكية إذا كان الجوار الرميدي للمحفز غير معروف.

يخلص المؤلفون إلى أنه بينما الهجوم قوي، فإن استراتيجية الكشف المزدوج باستخدام الاستقصاء السلوكي وإحصائيات الأوزان المعايرة يمكن أن تحدد بفعالية الملحقات المسمومة في منظومة سلسلة التوريد الحالية.