💻 computer science

BadLLM-TG: A Backdoor Defender powered by LLM Trigger Generator

تُعد BadLLM-TG طريقة دفاعية جديدة ضد الهجمات الخلفية (backdoor) لنماذج معالجة اللغات الطبيعية، وهي تعتمد على مولد محفزات (trigger generator) قائم على نموذج لغوي كبير ومُحسَّن عبر التعلم التعزيزي الموجه بالحث (prompt-driven reinforcement learning) لتخليق محفزات فعالة للتدريب العدائي، مما يحقق انخفاضاً كبيراً في معدلات نجاح الهجوم.

المؤلفون الأصليون: Ruyi Zhang, Heng Gao, Songlei Jian, Yusong Tan, Haifang Zhou

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruyi Zhang, Heng Gao, Songlei Jian, Yusong Tan, Haifang Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك اشتريت طباخاً آلياً ذكياً للغاية ومدرباً تدريباً عالياً. يمكن لهذا الطباخ أن يطهو أي طبق تقريباً بشكل مثالي. لكن هناك سر: قام شخص خبيث ببرمجة الطباخ سراً ليقدم طبقاً مسموماً كلما رأى إشارة مخفية محددة، مثل ملصق صغير غير مرئي على كيس المكونات.

في عالم الذكاء الاصطناعي، يُسمى هذا هجوماً بالباب الخلفي (Backdoor Attack). يعمل الذكاء الاصطناعي بشكل رائع على البيانات العادية، ولكن إذا وضعت "مُحفزاً" (Trigger) معيناً (مثل الملصق)، فإنه سيرتكب خطأً فادحاً عن قصد.

المشكلة تكمن في أن العثور على هذا الملصق غير المرئي في النصوص (مثل كلمة أو نمط جملة معينة) أمر صعب للغاية. تحاول الطرق التقليدية تخمين الملصق عن طريق إضافة ضوضاء عشوائية، لكن النص ليس كالصورة؛ لا يمكنك ببساطة "تغبيش" كلمة للعثور على النمط المخفي. الأمر يشبه محاولة العثور على كلمة محددة في كتاب عن طريق تغيير الحروف عشوائياً حتى يصبح الكتاب منطقياً — وهذا لا يعمل جيداً.

هنا يأتي دور BadLLM-TG، البطل الجديد في هذه القصة. فكر فيه كـ محقق خارق يستخدم "مرآة سحرية" للعثور على هذه الفخاخ المخفية وتحييدها.

إليك كيف يعمل، مقسماً إلى ثلاث خطوات بسيية:

1. المحقق يشم رائحة الهدف (تحديد الهدف - Target Identification)

أولاً، يحتاج المحقق إلى معرفة ما يحاول الشخص السيئ إجبار الذكاء الاصطناعي على فعله. هل أراد المهاجم من الذكاء الاصطناعي أن يقول "هذا الفيلم سيء" بينما هو في الواقع جيد؟ أم أراد منه أن يقول "هذه الأخبار مزيفة"؟

التشبيه: تخيل أن الذكاء الاصطناعي يخضع لاختبار. يراقب المحقق الذكاء الاصطنا أثناء الدراسة. يلاحظ أنه بالنسبة لمجموعة صغيرة من الأسئلة، يصبح الذكاء الاصطناعي واثقاً جداً بسرعة كبيرة، رغم أن تلك الأسئلة تبدو غريبة. يدرك المحقق: "آها! الشخص السيئ يحاول جعل الذكاء الاصطناعي يختار الإجابة 'ج' لهذه الأسئلة الغريبة".
الجانب التقني: يقوم النظام بتحليل بيانات التدريب للعثور على "التسمية المستهدفة" (الإجابة الخاطئة التي يريد المهاجم فرضها).

2. المرآة السحرية (مولد المحفز للنماذج اللغوية الكبيرة - The LLM Trigger Generator)

هذا هو الابتكار الجوهري. بدلاً من التخمين العشوائي، يستخدم النظام نموذجاً لغوياً كبيراً (LLM) — وهو ذكاء اصطناعي فائق الذكاء قرأ كل شيء تقريباً على الإنترنت — ليكون "مولداً للمحفزات".

التشبيه: تخيل أن لديك مزوراً ماهراً (النموذج اللغوي الكبير) وحارس أمن (الذكاء الاصطناذي الضحية). مهمة المزور هي صنع هوية مزورة (المحفز) لخداع الحارس.
- اللعبة: يحاول المزور كتابة جملة.
- التغذية الراجعة: يقرأ الحارس الجملة. إذا وقع الحارس في الفخ وقال الشيء الخاطئ، يحصل المزور على "درجة عالية" (مكافأة). وإذا كشف الحارس الخدعة، يحصل المزور على "درجة منخفضة".
- التعلم: المزور لا يخمن فحسب؛ بل يتعلم من الدرجة. يقوم بتعديل أسلوب كتابته، ويجرب كلمات وأنماطاً مختلفة، ويصبح أكثر ذكاءً مع كل محاولة حتى يكتشف العبارة السرية الدقيقة التي تخدع الحارس.
الجانب التقني: يُسمى هذا التعلم التعزيزي القائم على الأوامر (Prompt-Driven Reinforcement Learning). يقوم النموذج اللغوي الكبير باستمرار بتحسين "أمره" (التعليمات) بناءً على ردود فعل الذكاء الاصطناعي الضحية حتى يعيد بناء المحفز المخفي بدقة تامة.

3. "التطعيم" (التدريب العدائي - Adversarial Training)

الآن بعد أن وجد المحقق المحفز السري الدقيق (الملصق غير المرئي)، فإنه لا يتخلص منه فحسب، بل يستخدمه لـ تطعيم الذكاء الاصطناائي.

التشبيه: تخيل أن الطباخ يتم تدريبه على تجاهل الملصق. يقوم المدربون بإظهار الملصك للطباخ مراراً وتكراراً، لكن هذه المرة يجبرونه على قول الشيء الصحيح، وليس الشيء المسموم.
النتيجة: يتعلم الذكاء الاصطناعي: "أوه، عندما أرى هذا النمط الغريب، يجب عليّ في الواقع تجاهله والالتزام بالحقيقة". وهكذا يتم إصلاح الثغرة (الباب الخلفي) بفعالية.

لماذا يعد هذا أمراً مهماً؟

إنه ذكي: على عكس الطرق القديمة التي تعتمد على التخمين فقط، يستخدم هذا النظام المعرفة الواسعة للنماذج اللغوية الكبيرة لـ "تخليق" المحفز حتى يجد الحقيقي منه.
يعمل في كل مكان: تم اختباره على ثلاثة أنواع مختلفة من النصوص (مراجعات الأفلام، كشف خطاب الكراهية، والأخبار) وأربعة أنواع مختلفة من الهجمات.
الإحصائيات: في المتوسط، قللت هذه الطريقة من نجاح الهجمات بنسبة 76.2%. لقد كان أفضل بكثير من أفضل الدفاعات الأخرى المتاحة.
يحافظ على ذكاء الذكاء الاصطناعي: والأهم من ذلك، أنه أصلح الثغرة دون جعل الذكاء الاصطناعي غبياً. لا يزال الذكاء الاصطناعي يعمل بشكل جيد في المهام العادية (مع الحفاظ على 96% من دقته الأصلية).

باختصار: BadLLM-TG هو نظام يستخدم ذكاءً اصطناعياً فائق الذكاء للهندسة العكسية للكود السري الذي يستخدمه المخترقون لخداع أنظمة الذكاء الاصطناعي الأخرى. وبمجرد اكتشاف الكود، يدرب الذكاء الاصطناعي على تجاهله، مما يجعل النظام آمناً مرة أخرى دون فقدان ذكائه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "BADLLM-TG: مُدافع من نوع الباب الخلفي مدعوم بمولد محفزات النماذج اللغوية الكبيرة (LLM)".

1. بيان المشكلة

تؤدي هجمات الباب الخلفي (Backdoor attacks) في معالجة اللغات الطبيعية (NLP) إلى تقويض موثوقية النموذج من خلال حقن محفز (Trigger) محدد (مثل كلمة نادرة، أو جملة، أو أسلوب معين) في بيانات التدريب. عندما يكون هذا المحفز موجودًا في المدخلات، يتنبأ النموذج بتسمية مستهدفة (Target label) اختارها المهاجم، بغض النظر عن المحتوى الفعلي.

تواجه آليات الدفاع الحالية قيودًا كبيرة:

كشف البيانات المسمومة: الطرق التي تعتمد على "الارتباك" (Perplexity) أو المتانة غالبًا ما تفشل في التعميم أو تحديد موقع المحفز بدقة.
تعديل النموذج: التقنيات مثل "التقليم" (Pruning) أو "اضطراب الأوزان" (Weight perturbation) تغير بنية النموذج ولكنها لا تكشف عن المحفز، مما يحد من قابليتها للتطبيق عبر النماذج المختلفة.
قيود عكس المحفز (Trigger Inversion): بينما يعد عكس المحفز (إعادة بناء المحفز لتحييده) فعالًا في الرؤية الحاسوبية، فإنه يواجه صعوبة في معالجة اللغات الطبيعية. تعتمد الطرق التقليدية على "الاشتقاق المتدرج" (Gradient descent) والضجيج العشوائي، وهي أمور غير متوافقة مع الطبيعة المنفصلة للنصوص. لا يمكن تحديث النص عبر التدرجات المستمرة، مما يجعل عملية عكس المحفز القياسية غير مناسبة للدفاع ضد الباب الخلفي في معالجة اللغات الطبيعية.

2. المنهجية: BadLLM-TG

يقترح المؤلفون إطار عمل BadLLM-TG، الذي يستفيد من المعرفة الغنية للنماذج اللغوية الكبيرة (LLMs) لتوليد المحفزات والدفاع ضد الأبواب الخلفية. تعمل هذه الطريقة عبر ثلاث مراحل متميزة:

أ. تحديد التسمية المستهدفة (Target Label Identification)

قبل توليد المحفزات، يجب على النظام تحديد تسمية الهدف ( $\hat{y}$ ) للمهاجم.

الآلية: يقوم النظام بتدريب نموذج مسموم ومراقبة تباين الثقة ( $\Delta c$ ) للتنبؤات أثناء التدريب المبكر.
الرؤبة: تظهر العينات المسمومة معدلات تعلم ومتانة أعلى، مما يؤدي إلى تباين أكبر في الثقة.
العملية: يتم تحديد التسمية المستهدفة باعتبارها التسمية الأكثر تكرارًا بين أعلى 5% من العينات ذات تباين الثقة الأعلى. يسمح هذا للنظام بتقسيم مجموعة البيانات إلى مجموعات فرعية مستهدفة ( $D_{tgt}$ ) وغير مستهدفة ( $D_{n-tgt}$ ).

ب. تدريب مولد محفزات الـ LLM (التعلم التعزيزي الموجه بالحث)

هذا هو الابتكار الجوهري، حيث يستبدل التحسين القائم على التدرج بـ التعلم التعزيزي (RL) الموجه بالحث (Prompts).

الوكيل (Agent): نموذج لغوي كبير ( $G$ ) يتم تمثيله بواسطة حث ( $p$ ).
البيئة (Environment): مجموعة البيانات غير المستهدفة ( $D_{n-tgt}$ ) والنموذج الضحية ( $M$ ).
الإجراء (Action): يقوم النموذج اللغوي الكبير بتعديل العينات النظيفة وغير المستهدفة عن طريق إدراج نمط محفز محتمل.
إشارة المكافأة (Reward Signal): تُشتق المكافأة من خسارة التغذية الراجعة للنموذج الضحية. إذا تسبب العينة المعدلة في جعل النموذج الضحية يتنبأ بالتسمية المستهدفة $\hat{y}$ ، تكون المكافأة عالية (تقليل الخسارة $LCE(M(G(x); \hat{\theta}), \hat{y})$ ).
عملية التدريب:
1. البدء الدافئ (Warm Start): يتم توجيه النموذج اللغوي الكبير لتعلم الأنماط المرشحة من مجموعة البيانات المستهدفة ( $D_{tgt}$ ).
2. التحسين التكراري: يقوم النموذج اللغوي الكبير بتوليد محفزات على $D_{n-tgt}$ . يقوم النموذج الضحية بتقييمها، وتُستخدم الخسارة الناتجة كمكافأة لتحديث الحث ( $p$ ) عبر حلقة تحسين.
3. التقارب (Convergence): يستمر هذا حتى يقوم النموذج اللغوي الكبير بتوليد محفزات تنجح باستمرار في قلب تنبؤ النموذج الضحية.

ج. عكس المحفز عبر التدريب الخصمي (Adversarial Training)

بمجرد تدريب مولد المحفز ( $G$ ) وإيجاد الحث الأمثل ( $\hat{p}$ ):

يقوم المولد بتسميم مجموعة بيانات التدريب بأكملها ( $D^*$ ) لإنشاء مجموعة بيانات اصطناعية معززة بالمحفز ( $\hat{D}^*$ ).
يتم إعادة تدريب النموذج الضحية باستخدام التدريب الخصمي على كل من البيانات المسمومة الأصلية وبيانات المحفز المولدة.
الهدف: تهدف هذه العملية إلى قطع الصلة بين المحفز والتسمية المستهدفة، مما يجبر النموذج على تعلم التسمية الحقيقية بغض النظر عن وجود المحفز.

3. المساهمات الرئيسية

إطار عمل BadLLM-TG: أول دفاع ضد الباب الخلفي مصمم خصيصًا لمعالجة اللغات الطبيعية يستخدم مولد محفزات مدعومًا بالنماذج اللغوية الكبيرة، متجاوزًا بذلك قيود النصوص المنفصلة لطرق العكس التقليدية.
التعلم التعزيزي الموجه بالحث: إطار تدريب مبتكر حيث يتعلم النموذج اللغوي الكبير توليد المحفزات عن طريق تحسين الحث بناءً على خسارة النموذج الضحية، بدلاً من تحديث الأوزان عبر التدرجات.
التقييم الشامل: تجارب مكثفة عبر ثلاث مجموعات بيانات (SST-2, HSOL, AG News) ضد أربعة أنواع مختلفة من الهجمات (الكلمة، الجملة، الأسلوب، والتركيب النحوي) وضد خمسة نماذج دفاع أساسية.

4. النتائج التجريبية

قيم المؤلفون BadLLM-TG مقابل أربعة من أفضل المدافعين حاليًا (ONICN, RAP, MuScleLoRA, BadActs) ونموذج "لا دفاع" (No Defense).

تقليل معدل نجاح الهجوم (ASR): خفض BadLLM-TG متوسط معدل نجاح الهجوم بنسبة 76.2%، متفوقًا على ثاني أفضل مدافع (MuScleLoRA) بنسبة 13.7%.
- مثال: في مجموعة بيانات SST-2 مع هجوم "Sentbkd"، حقق BadLLM-TG معدل نجاح هجوم قدره 0.86%، مقارنة بـ 50.55% لـ BadActs و 98.44% لـ RAP.
دقة البيانات النظيفة (CACC): حافظ الدفاع على فائدة النموذج، حيث حافظ على 96.3% من الدقة الأصلية للبيانات النظيفة في المتوسط.
المتانة: ظلت الطريقة فعالة عبر معدلات تسميم تتراوح من 10% إلى 40%، مما أظهر تباينًا منخفضًا في الأداء مقارنة بالمدافعين الآخرين.
دراسة الاستئصال (Ablation Study): أدى إزالة المكونات الرئيسية (تحديد الهدف، التحسين التكراري، أو تغذية المكافأة الراجعة) إلى زيادة كبيرة في معدل نجاح الهجوم (ASR)، مما يؤكد أن جميع الوحدات ضرورية لنجاح النظام.

5. الأهمية والخاتمة

يمثل BadLLM-TG تحولًا جذريًا في الدفاع ضد الباب الخلفي في معالجة اللغات الطبيعية من خلال سد الفجوة بين طرق التحسين المستمرة والبيانات النصية المنفصلة.

مستقل عن النموذج (Model-Agnostic): لا يعتمد على بنيات نماذج محددة، مما يجعله قابلًا للتطبيق على نطاق واسع.
تحديد موقع المحفز: على عكس الدفاعات الأخرى التي تكتفي بـ "ترقيع" النموذج، يقوم BadLLM-TG بإعادة بناء وتحييد المحفز صراحةً، مما يوفر آلية دفاع أكثر شفافية.
العملية: تعتبر التكاليف الإضافية للموارد (حوالي 3,600 رمز لكل دراسة حالة) مقبولة للنشر، وتثبت الطريقة متانة ضد شدة الهجمات المتفاوتة.

باختصار، تثبت الورقة أن الاستفادة من القدرات التوليدية للنماذج اللغوية الكبيرة من خلال التعلم التعزيزي هي استراتيجية فعالة للغاية لتحديد وتحييد محفزات الباب الخلفي في النماذج اللغوية.