Injecting Falsehoods: Adversarial Man-in-the-Middle Attacks Undermining Factual Recall in LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "حقن الأباطيل: هجمات رجل في المنتصف العدائية التي تقوض الاستدعاء الحقائقي في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تتناول الورقة ثغرة أمنية حرجة في النماذج اللغوية الكبيرة (LLMs) المستخدمة في استرجاع المعلومات والإجابة على الأسئلة (QA). وبينما يركز معظم الأبحاث الحالية على "كسر الحماية" (Jailbreaks) -حيث يتجاوز المستخدمون فلاتر السلامة لتوليد محتوى ضار- تحدد هذه الدراسة تهديداً أكثر دهاءً: هجمات رجل في المنتصف (Man-in-the-Middle - MitM) العدائية.

• نموذج التهديد: في هذا السيناريو، يسعى مستخدم حسن النية للحصول على معلومات حقيقية، لكن وسيطًا خبيثًا يعترض الاستعلام قبل وصوله إلى النموذج اللغوي الكبير. يقوم المهاجم بتعديل المدخلات (حقن الأوامر/Prompt Injection) لإفساد الاستدعاء الحقائقي للنموذج دون تعديل أوزان النموذج أو الوصول إلى معلماته الداخلية.
• المشكلة الجوهرية: تتقصى الدراسة ما إذا كانت النماذج اللغوية الكبيرة قادرة على التمييز بين معرفتها البارامترية الداخلية والتعليمات العدائية المحقونة من قبل وسيط. وتسلط الضوء على نقص "المتانة الإبستيمية" (Epistemic Robustness)، حيث قد تعطي النماذج الأولوية للتعليمات المتضاربة على حساب معرفتها الحقائقية الخاصة، مما يؤدي إلى توليد معلومات خاطئة في السيناريوهات عالية المخاطر.

2. المنهجية: إطار عمل $\chi$mera

يقترح المؤلفون $\chi$mera، وهو إطار عمل جديد قائم على النظرية لتقييم وتنفيذ هجمات رجل في المنتصف. يعامل الإطار الهجوم كعملية توليد مضاد للواقع (Counterfactual Generation)، حيث تؤدي المدخلات المعدلة بحدها الأدنى إلى مخرجات متباعدة (خاطئة).

التعريف الرسمي

تُعرف عملية الاضطراب $\chi$ بأنها هجوم "رجل في المنتصف" إذا أدت المسألة $q_i$ وإجابتها الصحيحة $a_i$، إلى أن السؤال المضطرب $\hat{q}_i = \chi(q_i)$ يتسبب في جعل النموذج $g$ يولد إجابة غير صحيحة:
$$\Phi(q_i, g(\hat{q}_i)) \neq \Phi(q_i, a_i)$$
حيث $\Phi$ هي دالة "أوراكل" (Oracle Function) للتحقق من الصحة. وعلى عكس الهجمات العدائية التقليدية التي تقلل مسافات القياس عبر الانحدار الاشتقاقي (وهو أمر غير ممكن غالباً في واجهات البرمجة الصندوقية السوداء - Black-box APIs)، يركز $\chi$mera على الاضطرابات القائمة على التعليمات في وضع "الصفر محاولة" (Zero-shot).

ناقلات الهجوم (Attack Vectors)

ينفذ إطار العمل ثلاث استراتيجيات هجوم متميزة، مصنفة حسب كيفية اضطراب المدخلات:

1. $\alpha$-$\chi$mera (القائم على التعليمات):
   • الآلية: يلحق تعليمات مضللة مباشرة بالاستعلام (مثلاً: "أجب بإجابة خاطئة فقط").
   • الطبيعة: غير مرتبط بالحقائق (Fact-agnostic). يستغل ميل النموذج لاتباع التعليمات على حساب قاعدة معرفته الداخلية.
2. $\beta$-$\chi$mera (حقن السياق الواعي بالحقائق):
   • الآلية: يستخرج الحقيقة الأساسية من السؤال، ويضطربها لخلق حقيقة كاذبة (مثلاً: استبدال "باربرا ماكلينتوك" بـ "ماري كوري")، ثم يسبق هذا السياق الكاذب بالاستعلام.
   • الطبيعة: واعٍ بالحقائق (Fact-aware). يعتمد على قاعدة معرفة خارجية لتوليد مقدمات تبدو منطقية ولكنها كاذبة.
3. $\gamma$-$\chi$mera (حقن الضجيج الدلالي):
   • الآلية: يسبق الاستعلام بحقيقة غير ذات صلة دلالياً ولكنها سليمة تركيبياً (ضجيج عشوائي).
   • الطبيعة: غير مرتبط بالحقائق (Fact-agnostic). يهدف إلى إرباك آلية الانتباه (Attention Mechanism) في النموذج دون فرض اتجاه محدد للتزييف.

الإعداد التجريبي

• النماذج: تم التقييم على مجموعة متنوعة من النماذج اللغوية الكبيرة بما في ذلك GPT-4o، وGPT-4o-mini، وLLaMA-2/3، وMistral، وPhi-3.5.
• مجموعات البيانات: TriviaQA، وHotpotQA، وNatural Questions (مع تعديلها لإعدادات الكتاب المغلق - Closed-book لعزل المعرفة الداخلية عن آليات الاسترجاع).
• المقاييس:
  • الدقة (Accuracy): تُقاس بمعدل نجاح الهجوم (1 - الدقة).
    వ عدم اليقين (Uncertainty): يتم تتبعها باستخدام الاعتلاج (Entropy)، الارتباك (Perplexity)، واحتمالية الرمز (Token Probability) للكشف عما إذا كان النموذج "مرتبكاً" بسبب الهجوم.

3. المساهمات الرئيسية

1. صياغة رسمية لهجمات رجل في المنتصف: أول تعريف رسمي لهجمات رجل في المنتصف على النماذج اللغوية الكبيرة، مع تكييف مفاهيم التفسيرات المضادة للواقع والهجمات العدائية لتناسب سياق الاستدعاء الحقائقي.
2. إطار عمل هجوم مبتكر ($\chi$mera): تقديم ثلاثة ناقلات هجوم متميزة ($\alpha, \beta, \gamma$) توضح كيف يمكن للاضطرابات على مستوى الأوامر أن تتجاوز المعرفة الداخلية في مهام الإجابة على الأسئلة بنظام الكتاب المغلق.
3. الدفاع القائم على عدم اليقين: إثبات أن الهجمات الناجحة تسبب ارتفاعات قابلة للقياس في عدم يقين النموذج. قام المؤلفون بتدريب مصنفات الغابة العشوائية (Random Forest classifiers) على مقاييس عدم اليقين هذه للكشف عن الهجمات بدقة عالية، مما يوفر آلية دفاع خفيفة الوزن.
4. نشر مجموعة البيانات: نشر مجموعة بيانات تحتوي على 3,000 عينة مع سياقات عدائية لضمان قابلية التكرار ومزيد من البحث.

4. النتائج الرئيسية

معدلات نجاح الهجوم

• $\alpha$-$\chi$mera (القائم على التعليمات) كان الهجوم الأكثر فعالية، حيث حقق متوسط معدل نجاح قدره ~55.3%، مع ذروة تصل إلى 85.3% في نماذج معينة (لاسيما GPT-4o-mini).
  • ملاحظة: كان GPT-4o-mini، رغم كونه نموذجاً عالي القدرة، معرضاً للغاية للهجمات القائمة على التعليمات، مما يشير إلى أن النماذج المحسنة لاتباع التعليمات هي، للمفارقة، أكثر عرضة للتلاعب من قبل رجل في المنتصف.
• $\beta$-$\chi$mera (الواعي بالحقائق) حقق متوسط معدل نجاح قدره ~42.9%.
• $\gamma$-$\chi$mera (الضجيج) كان الأقل فعالية (~26.3%)، مما يشير إلى أن الضجيج العشوائي أقل إرباكاً من التعليمات المستهدفة أو الحقائق الكاذبة.
• حساسية النماذج: أظهرت النماذج الأصغر تدهوراً أكبر تحت هجمات $\beta$، بينما كانت النماذج المتخصصة في اتباع التعليمات (مثل GPT-4o-mini) معرضة بشكل فريد لهجمات $\alpha$.

تحليل عدم اليقين

• الارتباط: هناك ارتباط قوي بين الهجمات الناجحة وزيادة عدم يقين النموذج. عندما ينجح الهجوم (إنتاج إجابة خاطئة)، يزداد الاعتلاج (Entropy) والارتباك (Perplexity) في النموذج بشكل كبير مقارنة بالحالات التي لم تتعرض للهجوم أو فشلت فيها الهجمة.
• أداء الكشف: باستخدام مقاييس عدم اليقين (الاعتلاج، الارتباك، احتمالية الرمز) كميزات، تم تدريب مصنفات الغابة العشوائية للتمييز بين الاستعلامات المهاجمة وغير المهاجمة.
  • النتائج: حققت المصنفات متوسط AUC قدره ~94.8% للكشف عن أنواع الهجمات المحددة ($\alpha, \beta, \gamma$).
  • الكشف العام: كان الكشف عن أي هجوم (دون معرفة نوعه) أصعب قليلاً (AUC ~89%) بسبب اختلاف بصمات عدم اليقين لأنواع الهجمات المختلفة.

5. الأهمية والآثار المترتبة

• هشاشة النزاهة الحقائقية: تثبت الدراسة أن المعرفة الداخلية للنماذج اللغوية الكبيرة هشة ويمكن تجاوزها بسهولة عبر حقن الأوامر البسيطة في سياق رجل في المنتصف. وهذا يتحدى الافتراض بأن النماذج اللغوية الكبيرة هي "قوالب صدق" موثوقة في سير العمل المؤتمت.
• المخاوف الأخلاقية والسلامة: في التطبيقات عالية المخاطر (مثل المشورة الطبية، أو البحث القانوني، أو تجميع الأخبار)، يمكن لوسيط أن يتلاعب بالمعلومات بصمت دون علم المستخدم، حيث سيظل النموذج يولد استجابة سلسة وتبدو واثقة.
• استراتيجية الدفاع: تقترح الورقة دفاعاً عملياً وخفيف الوزن: مراقبة عدم يقين الاستجابة. إذا أظهرت مخرجات النموذج اللغوي الكبير اعتلاجاً عالياً أو احتمالية رمز منخفضة، فإن ذلك يعد علامة تحذير بأن المدخلات قد تم التلاعب بها.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن الدفاعات المستقبلية يجب أن تتطور للتعامل مع المهاجمين المتكيفين الذين قد يحسنون هجماتهم لتقليل طفرات عدم اليقين، كما يجب أن تدمج أنظمة الكشف إشارات سلوكية متعددة تتجاوز مجرد عدم اليقين.

في الختام، يكشف إطار عمل $\chi$mera عن فجوة حرجة في أمن أنظمة المعلومات المدعومة بالنماذج اللغوية الكبيرة، موضحاً أن الاستدعاء الحقائقي ليس متيناً ضد الوسطاء الدلاليين، ولكن يمكن لعدم يقين النموذج أن يعمل كنظام إنذار مبكر حيوي للمستخدمين والمطورين.