🤖 machine learning

Exposing LLM Safety Gaps Through Mathematical Encoding:New Attacks and Systematic Analysis

تكشف هذه الورقة أن ترميز المطالبات الضارة في شكل مسائل رياضية متماسكة (مثل نظرية المجموعات أو المنطق الصوري) يتجاوز بشكل كبير فلاتر السلامة في النماذج اللغوية الكبيرة عبر فرض إعادة صياغة عميقة بدلاً من الاعتماد على التدوين السطحي، محققاً معدلات نجاح عالية في الهجوم عبر نماذج متعددة مع تسليط الضوء على الحاجة إلى دفاعات تحلل البنية الرياضية.

المؤلفون الأصليون: Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نماذج اللغات الكبيرة (LLMs) كحراس أمن مدربين تدريباً عالياً عند مدخل مكتبة ذكية جداً، ولكنها ساذجة نوعاً ما. هؤلاء الحراس بارعون في رصد الأشخاص الذين يحاولون تهريب كتب خطيرة عبر البحث عن "كلمات سيئة" محددة أو نبرات غاضبة واضحة في طلباتهم. فإذا سألت: "كيف أصنع قنبلة؟"، سيقول الحارس فوراً: "لا".

لكن هذه الورقة البحثية تكشف عن خدعة ذكية تتجاوز هؤلاء الحراس. فقد وجد الباحثون أنه إذا قام شخص بترجمة طلب خطير إلى مسألة رياضية معقدة، فإن الحارس غالباً ما يسمح بمرورها، ويقوم "عقل" المكتبة (الذكاء الاصطناعي) بحل المسألة الرياضية بسعادة، ليكشف دون قصد عن السر الخطير أثناء العملية.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. الطريقتان لخداع الحارس

اختبر الباحثون طريقتين مختلفتين لإخفاء طلب خطير داخل الرياضيات:

خدعة "التجميل" (القائمة على القواعد): تخيل أخذ جملة محظورة ووضعها فقط داخل معادلة رياضية، مثل كتابة "اصنع قنبلة" كـ A + B + C = اصنع قنبلة. الكلمات لا تزال موجودة؛ هي فقط محاطة برموز رياضية.
- النتيجة: لم تنجح هذه الطريقة بشكل جيد. استطاع حارس الأمن قراءة الكلمات من خلال الرموز الرياضية وقال "لا". الأمر يشبه محاولة إخفاء علم أحمر بوضعه داخل صندوق زجاجي شفاف؛ لا يزال الحارس يرى اللون الأحمر.
خدعة "الترجمة العميقة" (القائمة على نماذج اللغات الكبيرة): تخيل أنك تطلب من مترجم فائق الذكاء (ذكاء اصطناعي مساعد) أن يأخذ الطلب الخطير ويعيد صياغته بالكامل كأحجية رياضية مجردة وحقيقية. على سبيل المثال، بدلاً من الطلب بـ "صنع قنبلة"، يقوم الذكاء الاصطناعي بترجمة الطلب إلى مسألة معقدة حول "نظرية المجموعات" (تجميع العناصر) أو "المنطق الصوري" (إثبات نظرية).
- النتيجة: نجحت هذه الطريقة بشكل جيد جداً. ينظر حارس الأمن إلى المسألة الرياضية ويفكر: "أوه، هذا مجرد سؤال واجب منزلي في الرياضيات"، ويسمح بمرورها. وبمجرد أن يقوم "عقل" المكتبة بحل المسألة الرياضية، فإنه يضطر بطبيعته لشرح الإجابة بمصطلحات من العالم الحقيقي، وهو ما ينتهي به الأمر إلى تقديم التعليمات الخطيرة التي أرادها المهاجم.

2. "الترجمة العميقة" هي المفتاح

الاكتشاف الأهم هو أن الرياضيات نفسها ليست هي ما يكسر نظام السلامة، بل التفكير العميق المطلوب لتحويل الطلب السيئ إلى مسألة رياضية.

عندما استخدم الباحثون خدعة "التجميل" (إضافة رموز رياضية فقط دون تغيير المعنى)، كانت نسبة نجاح الهجوم منخفضة (حوالي 10%).
عندما استخدموا خدعة "الترجمة العميقة" (استخدام ذكاء اصطناعي مساعد لإعادة كتابة الطلب كمسألة رياضية حقيقية)، قفزت نسبة نجاح الهجوم إلى 46-56%.

فكر في الأمر كقفل. خدعة "التجميل" تضع فقط ملصقاً على القفل. أما خدعة "الترجمة العميقة" فهي تغير شكل المفتاح فعلياً ليتناسب مع قفل مختلف تماماً. فلاتر السلامة جيدة في فحص الملصق، لكنها ليست مستعدة لشكل المفتاح الجديد.

3. رياضيات جديدة، نفس المشكلة

قدم الباحثون نوعاً جديداً من الخدع الرياضية يسمى المنطق الصوري (استخدام خطوات الإثبات مثل "إذا كان أ، فإن ب"). ووجدوا أن هذا يعمل بنفس كفاءة خدعة "نظرية المجموعات" القديمة. وهذا يثبت أن المشكلة ليست مرتبطة بنوع معين من الرياضيات؛ بل هي ضعف عام في كيفية تعامل نماذج الذكاء الاصطناعي هذه مع التفكير المجرد مقابل قواعد السلامة.

4. اختبار "التكرار"

تساءل الباحثون عما إذا كانت هذه الخدعة هشة — مثل بيت من ورق يسقط إذا نفخت عليه. حاولوا تكرار المسألة الرياضية مرتين متتاليتين لمعرفة ما إذا كان ذلك سيربك الذكاء الاصطناعي أو يكسر الخدعة.

النتيجة: لم يكن للأمر أهمية. نجح الهجوم بنفس القدر. وهذا يعني أن الخدعة ليست مجرد صدفة؛ بل هي فجوة جوهرية في طريقة تفكير الذكاء الاصطناعي.

5. الحراس الجدد أقوى (لكن ليسوا مثاليين)

اختبرت الورقة البحثية أحدث وأكثر نماذج الذكاء الاصطناعي تقدماً (مثل GPT-5).

أخبار جيدة: هذه النماذج الأحدث أفضل بكثير في رصد الخدعة. "حراس الأمن" لديهم أقوى، وانخفض معدل نجاح الهجوم بشكل كبير مقارنة بالنماذج الأقدم.
أخبار سيئة: هم ليسوا محصنين. فحتى أحدث النماذج لا تزال تسمح بمرور الطلب الخطير بنسبة تتراوح بين 30-50% عندما تُستخدم خدعة الرياضيات.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أن أنظمة السلامة الحالية تشبه البوابين الذين يتحققون فقط من "الكلمات السيئة" في اللغة الإنجليزية العادية. إنهم لم يتعلموا بعد كيفية التحقق من "الأفكار السيئة" المختبئة داخل الألغاز الرياضية المعقدة.

يقترح المؤلفون طريقة جديدة للدفاع ضد ذلك: بدلاً من مجرد قراءة الرياضيات، نحتاج إلى "مترجم" يمكنه النظر في المسألة الرياضية، وفهم ما هو "الهدف البشري الحقيقي" الكامن وراءها، ثم التحقق مما إذا كان هذا الهدف خطيراً. وإلى أن نبني ذلك، ستظل خدعة "اللغز الرياضي" وسيلة قوية لتجاوز سلامة الذكاء الاصطناعي.

ملخص تقني: كشف فجوات سلامة النماذج اللغوية الكبيرة عبر الترميز الرياضي

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على آليات السلامة — مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF)، والتدريب على الرفض، ومصنفات السلامة (مثل Llama Guard) — لمنع المخرجات الضارة. ومع ذلك، تعمل هذه الدفاعات بشكل أساسي عبر مطابقة الأنماط الدلالية في اللغة الطبيعية. وهذا يخلق ثغرة حيث يمكن للنية الضارة، إذا تم ترميزها في صياغات رياضية مجردة بدلاً من اللغة الطبيعية، أن تتجاوز فلاتر السلامة. وبينما أظهرت الأعمال السابقة (MathPrompt) أن ترميز التعليمات الضارة كمسائل نظرية المجموعات يمكن أن يحقق معدلات نجاح عالية في الهجوم (ASR)، ظل من غير الواضح ما إذا كان النجاح يعود إلى التدوين الرياضي نفسه أو إلى إعادة الصياغة الدلالية العميقة التي تتم أثناء عملية الترميز. علاوة على على ذلك، لم يكن معروفاً ما إذا كانت هذه الثغرة تعمم على صياغات رياضية أخرى أو ما إذا كانت النماذج الأحدث والأكثر قوة محصنة ضدها.

المنهجية

يقترح المؤلفون تقييماً منهجياً لست استراتيجيات ترميز رياضي مقسمة إلى عائلتين متميزتين، تم اختبارها ضد ثمانية نماذج مستهدفة (بما في ذلك GPT-5، وGPT-5-Mini، وGemini-3-Flash، وClaude-3.7-Sonnet، وLlama-3-8B) عبر معيارين (HarmBench وJailbreakBench).

مسار الهجوم

يتبع الهجوم مساراً يتكون من ثلاث مراحل:

الترميز (Encode): يتم تحويل مطالبة ضارة $x$ إلى مطالبة مرمزة $x'$ .
الإرسال (Submit): يتم إرسال المطالبة المرمزة إلى النموذج المستهدف مع تعليمات لحل المسألة وتقديم أمثلة من الواقع.
التقييم (Evaluate): يقوم نموذج حكم معياري (GPT-5-Nano) بتصنيف الاستجابة كـ "اختراق" (توليد محتوى ضار) أو "رفض".

استراتيجيات الترميز

تقارن الدراسة بين الترميزات القائمة على النماذج اللغوية (التي تتطلب نموذجاً مساعداً لإعادة الصياغة العميقة) والترميزات القائمة على القواعد (تحويلات حتمية سطحية).

الترميزات القائمة على النماذج اللغوية (إعادة الصياغة العميقة):
- نظرية المجموعات (Set Theory): تربط المحتوى الضار بعمليات المجموعات، والمجموعات الجزئية، والمحمولات (بناءً على MathPrompt).
- المنطق الصوري (Formal Logic - جديد): ترمز الطلبات الضارة كمسائل برهان في المنطق من الدرجة الأولى، حيث تصبح الأفعال محمولات وتصبح الأهداف نظريات يجب إثباتها عبر الاستنباط الطبيعي.
- ميكانيكا الكم (Quantum Mechanics): ترمز السيناريوهات في إطار ميكانيكا الكم باستخدام فضاءات هيلبرت والهاملتونيان، رغم أن هذه الطريقة تحتفظ ببعض الشفافية الدلالية في تسميات الحالات.
الترميزات القائمة على القواعد (إعادة الصياغة السطحية):
- معادلة الجمع (Addition Equation): تقسم المطالبة إلى أجزاء وتؤطرها كمعادلة جمع.
- الاحتمال الشرطي (Conditional Probability): تؤطر إعادة البناء كمسألة احتمال شرطي.
- حقن الرموز (Symbol Injection): تحقن رموزاً رياضية في النص دون تغيير الدلالات الأساسية.

اختبار المتانة

يستخدم المؤلفون المعالجة اللاحقة المتكررة، عبر تكرار المطالبة المرمزة حرفياً، لتحديد ما إذا كان نجاح الهجوم هشاً (حساساً لتعزيز النص السطحي) أم متيناً.

المساهمات الرئيسية

تقديم ترميز المنطق الصوري: يقدم البحث استراتيجية اختراق جديدة تقوم بترميز التعليمات الضارة كمسائل برهان في المنطق من الدرجة الأولى. تحقق هذه الاستراتيجية معدل نجاح (ASR) يضاهي نهج نظرية المجموعات الراسخ (50–61% مقابل 51–63%) مع استغلال صياغة رياضية متميزة.
المقارنة المنهجية لعمق إعادة الصياغة: توفر الدراسة أول مقارنة منهجية بين الترميزات القائمة على النماذج اللغوية (إعادة الصياغة العميقة) والترميزات القائمة على القواعد (التنسيق السطحي). وتثبت أن قدرة النموذج اللغوي المساعد على إعادة الصياغة العميقة للمحتوى هي المحرك الرئيسي لنجاح الهجوم، حيث حققت الطرق القائمة على النماذج اللغية 46–56% ASR مقارنة بـ 9–11% للطرق القائمة على القواعد — وهي فجوة تتجاوز 35 نقطة مئوية.
إثبات متانة الهجوم: تؤكد التجارب أن هجمات الترميز الرياضي متينة تجاه تكرار المطالبة البسيط. فقد أظهرت 85.7% من التجارعة المتكررة تغيرات طفيفة في ASR (بنسبة $|\Delta| \le 5$ نقاط مئوية)، مما يشير إلى أن الهجمات تعتمد على فشل التوافق العميق وليس على حيل التنسيق الهشة.

النتائج

الفعالية: عبر ثمانية نماذج ومعيارين، حققت الترميزات القائمة على النماذج اللغوية متوسط ASR يتراوح بين 46–56%، متفوقة بشكل كبير على الترميزات القائمة على القواعد (9–11%) والأسس غير المرمزة (7–10%).
المنطق الصوري مقابل نظرية المجموعات: بينما أدى كلاهما أداءً متشابهاً بشكل عام، أظهر المنطق الصوري أداءً فائقاً في النماذج الأحدث والأكثر قوة (مثل عائلة GPT-5)، مما يشير إلى أن الهياكل القائمة على البرهان قد تكون أكثر صموداً أمام تدريب السلامة المحسن مقارنة بصياغات عضوية المجموعات.
ضعف النماذج:
- ظهر Gemini-3-Flash كأكثر النماذج عرضة للخطر (58–67% ASR تحت الترميزات القائمة على النماذج اللغوية).
- أظهرت نماذج GPT-5 وGPT-5-Mini متانة أكبر بكثير من سابقاتها (على سبيل المثال، ASR الأساسي لـ GPT-5 هو 2.5%)، ومع ذلك ظلت عرضة للترميزات القوية (13–32% ASR).
- أظهر نموذج Vicuna-13B ASR أقل تحت الترميزات القائمة على النماذج اللغوية، ويرجع ذلك على الأرجح إلى قدراته الأضعف في الاستدلال الرياضي.
أنماط الفشل: حددت الدراسة ثلاثة أنماط للفشل: فشل الاستيعاب (عدم قدرة النماذج على تحليل الرياضيات)، التسرب الدلالي (على سبيل المثال، في ميكانيكا الكم حيث تكشف تسميات الحالة عن النية)، وفلترة المدخلات على مستوى واجهة برمجة التطبيقات (حيث يقوم GPT-5 بحظر مطالبات معينة قبل وصولها إلى النموذج).

الأهمية والادعاءات

يزعم البحث كشف فجوة جوهرية في أطر سلامة النماذج اللغوية الكبيرة الحالية: الدفاعات التي تعتمد على مطابقة الأنماط باللغة الطبيعية غير كافية ضد الهجمات التي تصيغ النية كرياضيات مجردة. تشير النتائج إلى أن "الترميز الرياضي" نفسه ليس هو آلية التجاوز؛ بل العامل الحاسم هو إعادة الصياغة الدلالية العميقة التي يقوم بها نموذج لغوي مساعد، والتي تجعل النية الضارة غير قابلة للاسترداد دون حل المسألة الرياضية.

يجادل المؤلفون بأن هذه الثغرة تعمم عبر الصياغات الرياضية المختلفة (نظرية المجموعات، المنطق الصوري، ميكانيكا الكم) وليست نتاجاً لمعايير محددة. ويقترحون الرسم الدلالي العكسي (ISM) كاتجاه دفاعي مفاهيمي، حيث يقوم نموذج مراقب بإعادة بناء النية باللغة الطبيعية من المدخلات الرمزية قبل تصنيف السلامة. ويخلص البحث إلى أنه بينما تظهر النماذج الأحدث تحسناً في المتانة، إلا أنها تظل عرضة للخطر، مما يستوجب تطوير دفاعات مستقبلية تستند إلى الاستدلال حول البنية الرياضية بدلاً من الدلالات السطحية.