ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ArithmAttack: تقييم متانة النماذج اللغوية الكبيرة (LLMs) تجاه الضجيج في السياق عند حل المسائل الرياضية."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في الاستدلال الرياضي، إلا أن متانتها ضد الضجيج العدائي (Adversarial Noise) لا تزال غير مستكشفة بشكل كافٍ. ركزت الدراسات السابقة على الاضطرابات الدلالية (مثل استبدال المرادفات) أو الأخطاء الطباعية، والتي غالباً ما تغير المعنى أو السمات المكونة للمدخلات.

حدد المؤلفون فجوة في فهم كيفية تعامل النماذج اللغوية الكبيرة مع الضجيج النحوي (Syntactic Noise) الذي يحافظ على المعنى الدلالي ولكنه يربك تدفق الرموز (Tokens). وتحديداً، تبحث الورقة فيما إذا كان إدراج علامات ترقيم عشوائية في مطالبات المسائل الرياضية — دون إضافة أو حذف أو تغيير أي كلمات — يمكن أن يؤدي إلى تدهور قدرات النموذج على الاستدلال. وتتمثل مسألة البحث الجوهرية في: كيف تستجيب النماذج اللغوية الكبيرة لهجمات الضجيج المتمثلة في علامات الترقيم العشوائية في سياق حل المسائل الرياضية؟

2. المنهجية

إطار عمل ArithmAttack

مستوحى من طريقة AEDA (تسهيل تعزيز البيانات)، يقترح المؤلفون ArithmAttack، وهو تقنية لحقن الضجيج مصممة لاختبار المتانة مع الحفاظ على السلامة الدلالية.

• آلية الضجيج: يتم إدراج علامات ترقيم عشوائية (. ، , ، ! ، ? ، ; ، :) في النص المدخل.
• الحفاظ على الدلالة: لا يتم إضافة أو حذف أو تعديل أي كلمات. وبناءً على ذلك، تظل التشابه الدلالي بين الجمل الأصلية والمضطربة بنسبة 100% (تم التحقق عبر Universal Sentence Encoder).
• مستويات الضجيج: يتم تطبيق الهجوم عند ثلاثة مستويات مختلفة من الكثافة، وهي 10%، و30%، و50% من طول الجملة (بناءً على عدد الكلمات).

الإعداد التجريبي

• مجموعات البيانات:
  • GSM8K: تضم 1,320 عينة اختبار من المسائل الرياضية اللفظية للمرحلة الابتدائية (تنوع لغوي عالٍ).
  • MultiArith: تضم 180 عينة اختبار تغطي مختلف التعقيدات الحسابية.
• النماذج التي تم تقييمها: ثمانية نماذج لغوية كبيرة ذات أعداد بارامترات متفاوتة (من 1.5 مليار إلى 8 مليار) وأصول تدريبية متنوعة:
  • عائلة Llama: Llama-3-8B، Llama-3.1-8B.
  • عائلة Mistral: Mistral-7B، Mathstral-7B (متخصص في الرياضيات).
  • أخرى: Gemma2-2B، Zephyr-7B، Qwen2.5-1.5B، DeepSeek-R1-Distill-Llama-8B.
• استراتيجية التلقين (Prompting): تم استخدام تقنية "سلسلة الأفكام" (Chain-of-Thought - CoT) بأسلوب الصفر (Zero-Shot) لاستخراج الاستدلال خطوة بخطوة.
• مقاييس التقييم:
  • الدقة (Accuracy): نسبة المسائل التي تم حلها بشكل صحيح.
  • معدل نجاح الهجوم (ASR): نسبة الإجابات التي كانت صحيحة في الحالة النظيفة ولكن أصبحت غير صحيحة بعد هجوم الضجيج.
  • معدل الفشل (Miss Rate): المعدل الذي يفشل فيه النموذج في استخراج الإجابة النهائية بالتنسيق المتوقع.

3. المساهمات الرئيسية

1. اقتراح ArithmAttack: ناقل عدائي جديد وخفيف الوزن يقدم علامات ترقيم عشوائية في المطالبات الرياضية. وهو متميز عن الهجمات السابقة لأنه يسبب صفر فقدان في المعلومات ويحافظ على تشابه دلالي بنسبة 100%، مما يعزل تأثير الاضطراب النحوي على الاستدلال.
2. تقييم شامل للمتانة: تقيم الدراسة ثمانية نماذج متنوعة عبر مجموعتي بيانات رياضيتين قياسيتين، مما يوفر تحليلاً مقارناً لكيفية تعامل البنى المختلفة وبيانات التدريب (العامة مقابل المتخصصة في الرياضيات) مع الضجيج النحوي.
3. أدلة تجريبية على الضعف: تثبت الورقة أن حتى النماذج عالية الأداء معرضة بشدة لضجيج علامات الترقيم، حيث تتدهور الأداء خطياً مع زيادة كثافة الضجيج.

4. النتائج الرئيسية

تدهور الأداء

• الضعف الشامل: أظهرت جميع النماذج الثمانية انخفاضاً في الدقة مع زيادة نسبة ضجيج علامات الترقيم من 10% إلى 50%.
• الحساسية لمجموعة البيانات: كان انخفاض الأداء أكثر وضوحاً في مجموعة بيانات GSM8K (المسائل الأكثر تعقيداً) مقارنة بـ MultiArith، مما يشير إلى أن النماذج تعاني أكثر مع الضجيج عندما تكون مهمة الاستدلال الأساسية صعبة.

النتائج الخاصة بكل نموذج

• الأكثر متانة: أظهر نموذج Llama-3.1-8B أعلى متانة إجمالية، حيث حافظ على أفضل دقة عبر كلتا مجموعتي البيانات ومستويات الضجيج. كما سجل أدنى معدل لنجاح الهجوم (ASR) في GSM8K.
• ميزة التخصص الرياضي: تفوق نموذج Mathstral على نظيره الأساسي Mistral من حيث المتانة. وهذا يشير إلى أن التدريب الرياضي المتخصص يوفر بعض القدرة على الصمود أمام الضجيج النحوي.
• الأقل متانة: أظهر نموذج Zephyr أسوأ أداء، مع أدنى دقة في الحالة النظيفة وأعلى معدل نجاح للهجوم (ASR) (وصل إلى ~77% في MultiArith)، مما يشير إلى نقص حاد في المتانة.
• DeepSeek: أظهر متانة مماثلة لنماذج Llama في مجموعة بيانات MultiArith، ولكنها كانت أقل قليلاً في GSM8K.

معدل نجاح الهجوم (ASR)

• زاد الـ ASR بشكل كبير مع مستويات الضجيج. على سبيل المثال، في GSM8K، وصل ASR الخاص بـ Zephyr إلى ما يقرب من 75%، مما يعني أن ثلاثاً من كل أربع إجابات كانت صحيحة سابقاً أصبحت غير صحيحة بسبب ضجيج علامات الترقيم.
• حافظت نماذج Llama باستمرار على أدنى معدلات ASR، مما يشير إلى أنها أقل عرضة لـ "الخداع" بهذا النوع المحدد من الهجمات.

استخراج الإجابة

• كان "معدل الفشل" (الفشل في استخراج الإجابة النهائية) منخفضاً بشكل عام (أقل من 4%) لمعظم النماذج، باستثناء Zephyr في MultiArith (12.8%). وهذا يشير إلى أن نمط الفشل الأساسي هو انهيار الاستدلال وليس فشل التنسيق.

5. الأهمية والتوجهات المستقبلية

• تحديد نقاط الضعف: تكشف الدراسة أن النماذج اللغوية الكبيرة هشة بشكل مفاجئ تجاه الاضطرابات النحوية البسيطة التي لا تغير المعنى. وهذا يتحدى الافتراض بأن الحفاظ على الدلالة يضمن المتانة.
• الآثار على السلامة: بما أن ضجيج علامات الترقيم سهل التوليد ويصعب اكتشافه دلالياً، فإنه يمثل ناقلاً محتملاً للهجمات العدائية في التطبيقات الواقعية حيث قد تتعرض تنسيقات المدخلات للتلف أو التلاعب.
• العمل المستقبلي: يقترح المؤلفون توسيع هذا البحث ليشمل:
  • أنواع أخرى من الضجيج (الأخطاء القواعدية، الاختصارات الخاطئة).
  • مهام استدلال أخرى (الاستدلال المنطقي والسببي).
  • التحقيق في الآلية التي تؤدي إلى تعطيل تدفق الاستدلال بسبب علامات الترقيم (مثل تحولات آلية الانتباه - Attention Mechanism).

في الختنمة، يثبت ArithmAttack أن النماذج اللغوية الكبيرة الحالية، حتى تلك التي تم ضبطها بدقة للرياضيات، تفتقر إلى المتانة ضد الضجيج النحوي غير الدلالي، مما يسلط الضوء على مجال حرج للتحسين في تدريب النماذج وتقييمها.