More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "زيادة عدد الوكلاء يحسن حل المسائل الرياضية، لكن فجوة المتانة ضد الهجمات العدائية تظل قائمة."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوحاً في الاستدلال الرياضي، فإن موثوقيتها في عمليات النشر في العالم الحقيقي مهددة بالضجيج الناتج عن المدخلات. وقد أثبتت الأبحاث السابقة حقيقتين رئيسيتين:

1. التعاون متعدد الوكلاء (على سبيل المثال، أخذ العينات والتصويت) يعزز بشكل كبير دقة الاستدلال على المدخلات النظيفة.
2. الاضطرابات العدائية (الأخطاء المطبعية، ضجيج علامات الترقيم) تؤدي إلى تدهور حاد في أداء النماذج اللغوية الكبيرة الفردية.

السؤال البحثي المركزي لهذه الورقة هو: هل يؤدي زيادة عدد الوكلاء المتعاونين (عبر إطار عمل أخذ العينات والتصويت) إلى تحسين المتانة ضد المدخلات العدائية، أم أن فجوة الأداء بين الظروف النظيفة والمشوشة تظل قائمة؟

2. المنهجية

2.1 الإطار التجريبي: غابة الوكلاء (Agent Forest)

يستخدم المؤلفون إطار عمل موحداً لـ أخذ العينات والتصويت يسمى "غابة الوكلاء".

• العملية: بالنسبة لسؤال معطى $x$، يتم استعلام النموذج الأساسي $M$ عدد $N$ من المرات باستخدام بذور عشوائية مستقلة لتوليد $N$ من الإجابات المرشحة.
• التجميع: يتم تحديد الإجابة النهائية عن طريق التصويت بالأغلبية على الإجابات الرقمية الموحدة (canonicalized).
• المتغير: يتم تغيير عدد الوكلاء ($n$) عبر القيم $\{1, 2, 5, 10, 15, 20, 25\}$.
• النماذج: تم اختبار ستة نماذج مفتوحة المصدر عبر مقاييس بارامترية مختلفة:
  • Qwen3 (4B, 14B)
  • Llama 3.1 (8B)
  • Mistral (7B)
  • Gemma 3 (4B, 12B)

2.2 مجموعات البيانات

أُجري التقييم على أربع مجموعات مرجعية قياسية للرياضيات:

• GSM8K: مسائل لفظية للمرحلة الابتدائية.
• MATH: مسائل متقدمة بمستوى المسابقات.
• MMLU-Math: مسائل استدلال رياضي متعدد الخيارات.
• MultiArith: عمليات حسابية بسيطة متعددة الخطوات.

2.3 تصنيف الضجيج

تقدم الدراسة تصنيفاً مهيكلاً للضجيج العدائي لمحاكاة الأخطاء الواقعية والاصطناعية:

1. ضجيج علامات الترقيم الاصطناعي: إدخال عشوائي لرموز علامات الترقيم (. ، , ، ! ، إلخ) عند ثلاثة مستويات من الكثافة: 10%، 30%، و50% من طول السؤال.
2. الأخطاء المطبعية الشبيهة بالبشر (WikiTypo): أخطاء إملائية واقعية مستخرجة من سجلات تعديل ويكيبيديا، حيث تُستبدل الكلمات بنسخ تحتوي على أخطاء مطبعية أصلية.
3. هجوم الخطأ المطبعي العدائي (R2ATA): استبدالات، تكرارات، وحذوفات على مستوى الحرف بشكل تكراري تستهدف الكلمات الجوهرية في الاستعلام (بناءً على إطار عمل هجوم الخطأ المطبعي العدائي).

2.4 المقاييس

• الدقة (Accuracy): نسبة الإجابات الصحيحة.
• معدل نجاح الهجوم (ASR): نسبة التنبؤات التي كانت صحيحة أصلاً (على البيانات النظيفة) وأصبحت غير صحيحة بعد تطبيق الضجيج. يشير انخفاض ASR إلى متانة أفضل.

3. المساهمات الرئيسية

1. التقييم المنهجي لمتانة تعدد الوكلاء: هذه هي الدراسة الأولى التي تعزل بشكل منهجي تأثير عدد الوكلاء على المتانة العدائية في الاستدلال الرياضي، متجاوزة مجرد تحسين الدقة على البيانات النظيفة.
2. تصنيف الضجيج للرياضيات: تصنف الورقة الضجيج إلى اصطناعي (علامات الترقيم) وشبيه بالبشر (الأخطاء المطبعية)، مما يوضح أن نوع الضجيج هو ما يحدد نمط الفشل.
3. "مفارقة الإجماع" (The Consensus Paradox): يحدد المؤلفون نمط فشل حرج حيث تفشل الأنظمة متعددة الوكلاء في تصحيح الأخطاء العدائية لأن الضجيج يسبب تحيزاً منهجياً بدلاً من التباين العشوائي. حيث تتوافق الوكلاء على المخرج الخاطئ نفسه، مما يجعل التصويت بالأغلبية غير فعال للمتانة.

4. النتائج الرئيسية

4.1 الدقة مقابل عدد الوكلاء

• التعاون يحسن الدقة: زيادة عدد الوكلاء تحسن الدقة بشكل موثوق عبر جميع أنواع الضجيج.
• تناقص العوائد: تحدث أكبر المكاسب بين $n=1$ و $n=5$. بعد $n \approx 10$، تستقر مكاسب الأداء.
• الاستقلال عن الحجم: بينما تحافظ النماذج الأكبر (مثل Qwen3-14B، Gemma3-12B) على دقة مطلقة أعلى، فإن النماذج الأصغر تستفيد نسبياً أكثر من التعاون.

4.2 فجوة المتانة (ASR)

• الفجوة المستمرة: رغم تحسن الدقة، فإن معدل نجاح الهجوم (ASR) يظل ثابتاً تقريباً مع زيادة عدد الوكلاء.
• نوع الضجيج مهم:
  • ضجيج علامات الترقيم: تنخفض الحساسية له بشكل ملحوظ مع زيادة عدد الوكلاء (حتى $n=5$ أو $10$)، حيث غالباً ما يتم الحفاظ على المعنى الدلالي.
  • الأخطاء البشرية (WikiTypo): تظل هذه هي العقبة الرئيسية. حتى مع وجود 25 وكيلاً، يظل ASR مرتفعاً (غالباً >10%). الفجوة بين دقة البيانات النظيفة ودقة WikiTypo هي الأكبر.
  • R2ATA: تقع في مرتبة متوسطة بين علامات الترقيم و WikiTypo من حيث الصعوبة.

4.3 خصوصية مجموعات البيانات

• MATH و MMLU: تظهر هذه المجموعات الأكثر تعقيداً أعلى معدلات ASR وأقل قدر من الاسترداد من التعاون، مما يشير إلى أن سلاسل الاستدلال الطويلة والمتعددة الخطوات حساسة للغاية للتشوهات في المدخلات.
• GSM8K و MultiArith: تظهر المجموعات الأسهل معدلات ASR أقل وفائدة أكبر من زيادة عدد الوكلاء، وإن كانت فجوة المتانة لا تغلق تماماً أبداً.

5. المناقشة والتحليل

تعزو الورقة استمرار فجوة المتانة إلى عاملين رئيسيين:

1. الضجيج الدلالي مقابل الضجيج المورفولوجي (الشكلي): غالباً ما يحافظ ضجيج علامات الترقيم على الجذر المورفولوجي للكلمات المفتاحية، مما يسمح لآليات الانتباه بالتعافي. في المقابل، تغير الأخطاء البشرية (WikiTypo) المتجهات التوجيهية (embeddings) للكلمات بشكل جوهري، مما يسبب انحرافاً عن المتجه الدلالي المستهدف لا يمكن للنموذج تجاوزه، حتى مع التصويت.
2. مفارقة الإجماع: تفترض نظرية المجموعات (Ensemble theory) أن الأخطاء مستقلة. ومع ذلك، فإن الضجيج العدائي يخلق تحيزاً منهجياً. عندما يتم تشويه المدخلات، من المرجح أن يفشل جميع الوكلاء في المجموعة بنفس الطريقة المحددة (على سبيل المثال، تفسير خطأ مطبعي على أنه كلمة أخرى). وبالتالي، فإن التصويت بالأغلبية يكرر الفشل المنهجي بدلاً من تخفيفه.

6. الأهمية والآثار المترتبة

• محدودية توسيع عدد الوكلاء: إن مجرد إضافة المزيد من الوكلاء (التوسع) ليس بديلاً لتحسين المتانة الجوهرية للنموذج الأساسي ضد الضجيج.
• مخاطر النشر: في المجالات الحساسة للسلامة (الطب، القانون، التمويل)، فإن الاعتماد على التصويت متعدد الوكلاء دون معالجة متانة التوكين (tokenization) للنموذج الأساسي يشكل خطراً جسيماً، حيث يمكن للأخطاء المطبعية البسيطة أن تسبب إخفاقات كارثية.
• الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على:
  • أخذ العينات والتجميع الواعي بالضجيج.
  • حواجز الحماية القائمة على التوكين المتين للرموز أو المعالجة المسبقة.
  • تعزيز التدريب (Augmentation) الذي يستهدف خصيصاً الأخطاء المطبعية الشبيهة بالبشر.

الخاتمة

تخلص الورقة إلى أنه بينما يعد التعاون متعدد الوكلاء أداة قوية لتعزيز الدقة في المسائل الرياضية النظيفة، فإنه يفشل في سد فجوة المتانة العدائية. يظل النظام عرضة للأخطاء المطبعية الشبيهة بالبشر بغض النظر عن عدد الوكلاء، مما يسلط الضوء على قصور جوهري في بنيات النماذج اللغوية الكبيرة الحالية فيما يتعلق بالرسم الإملائي غير القياسي.