🤖 AI

Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning

يُعد Seirênes إطار عمل للتعلم التعزيزي القائم على اللعب الذاتي التنافسي، والذي يعزز متانة الاستنتاج في النماذج اللغوية الكبيرة عبر تدريب نموذج واحد على توليد سياقات مشتتة وحل المشكلات ضمنها في آن واحد، مما يحول التداخل السياقي إلى منهج تعليمي تطوري مشترك يعمل على تحسين الأداء عبر مختلف المعايير المرجعية وكشف نقاط الضعف في النماذج الأخرى.

المؤلفون الأصليون: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

نُشر 2026-05-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب طالب عبقري ولكنه ساذج قليلاً على حل الألغاز الرياضية المعقدة. عادةً، أنت تعطيه مسائل نظيفة ومثالية لا تحتوي على أي مشتتات. يصبح الطالب جيداً في حل تلك الألغاز المحددة، ولكن إذا أدخلت القليل من المعلومات المربكة في السؤال، فقد يقع في الفخ ويفشل.

تقدم الورقة البحثية طريقة تدريب جديدة تسمى Seirênes (تيمناً بـ "سيرينات" من الأساطير اليونانية، وهي الكائنات التي كانت تغني أغانٍ جميلة لتغوي البحارة وتخرجهم عن مسارهم). بدلاً من مجرد إعطاء الطالب مسائل أصعب، تحول Seirênes الطالب إلى شخصين مختلفين يلعبان لعبة ضد بعضهما البعض داخل نفس العقل.

إليك كيف تعمل اللعبة، باستخدام تشبيهات بسيطة:

الدورين

يلعب نموذج الذكاء الاصطعي دورين في آن واحد:

المخادع (الخصم): يحاول هذا الدور كتابة مسألة رياضية تبدو طبيعية ولكنها تتضمن "فخاً". الفخ ليس مجرد هراء عشوائي؛ بل هو تلميح ذكي يبدو منطقياً للوهلة الأولى، لكنه يقود الحلّال نحو المسار الخاطئ. فكر في الأمر كساحر يعطيك دليلاً يبدو منطقياً تقريباً، ولكنه في الواقع يشتت انتباهك عن الحل الحقيقي.
الحلّال (المستنتج): يحاول هذا الدور حل المسألة الرياضية، حتى عندما يضيف "المخادع" تلميحاً مربكاً. يجب على "الحلّال" تجاهل "الضجيج" وإيجاد المنطق الحقيقي الكامن تحته.

حلقة التدريب: دورة التحسين الذاتي

في التدريب التقليدي، قد تعطي الطالب المزيد من مسائل التدريب فقط. أما في Seirênes، فالأمر عبارة عن سباق تسلح مستمر:

الخطوة 1: ينظر المخادع إلى مسألة ما ويحاول ابتكار تلميح مضلل من شأنه أن يربك الحلّال.
الخطوة 2: يحاول الحلّال حل المسألة الرياضية مع وجود ذلك التلميح المضلل.
الخطوة 3: إذا وقع "الحلّال" في الفخ، يحصل "المخادع" على "مكافأة" (نقاط) لكونه ذكياً. أما إذا تجاهل "الحلّال" الفخ وحل المسألة بشكل صحيح، فإنه هو من يحصل على المكافأة.
الخطوة 4: يتعلم النموذج من هذا. يصبح "الحلّال" أفضل في اكتشاف الفخاخ، ويصبح "المخادع" أفضل في ابتكار فخاخ جديدة وأكثر صعوبة.

بما أنهم نفس النموذج الذي يلعب كلا الجانبين، فإنهم يتطورون معاً. ومع زيادة ذكاء "الحلّال"، يجب على "المخادع" أن يصبح أكثر ذكاءً لمواكبته، مما يجبر "الحلّال" على أن يصبح أكثر قوة ومتانة.

لماذا هذا الأمر مهم؟

وجدت الأبحاث أن نماذج الذكاء الاصطناي القياسية غالباً ما تكون "هشة". يمكنها حل مسألة رياضية بشكل مثالي في بيئة نظيفة، ولكن إذا أضفت جملة غير ذات صلة أو مضللة قليلاً، فإن أداءها ينخفض بشكل كبير. إنها تميل إلى اتباع أنماط سطحية بدلاً من المنطق العميق.

تعالج Seirênes هذه المشكلة من خلال إجبار النموذج على التدرب على تجاهل المشتتات. الأمر يشبه تدريب مقاتل ليس فقط عبر قتال خصم مثالي، بل عبر قتال خصم يحاول عرقلته، أو تشتيت انتباهه، أو إرباكه بحركات زائفة.

النتائج

اختبر الباحثون هذه الطريقة على عدة اختبارات معيارية رياضية صعبة (مثل مسابقات الرياضيات رفيعة المستوى). ووجدوا أن:

استنتاج أقوى: النماذج التي تم تدريبها باستخدام Seirênes أصبحت أفضل بكثير في حل المسائل الرياضية بمفردها، حتى بدون وجود خدع. لقد تحسنت بنسبة تتراوح بين 7 إلى 10 نقاط مئوية مقارنة بطرق التدريب القياسية.
دفاع أفضل: أصبحت النماذج أصعب في الخداع. وعند اختبارها مع معلومات مربكة، لم تنهار بسهء كما تفعل النماذج الأخرى.
ضعف عالمي: ومن المثير للاهتمام، أن "المخادع" الذي تم تدريبه بواسطة نموذج صغير (بـ 4 مليارات معلمة) كان قادراً على إرباك أقوى نماذج الذكاء الاصطناي المغلقة والمتاحة للجمهور (مثل GPT وGemini)، حيث قلل دقتها بنحو 4 إلى 5 نقاط. وهذا يثبت أن الطريقة قد وجدت "نقاط ضعف" حقيقية في كيفية تفكير هذه النماذج.

الخلا الخلاصة

Seirênes هي وسيلة لجعل الذكاء الاصطناعي أكثر ذكاءً من خلال تعليمه كيفية التعامل مع عالم فوضوي ومشتت. بدلاً من مجرد حفظ الإجابات لأسئلة نظيفة، يتعلم الذكاء الاصطناي البحث بعمق عن الحقيقة، حتى عندما يحاول شخص ما تضليله. إنها تحول نقطة الضعف (سهولة التشتت) إلى أداة تدريب لبناء مستنتج أقوى وأكثر موثوقية.

ملخص تقني: Seirênes

بيان المشكلة

بينما أدى التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) إلى تقدم كبير في قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs)، إلا أن هذه النماذج تظهر هشاشة حرجة: الهشاشة السياقية (contextual brittleness). فالمستنتجات القوية غالبًا ما تفشل عند مواجهة سياقات غير مثالية تتميز بمعلومات فائضة، أو تعليمات جانبية، أو ارتباطات عرضية. وتشير الأدلة السابقة إلى أن إعادة الصياغة الهيكلية للمسائل الرياضية يمكن أن تقلل الدقة بنسبة تتراوح بين 27-31%، وأن عمليات الاسترجاع غير ذات الصلة يمكن أن تخفض الأداء من 96% إلى 65%. تركز أطر العمل المعتمدة على اللعب الذاتي (self-play) الحالية عادةً على التطور المشترك لتوليد المهام أو التحقق من الحلول، تاركةً المهمة الأساسية ثابتة، مما يفشل في معالجة هشاشة عملية الاستنتاج عندما يتم إزعاج السياق المحيط بالمهمة.

المنهجية: إطار عمل Seirênes

يقترح المؤلفون Seirênes، وهو إطار عمل للتعلم المعزز باللعب الذاتي يحول التداخل السياقي من نمط فشل إلى إشارة تدريب داخلية. يستخدم النظام حلقة لعب ذاتي تنافسية مشتركة المعلمات حيث يلعب نموذج واحد دورين متميزين:

المُنافس (The Adversary): يولد تلميحات سياقية مقنعة ولكنها مضللة (مشتتات) مصممة لعرقلة مسار الاستنتاج.
المستنتج (The Reasoner): يحاول حل المشكلة الأصلية من خلال تمييز المهمة الجوهرية من هذه الاضطرابات واستعادة المنطق الأساسي.

الآلية الجوهرية

يعمل إطار العمل على سياسة واحدة مشتركة المعلمات ( $\pi_\theta$ ) مشروطة بـ "مطالبات الأدوار" (role prompts). لكل سؤال تدريبي $q$ ، ينفذ النظام حزمة تدفق مكونة من ثلاث مراحل:

R1 (التدفق النظيف): يقوم المستنتج بحل $q$ دون تدخل لتحديد معدل النجاح المرجعي ( $\hat{p}(q)$ ).
R2 (توليد التلميحات التنافسية): يقوم المُنافس بتوليد مرشحي تلميحات $G_2$ ( $h_k$ ) تهدف إلى أن تكون طبيعية ولكن مضللة.
R3 (التدفق المشروط بالتلميح): يحاول المستنتج حل $q \oplus h_k$ (السؤال المعزز بالتلميح).

إشارات التدريب والتحديثات

يستخدم إطار العمل تحسين السياسة النسبي للمجموعات (GRPO) مع تدفقات تحديث متميزة لكل دور للحفاظ على دلالات الائتمان (credit semantics):

مكافأة المُنافس: يُكافأ المُنافس بناءً على انخفاض الأداء الذي يسببه. تُعرف المكافة بأنها الفرق بين معدل النجاح النظيف ومعدل النجاح المشروط بالتلميح: $\hat{R}_{Adv} = \hat{p}(q) - \hat{p}(q, h_k)$ . هذه الصيغة تحد المكافأة بشكل طبيعي وتركز التعلم على الأسئلة ذات "النقطة المثالية" حيث يمكن للنموذج حل المشكلة النظيفة ولكنه يفشل تحت تأثير التشتيت المحدد.
مكافأة المستنتج: يتم تدريب المستنتج على كل من المسارات النظيفة (للحفاظ على القدرات الأساسية) والمسارات المشروطة بالتلميح (لتعلم المتانة).
التنسيق (Orchestration): لإدارة التكلفة الحسابية لحلقة المراحل الثلاث، يستخدم Seirênes طوابير انتظار محددة لكل تدفق ومخازن مؤقتة FIFO محدودة. يعمل هذا على فصل تدفقات التحديث، مما يسمح بمعالجة التدرجات الناتجة عن الاستنتاج النظيف، والتوليد التنافسي، واستعادة المتانة بشكل غير متزامن دون تداخل. بالإضافة إلى ذلك، تعمل آلية أخذ العينات المدركة للإتقان (mastery-aware sampling) على خفض أولوية الأسئلة التي أتقنها النموذج في كل من الظروف النظيفة والتنافسية لتقليل الحوسبة الضائعة.

المساهمات الرئيسية

إطار عمل التطور المشترك التنافسي: تقديم Seirênes، وهو نظام لعب ذاتي حيث يتطور نموذج واحد تنافسيًا كـ "مُنافس" (يولد تلميحات مضللة) و"مستنتج" (يتعافى منها)، محولاً الهشاشة السياقية إلى منهج تعليمي تكيفي.
تصميم مشترك المعلمات: بنية مبتكرة تتيح التدريب الشامل (end-to-end) للحلقة التنافسية باستخدام سياسة واحدة، تتمايز فقط من خلال شرط الدور، مدمجة مع إشارات مكافأة خاصة بكل دور واستراتيجيات تنسيق فعالة.
التحقق التجريبي: تجارب مكثفة تظهر تحسينات مستمرة على معايير الاستنتاج الرياضي القياسية عبر سبعة اختبارات، وبأحجام نماذج تتراوح من 4 مليار إلى 30 مليار معلمة.

النتائج التجريبية

يقيّم البحث Seirênes على سبعة معايير (AIME 2024–2026، IMO-Bench، Minerva Math، OlympiadBench، HMMT 2026) باستخدام نماذج خلفية من نوع Qwen2.5-7B، Qwen3-4B، وQwen3-30B.

مكاسب الأداء: يحقق Seirênes تحسينات متوسطة قدرها +10.2، +9.1، و**+7.2** نقطة فوق النماذج المضبطة بالتعليمات (instruction-tuned baselines) للنماذج 4B و7B و30B على التوالي.
المتانة: تظهر النماذج المدربة باستخدام Seirênes متانة فائقة ضد الاضطرابات الهيكلية (Math-Perturb) والمشتتات المولدة (GSMIR، MMLU-Perturb)، حيث تظهر انخفاضًا أقل في الدقة مقارنة بنماذج التلميحات التعاونية.
قدرة الهجوم عبر النماذج: التلميحات التنافسية التي ولدها نموذج Seirênes (4B) تضعف بشكل كبير أداء النماذج المغلقة رفيعة المستوى (GPT-5.1 وGemini 3 Flash)، مما يقلل دقتها بنحو 4-5 نقاط في المتوسط. يشير هذا إلى أن التشتيتات المتعلمة تستهدف عيوب الاستنتاج الجوهرية بدلاً من الخصائص النوعية للنموذج.
دراسات الاستئصال (Ablation Studies):
- التحكم في الميزانية: المكاسب ليست مجرد نتيجة لزيادة الحوسبة؛ إذ يتفوق Seirênes على خط الأساس DAPO (المطابق في عدد التدفقات) مع وقت تشغيل متساوٍ.
- الاستاتيكي مقابل المتطور: التلميحات الاستاتيكية (المولدة مسبقًا) تصل إلى مرحلة الثبات في الفعالية مع تعلم النموذج كيفية تجاوزها، بينما يحافظ التوزيع التنافسي المتطور في Seirênes على ضغط مستدام ودقة نهائية أعلى.

الأهمية والادعاءات

يدعي المؤلفون أن Seirênes يمثل تحولاً من تحسين النماذج عبر مسارات ثابتة إلى المشاركة النشطة في توليد التحديات التي تدفع التحسين المستمر. ومن خلال التعامل مع التداخل السياقي ليس فقط كاختبار جهد بل كإشارة تدريب بناءة، يرسخ إطار العمل قدرات النموذج في الاستنتاج الجوهري المتين بدلاً من مطابقة الأنماط السطحية.

يؤكد البحث أن Seirênes يعدل فقط سياق المدخلات، تاركاً المهمة الأساسية، والمتحقق (verifier)، وواجهة وقت الاختبار دون تغيير. وبالتالي، يتم تحسين النموذج الناتج ليكون مستنتجاً مستقلاً أقوى وليس مجرد وحدة متخصصة في المتانة. ويشير العمل إلى أن "إغواء" التلميحات المقنعة ولكن المضللة (التي تستحضر أسطورة السيرينات اليونانية) يمكن تسخيره لإجبار النماذج على تجاوز اختصارات الاستنتاج الهشة، مما يحسن مرونتها في السيناريوهات الواقعية التي تعاني من معلومات مشوشة أو مشتتة.