🤖 AI

Cross-Entropy Games and Frost Training

تقدم هذه الورقة "تدريب فروست" (Frost Training)، وهي طريقة مبتكرة تستفيد من تدرجات دالة المكافأة في فضاء التضمين — التي استُخدمت سابقًا لكسر الحماية (jailbreaking) — لتسريع وتعزيز تحسين السياسة القائم على مونت كارلو لمهام "النموذج اللغوي الكبير كحَكَم" (LLM-as-a-judge)، مما يؤدي إلى مخرجات ذات درجات أعلى وتقارب أسرع في التدريب.

المؤلفون الأصليون: Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية كتابة قصة. تعطيه بداية جملة ونهايتها، وتطلب منه ملء الفراغ في المنتصف. تسمى هذه العملية "الملء الداخلي" (infilling).

عادةً، لتعليم الروبوت، تستخدم طريقة تسمى مونت كارلو (Monte Carlo). فكر في الأمر كأنها لعبة "خمن وتحقق":

يخمن الروبوت جزءًا من المنتصف.
يقوم معلم صارم (الـ "حكم") بقراءته وإعطائه درجة.
إذا كانت الدرجة جيدة، يتعلم الروبوت؛ وإذا كانت سيئة، يحاول مرة أخرى.
يستمر الروبوت في التخمين عشوائيًا حتى يحالفه الحظ في العثور على إجابة رائعة.

المشكلة هي أن هذه الطريقة بطيئة ومبذرة. قد يخمن الروبوت جملة سيئة للغاية، ويحصل على درجة منخفضة، ثم يخمن جملة أخرى سيئة للغاية، دون أن يدرك لماذا كانت سيئة أو كيف يصلحها بمجرد النظر إلى الدرجة.

الفكرة الجديدة: "تدريب فروست" (Frost Training)

يقترح مؤلفو هذه الورقة البحثية، من مختبرات "Xent Labs"، طريقة جديدة تسمى تدريب فروست (Frost Training). وقد أطلقوا عليها اسم "فروست" تيمناً بالشاعر روبرت فروست وقصيدته "الطريق الذي لم يُسلك" (The Road Not Taken). الفكرة هي استكشاف "الطرق التي لم تُسلك" من قبل الروبوت.

بدلاً من مجرد الانتظار حتى يخمن الروبوت إجابة جيدة، يستخدم تدريب فروست خدعة رياضية للنظر في "الجوار" لكل تخمين يقدمه الروبوت.

التشبيه: المتنزه الأعمى مقابل المرشد ذو البوصلة

التدريب القياسي (GRPO): تخيل متنزهاً أعمى يحاول الوصول إلى قمة جبل. يأخذ خطوة، ويتحسس ما إذا كانت الأرض أعلى، وإذا كانت كذلك، يستمر في التقدم. إذا تعثر في حفرة، يعود أدراجه. هو يعرف فقط ما يقع تحت قدميه في تلك اللحظة.
تدريب فروست: تخيل نفس المتنزه، لكنه يمتلك الآن بوصلة تشير قليلاً نحو الأعلى في كل اتجاه حوله. حتى لو كان المتنزه يقف في وادٍ، فإن البوصلة تخبره: "مهلاً، إذا تحركت خطوة واحدة إلى اليسار، ستكون في مكان أكثر ارتفاعاً".

في لغة الورقة البحثية، هذه "البوصلة" هي التدرج (gradient). ولأن "الحكم" (نظام تسجيل النقاط) هو نوع من أنواع الذكاء الاصطناعي الذي يستخدم الرياضيات (الإنتروبيا المتقاطعة - cross-entropy)، فإنه يمتلك بنية سلسة خفية. أدرك الباحثون أنه يمكنهم حساب إشارة "البوصلة" هذه لمعرفة كيف ستتغير الدرجة إذا قام الروبوت باستبدال كلمة واحدة فقط في جملته بكلمة أخرى.

كيف يعمل الأمر (خوارزمية Frost-GRPO)

إليك العملية خطوة بخ way مبسطة:

التخمين: يكتب الروبوت (الـ "لاعب") عدة أقسام مختلفة لمنتصف القصة.
مسح "ماذا لو": قبل أن يقوم المعلم حتى بتقييم إجابات الروبوت، يقوم نظام "فروست" بمسح سريع لكل كلمة في تلك الإجابات. ويسأل: "ماذا لو استبدلنا هذه الكلمة بتلك الكلمة؟"
- يستخدم النظام اختصاراً رياضياً سريعاً (توسيع تايلور - Taylor expansion) لتقدير درجة هذه النسخ الجديدة من نوع "ماذا لو" دون الحاجة لكتابتها بالكامل.
الاستبدال: إذا قالت الرياضيات: "استبدال هذه الكلمة سيجعل القصة أفضل بكثير"، فإن النظام يختار هذه النسخة الجديدة.
الاختبار الحقيقي: يقوم النظام بعد ذلك بسؤال المعلم الصارم لتقييم نسخ "ماذا لو" هذه للتأكد من صحة الحسابات الرياضية.
الترقية: إذا كانت نسخة "ماذا لو" أفضل بالفعل من تخمين الروبوت الأصلي، فإن النظام يستبدل تخمين الروبوت الأصلي بهذا الإصدار الأفضل.
التعلم: بعد ذلك، يتعلم الروبوت من هذا الإصدار المطور والأفضل.

لماذا هو أفضل (النتائج)

اختبرت الورقة البحثية هذه الطريقة في مهمة محددة: ملء النصوص المفقودة في القصص. وقارنوا طريقة "فروست" الجديدة بطريقة "GRPO" القياسية.

إيجاد القمة بشكل أسرع: في إعداد "أفضل من أصل لـ K" (Best-of-K) (حيث نبحث عن أفضل إجابة واحدة من بين محاولات عديدة)، وجد تدريب فروست إجابات ذات درجات أعلى بكثير وبسرعة أكبر. كان الأمر أشبه بالمتنزه ذي البوصلة الذي يجد قمة الجبل في نصف الوقت.
الحفاظ على الإبداع: غالباً ما يتسبب التدريب القياسي في جعل الروبوت "ينهار" (collapse). يصبح خائفاً من ارتكاب الأخطاء ويبدأ في تكرار نفس العبارات الآمنة والمملة. حافظ تدريب فروست على تنوع وإبداع إجابات الروبوت (الإنتروبيا العالية) مع الحفاظ على جودتها العالية في الوقت نفسه.
الكفاءة: أظهروا أن تدريب فروست يمكنه تحقيق نفس نتائج الطريقة القياسية ولكن بعدد أقل من "المرورات الأمامية" (forward passes) (أي الخطوات الحسابية)، أو نتائج أفضل بنفس القدر من القوة الحسابية.

الخلاصة

تزعم الورقة البحثية أنه بالنسبة لعائلة محددة من المهام تسمى ألعاب الإنتروبيا المتقاطعة (Cross-Entropy Games) (حيث تعتمد المكافأة على مدى احتمالية كون الجملة صحيحة)، ليس علينا الاعتماد على التخمين الأعمى فقط. فمن خلال استخدام إشارة "التدرج" الخفية (البوصلة) لاقتراح تغييرات صغيرة وذكية على تخمينات الروبوت قبل أن نقوم بتقييمها، يمكننا تدريب الروبوت على كتابة قصص أفضل وأكثر إبداعاً وبسرعة أكبر بكثير.

لقد أثبتوا ذلك من خلال إظهار أن طريقتهم، Frost-GRPO، تفوقت باستمرار على الطريقة القياسية في إيجاد إكمالات نصية ذات درجات أعلى مع الحفاظ على أسلوب كتابة الروبوت متنوعاً وطبيعياً.

ملخص تقني: تدريب فروست (Frost) وألعاب الإنتروبيا المتقاطعة (Cross-Entropy Games)

بيان المشكلة

يعتمد التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLMs) عادةً على طرق تحسين السياسة بنموذج مونت كارلو (مثل REINFORCE وPPO وGRPO). في هذه النماذج القياسية، يولد النموذج استجابة $y$ لمهمة معينة $x$ ، ويتلقى مكافأة عددية $R(x, y)$ ، ثم يقوم بتحديث معاملاته لإزاحة الكتلة الاحتمالية نحو المخرجات ذات الدرجات الأعلى.

يجادل المؤلفون بأنه بالنسبة لفئة محددة من المهام المعروفة باسم ألعاب الإنتروبيا المتقاطعة (Cross-Entropy Games)، فإن نهج مونت كارلو القياسي هذا يكون دون المستوى الأمثل لأنه يتجاهل البنية القابلة للتفاضل الضمنية لدالة المكافأة. في ألعاب الإنتروبيا المتقاطعة، تُشتق المكافأة من خسارة الإنتروبيا المتقاطعة لنموذج لغوي كبير يعمل كـ "حكم". وبينما تكون مساحة المخرات (تسلسلات الرموز/Tokens) منفصلة، فإن مساحة التضمين (Embedding space) الأساسية مستمرة وقابلة للتفاضل. تتعامل طرق التعلم المعزز القياسية مع المكافأة كصندوق أسود، بينما يفترض هذا البحث أن تدرج (Gradient) المكافأة بالنسبة لتضمينات الرموز يحتوي على معلومات يمكن استغلالها لتسريع التدريب وتحسين جودة المخرجات.

المنهجية: تدريب فروست (Frost Training)

المساهمة الجوهرية هي تدريب فروست، وهو أسلوب يستفيد من تدرج دالة المكافأة في مساحة التضمين لاقتراح واختيار "حركات بديلة" (طفرات/Mutations) لم يقم النموذج بعينات منها بنفسه. يتم دمج هذا النهج في خوارزمية GRPO (تحسين السياسة النسبي للمجموعات)، مما ينتج عنه Frost-GRPO.

1. الأساس النظري: البنية القابلة للتفاضل

بالنسبة للعبة الإنتروبيا المتقاطعة، تُعرف المكافأة $R$ بأنها سالب الإنتروبيا المتقاطعة لنموذج لغوي حكم. يثبت المؤلفون أن دالة المكافأة تمتلك بنية ضمنية قابلة للتفاضل. وتحديداً، يمكن تقريب مكافأة تسلسل من الرموز باستخدام توسع تايلور من الدرجة الأولى في مساحة التضمين بنظام (one-hot).

بفرض وجود حركة عينة $y$ وطفرة رمز محتملة $\tilde{y}$ عند موضع محدد، يمكن تقريب المكافأة $R(\tilde{y})$ كما يلي:
$R(\tilde{y}) \approx R(y) + \nabla_{e_y} R(y) \cdot (e_{\tilde{y}} - e_y)$
حيث $e_y$ هو تضمين الرمز. يسمح هذا للنظام بتقدير درجات جميع الطفرات الممكنة للرمز الواحد ( $V$ ) لكل موضع في التسلسل المأخوذ عبر تمريرة خلفية واحدة (Single backward pass) عبر دالة المكافأة، بدلاً من الحاجة إلى تمريرات أمامية مكلفة لكل مرشح.

2. خوارزمية Frost-GRPO

تقوم خوارزمية Frost-GRPO بتعديل خطوة تحديث GRPO القياسية عن طريق إدراج مرحلة "الطفرة والاستبدال" بين مرحلتي أخذ العينات وتحديث التدرج:

أخذ العينات (Sampling): تقوم السياسة $\pi_\theta$ بأخذ عينات من $K$ من الحركات داخل السياسة (on-policy) $\{y_k\}$ لمطالبة (Prompt) معينة.
التقريب (مقترح Frost): لكل حركة مأخوذة (الأصل)، تحسب الخوارزمية الدرجات التقريبية لجميع طفرات الرمز الواحد الممكنة (الأبناء) باستخدام توسع تايلور المستمد من تدرج المكافأة.
الاختيار (Selection):
- يتم تطبيق بوابة احتمالية: حيث تُعتبر فقط المرشحات التي يكون فيها احتمال السياسة $\pi_\theta(v | \dots) > \tau$ .
- يتم اختيار أفضل $D$ من المرشحات ذات أعلى درجات مقدرة.
التحقق (استبدال Frost): يتم حساب المكافأة الدقيقة لهذه الـ $D$ من المرشحات عبر تمريرة أمامية (Forward pass).
الاستبدال: إذا كانت الدرجة الدقيقة للمرشح تتجاوز درجة الأصل بشكل صارم، يتم استبدال الأصل بأعلى طفل صالح من حيث الدرجة.
التحديث: يتم إجراء حساب الميزة (Advantage) القياسي لـ GRPSO وتحديث السياسة باستخدام هذه "مجموعة فروست" الجديدة المكونة من $K$ من الحركات.

تم تسمية الطريقة "فروست" تيمناً بقصيدة روبرت فروست The Road Not Taken، ترمز إلى استكشاف الحركات التي لم يسلكها النموذج في الأصل.

المساهمات الرئيسية

استغلال تدرجات المكافأة: يثبت البحث لأول مرة أن إشارة التدرج المستخدمة في تقنيات اختراق الحماية (تحديداً Greedy Coordinate Gradient أو GCG) يمكن إعادة توظيفها لـ تعزيز تدريب النموذج بدلاً من مجرد مهاجمته.
خوارزمية Frost-GRPO: تنفيذ ملموس يدمج مقترحات الطفرة القائمة على التدرج في إطار عمل GRPO. يستخدم التدرجات لاقتراح التعديلات وتقييمات المكافأة الدقيقة لتصفيتها، مما يضمن أن التحديث النهائي يظل مرتكزاً على تحسينات تم التحقق منها.
التحقق التجريبي على مهمة الإكمال (Infilling): يتحقق المؤلفون من الطريقة باستخدام مهمة إكمال تعظيم الاحتمال (Maximum-likelihood infilling task) (وهي لعبة إنتروبيا متقاطعة محددة)، حيث تظهر Frost-GRPO قدرة على تحقيق درجات قصوى أعلى وتقارب أسرع مقارنة بـ Vanilla GRPO.

النتائج التجريبية

أُجريت التجارب باستخدام Qwen3-14B كلاعب (سياسة) وكحكم في آن واحد. تضمنت المهمة إكمال فجوة نصية بطول $L=8$ رموز مع إعطاء سياق بداية ونهاية.

تحليل قاعدة الاختيار

قبل التدريب الكامل، حلل المؤلفون فعالية قاعدة الاختيار (كيفية اختيار الـ $D$ من المرشحات).

Taylor-Gated (باستخدام تقريب التدرج مع بوابة احتمالية) تفوق بشكل كبير على الاختيار العشوائي (Random)، وTopProb (الأولوية للسياسة فقط)، وun-gated Taylor selection.
وفر مصطلح "Taylor" (إشارة التدرج) إشارة غير ضئيلة تفوقت على أولوية السياسة نفسها، مما يؤكد فائدة تدرج الحكم.

أداء التدريب (الإعداد القياسي)

بمقارنة Frost-GRPO ( $K=4, D=4$ ) مع Vanilla GRPO ( $K=8$ ) مع مطابقة الميزانيات الحسابية (8 تمريرات أمامية للحكم لكل خطوة):

درجات Best-of-K: حققت Frost-GRPO باستمرار درجات "Best-of-8" أعلى طوال فترة التدريب. وقد ترسخت هذه الفجوة مبكراً واستمرت.
الاستقرار: أظهرت Frost-GRPO تبايناً أقل بكثير بين البذور (Seed-to-seed variance) مقارنة بـ GRPO.
التنوع: بينما انخفضت إنتروبيا الرموز وتباين الدرجات في GRPO بشكل حاد (مما يشير إلى الانهيار إلى مجموعة ضيقة من الإكمالات)، حافظت Frost-GRPO على إنتروبيا وتباين أعلى، مما يشير إلى أنها تحافظ على التنوع مع تحسين الجودة.
التقارب: وصلت Frost-GRPO إلى مخرجات عالية الدرجة بشكل أسرع. أظهر التحليل النوعي أن GRPO غالباً ما يعلق في مرحلة "الأمثل المحلي" (تكرار النص المدخل) قبل الهروب منها، بينما صعدت Frost-GRPO نحو محتوى ثابت بشكل أسرع بكثير.

المتانة (Robustness)

كانت ميزة Frost-GRPO ثابتة عبر أطوال الحركة المختلفة ( $L \in \{4, 8, 12\}$ ) وأحجام المجموعات. يشير المؤلفون إلى أن Frost-GRPO عند حجم المجموعة $K$ تضاهي أو تتفوق على Vanilla GRPO عند حجم المجموعة $2K$ من حيث مسارات Best-of-K، مما يعني فعلياً مقايضة تمريرة خلفية واحدة للحكم بمضاعفة فعالة لحجم المجموعة داخل السياسة.

الأهمية والادعاءات

يدعي البحث أن ألعاب الإنتروبيا المتقاطعة تمثل فئة فريدة من المهام حيث يمكن تسخير البنية القابلة للتفاضل لدالة المكافأة لتحسين تحسين سياسة مونت كارلو.

ما وراء التعلم المعزز "الصندوق الأسود": يتحدى هذا العمل نموذج التعلم المعزز القياسي الذي يعامل المكافآت كصناديق سوداء، ويظهر كيف يمكن استخدام المعلومات من الدرجة الأولى (التدرجات) لاقتراح تعديلات عالية القيمة يتم التحقق منها لاحقاً.
الكفاءة والجودة: يتيح تدريب Frost للنماذج توليد مخرجات أعلى درجة بشكل أسرع وأكثر استقراراً من GRPO القياسي، دون الحاجة إلى زيادة هائلة في الحوسبة (فهي تقايض تمريرة خلفية رخيصة بمكسب كبير في جودة العينات).
الحفاظ على التنوع: بخلاف طرق تدرج السياسة القياسية التي قد تؤدي إلى انهيار الإنتروبيا، تحافظ Frost-GRPO على إنتروبيا رموز وتباين درجات أعلى، مما يقترح مساراً واعداً لتدريب نماذج لغوية كبيرة تكون قوية ومتنوعة، مما قد يساعد في التعميم خارج نطاق التوزيع (Out-of-distribution generalization).

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أنه بينما كانت الإشارة واضحة في مهام الإكمال، فإن هناك حاجة لمزيد من التحقق لخوارزميات التدريب الأخرى، والنماذج الأكبر (بما في ذلك نماذج Mixture-of-Experts - MoE)، وأنواع أخرى من ألعاب الإنتروبيا المتقاطعة.