🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

تقدم هذه الورقة "التدريب المتوافق مع الحوسبة" (Compute Aligned Training)، وهو إطار عمل مبتكر يعمل على مواءمة أهداف التدريب للنماذج اللغوية الكبيرة مع استراتيجيات الاستدلال في وقت الاختبار عبر اشتقاق دوال خسارة جديدة، مما يؤدي إلى تحسين توسع الأداء بشكل كبير مقارنة بأساليب الضبط الدقيق الموجه للتعليمات (SFT) والتعلم المعزز (RL) القياسية.

المؤلفون الأصليون: Adam Ousherovitch, Ambuj Tewari

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Adam Ousherovitch, Ambuj Tewari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب طالب من أجل امتحان نهائي محدد للغاية.

الطريقة القديمة (التدريب القياسي):
تقليديًا، عندما نعلم نماذج الذكاء الاصطناعي (مثل تلك التي تكتب المقالات أو تحل المسائل الرياضية)، فإننا نتصرف كمعلم صارم يصحح كل واجب منزلي بشكل فردي. إذا أجاب الطالب بشكل صحيح، نقول له "أحسنت!"، وإذا أخطأ، نقول له "حاول مرة أخرى". نحن نريد من الطالب أن يكون مثاليًا في الحصول على الإجابة الأولى الصحيحة في كل مرة.

المشكلة هي أن هذا لا يهيئهم للاختبار الحقيقي. في العالم الحقيقي، لا نطلب من النموذج إجابة واحدة فقط؛ بل نطلب منه توليد إجابات عديدة (مثل طلب كتابة 10 مسودات مختلفة لمقال من طالب) ثم نختار الأفضل منها، أو نصوت على الإجابة الأكثر شيوعًا.

إذا دربت طالبًا ليكون مثاليًا في المسودة الأولى، فقد يصبح واثقًا جدًا من نفسه ويتوقف عن استكشاف أفكار جديدة. قد يعلق في طريقة تفكير "آمنة". وعندما تطلب منه توليد 10 مسودات لاحقًا، قد يكتب فقط 10 نسخ مختلفة قليلاً عن نفس الإجابة "الآمنة"، ولن تكون أي منها هي الحل العبقري والمبدع الذي كنت تحتاجه.

الطريقة الجديدة (التدريب المتوافق مع الحوسبة - CAT):
يقترح مؤلفو هذه الورقة البحثية طريقة تدريب جديدة تسمى التدريب المتوافق مع الحوسبة (Compute Aligned Training - CAT). بدلاً من تقييم الطالب بناءً على واجب منزلي واحد، يتم تقييمه بناءً على مدى جودة أدائه في شكل الامتحان الفعلي.

إليك كيف يعمل ذلك، باستخدام بعض التشبيهات:

1. تشبيه "Pass@N" (تذكرة اليانصيب)

تخيل أن الامتحان يسمح لك بشراء N من تذاكر اليانصيب (لنقل 64 تذكرة) لسؤال واحد. أنت تفوز إذا كانت أي من تذاكرك الـ 64 هي الرقم الفائز.

التدريب القياسي: إذا كان لدى الطالب بالفعل فرصة 50% للفوز بتذكرة واحدة، يستمر المعلم في دفعه للوصول إلى 90% أو 99%. لكن في يانصيب مكون من 64 تذكرة، بمجرد امتلاكك لفرصة 50%، فإن شراء المزيد من التذاكر يضمن الفوز على أي حال. هنا يستهلك المعلم طاقة في محاولة جعل طالب "جيد" يصبح "مثاليًا" في سؤال سهل، بينما يتجاهل الأسئلة الصعبة حيث يمتلك الطالب فرصة 1% فقط.
تدريب CAT: يدرك المعلم قائلًا: "مهلًا، هذا الطالب من المرجح أن يفوز بـ 64 تذكرة بالفعل. سأتوقف عن تقييم هذا السؤال السهل بقوة شديدة". بدلاً من ذلك، يركز كل طاقته على الأسئلة الصعبة حيث يفشل الطالب حاليًا. إنه يعلم الطالب كيف يوزع فرص نجاحه، لضمان أن تكون واحدة على الأقل من التذاكر الـ 64 هي الفائزة، بدلاً من محاولة جعل تذكرة واحدة محددة مثالية.

2. تشبيه "تصويت الأغلبية" (الانتخابات)

تخيل أن الامتحان يطلب من النموذج توليد 10 إجابات، وتقوم الفئة بالتصويت على الإجابة الأكثر شعبية.

التدريب القياسي: يحاول المعلم جعل إجابة الطالب الأولى هي الأكثر شعبية حتى لو كانت تفوز بالفعل بفارق ساحق. هذا يشبه المرشح الذي يفوز بالفعل بـ 90% من الأصوات؛ يستمر المعلم في إخباره بأن يحمل حملة انتخابية أقوى، وهو أمر مضيعة للوقت.
تدريب CAT: ينظر المعلم إلى "نقطة التحول". إذا كانت إجابة الطالب تخسر حاليًا بفارق ضئيل، فإنه يمنحه دفعة كبيرة لمساعدته على تجاوز خط النهاية. أما إذا كان الطالب فائزًا بارتياح، فإن المعلم يتوقف عن إعطائه نقاطًا إضافية. هذا يجبر النموذج على التركيز على أسئلة "المناطق المتنازع عليها" حيث يمكن لجهد إضافي بسيط أن يقلب نتيجة التصويت.

3. تشبيه "أفضل X من N" (عرض المواهب)

تخيل أن النموذج يولد 10 أغاني، وأنت تحتفظ بأفضل أغنية واحدة فقط.

التدريب القياسي: يحاول المعلم جعل متوسط الأغاني يبدو جيدًا. يؤدي هذا إلى موسيقى "متوسطة" آمنة ومملة، ليست سيئة أبدًا، ولكنها ليست مذهلة أيضًا.
تدريب CAT: يخبر المعلم النموذج: "لا بأس إذا كانت 9 من أغانيك سيئة، طالما أن الأغنية العاشرة هي تحفة فنية". هذا يشجع النموذج على المخاطرة وتجربة أفكار غريبة وذات تباين عالٍ. يتعلم النموذج إنتاج مجموعة متنوعة من المخرجات، مدركًا أن عملية "البحث" (اختيار الأفضل) ستقوم بتصفية الإخفاقات والاحتفاظ بالفائز.

ماذا فعلوا حقًا؟

اختبر الباحثون هذه الفكرة بثلاث طرق محددة:

المسائل الرياضية: قاموا بتدريب نماذج الذكاء الاصطناعي لحل المسائل الرياضية. عندما استخدموا CAT لإعداد النماذج لعملية "Pass@N" (توليد إجابات عديدة واختيار الصحيحة منها)، أصبحت النماذج أفضل بكثير في حل المسائل الصعبة مقارنة بالطريقة القياسية.
التصويت: قاموا بتدريب النماذج لتوليد إجابات لعملية "تصويت الأغلبية". ومرة أخرى، أدت نماذج CAT أداءً أفضل عند تطبيق استراتيجية التصويت.
تصميم البروتينات: حتى أنهم اختبروا هذا على نوع مختلف تمامًا من الذكاء الاصطناعي يصمم البروتينات (لبنات بناء الحياة). في سيناريو كان على الذكاء الاصطناعي فيه العثور على بنية بروتينية نادرة وعالية الجودة من بين العديد من البنيات السيئة، كانت نماذج CAT المدربة بطريقة CAT أفضل بكثير في العثور على "الجائزة الكبرى" (البروتين المثالي) مقارنة بالنماذج القياسية.

الخلاصة

تجادل الورقة البحثية بأن طريقة تدريب النموذج يجب أن تتوافق مع طريقة استخدامه.

إذا كنت تخطط لاستخدام النموذج لتوليد خيارات عديدة واختيار الأفضل منها، فلا ينبغي تدريبه ليكون مثاليًا من المحاولة الأولى. بل يجب تدريبه ليكون جيدًا في إنشاء مجموعة من الخيارات التي من المرجح العثور فيها على الأفضل.

إنهم يسمون هذا "التدريب المتوافق مع الحوسبة" لأنهم يوفقون بين عملية التدريب وبين "الحوسبة" (قوة التفكير الإضافية) المستخدمة وقت الاختبار. إنها طريقة للحصول على نتائج أفضل دون الحاجة إلى أجهزة كمبيوتر أقوى أو وقت تدريب أطول؛ أنت فقط تغير قواعد اللعبة لتتطابق مع واقع كيفية استخدام النموذج.

إليك ملخص تقني مفصل لورقة البحث "Compute Aligned Training: Optimizing for Test Time Inference" من إعداد أوشيروفيتش وتيواري.

1. بيان المشكلة: عدم التوافق بين التدريب والاستنتاج

تتناول الورقة فجوة جوهرية في تطوير النماذج اللغوية الكبيرة (LLMs) الحديثة: أهداف التدريب مُحسّنة لأداء العينة الواحدة، بينما يعتمد النشر بشكل متزايد على استراتيجيات حساب وقت الاختبار (البحث/Search).

الوضع الراهن: طرق ما بعد التدريب القياسية مثل الضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز (RL) تُحسّن احتمالية مخرج واحد صحيح (على سبيل المثال، تقليل الإنتروبيا المتقاطعة أو تعظيم المكافأة المتوقعة لعينة واحدة).
الصراع: استراتيجيات الاستنتاج الحديثة (مثل Pass@N، والتصويت بالأغلبية/Majority Vote، والأفضل من N/Best-of-N) تولد عدة حلول مرشحة وتجمع بينها لإيجاد الإجابة الأفضل.
- مثال (Pass@N): إذا كان لدى النموذج فرصة بنسبة 50% ليكون صحيحاً، فإن رفعها إلى 90% يعطي عوائد متناقصة لمقياس Pass@100 (حيث النجاح مضمون بالفعل تقريباً). ومع ذلك، يستمر التدريب القياسي في الدفع نحو احتمالية 100%، مما يهدر القدرة على العينات "السهلة".
- مثال (التصويت بالأغلبية): يحتاج النموذج فقط إلى أغلبية (مثلاً 35% احتمال) ليتفوق على المنافسين. التدريب القياسي يدفع نحو $p \to 1.0$ ، مما يشجع على "الانتصارات الساحقة" بدلاً من الإجماع القوي، وهو ما قد يؤدي إلى تدهور الأداء عندما يُجبر النموذج على العمل كـ "مجموعة" (Ensemble).
النتيجة: يتسبب هذا عدم التوافق في انهيار السياسة (تقليل التنوع) ويمنع النماذج من الاستففادة بفعالية من ميزانيات الحساب المتزايدة في وقت الاختبار.

2. المنهجية: التدريب المتوافق مع الحساب (CAT)

يقترح المؤلفون التدريب المتوافق مع الحساب (Compute Aligned Training - CAT)، وهو إطار عمل يعمل على مواءمة أهداف التدريب مع استراتيجية الاستنتاج المستخدمة في وقت الاختبار.

التصور المفاهيمي الأساسي

يصور المؤلفون استراتيجيات الاستنتاج ليس كخوارزميات لاحقة (Heuristics)، بل كـ عوامل قابلة للتفاضل ( $T$ ) تحول السياسة الأساسية $\pi_\theta$ إلى توزيع فعال لوقت الاختبار $\tilde{\pi}_\theta$ :
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
حيث تمثل $\phi$ المعلمات الفائقة (Hyperparameters) (مثل ميزانية العينات $N$ ).

دالة الخسارة الموحدة

بدلاً من تقليل السلب للوغاريتم الاحتمالي (Negative Log-Likelihood) للحقيقة الأرضية تحت السياسة الأساسية ( $\pi_\theta$ )، يقوم CAT بتقليل الخسارة تحت السياسة الفعالة على مستوى النظام ( $\tilde{\pi}_\theta$ ):
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

آلية قياس التدرج (Gradient Scaling)

لجعل هذا الأمر ممكناً حوسبياً دون أخذ عينات من كامل فضاء المخرجات، اشتق المؤلفون تقريباً قطرياً للتدرج. لقد أظهروا أن تدرج هدف CAT يمكن تقريبه عن طريق قياس التدرج القياسي بمعامل وزن $w(p, \phi)$ :
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
هنا، $p$ هو الاحتمال الأساسي للإجابة الصحيحة، و $w$ يمثل المنفعة الحدية لزيادة $p$ بالنسبة لاستراتيجية وقت الاختبار.

عوامل القياس الرئيسية المستمدة:

Pass@N (SFT & RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- السلوك: يقلل التدرجات للعينات السهلة (ذات $p$ العالية) حيث النجاح مضمون بالفعل، ويركز التعلم على العينات "الصعبة" حيث تحسن المكاسب الحدية التغطية.
التصويت بالأغلبية (SFT & RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- السلوك: يركز كتلة التدرج بالقرب من عتبة الإجماع ( $p \approx k/N$ ). إنه يتجاهل العينات التي هي بالفعل رابحة أو خاسرة بشكل ميؤوس منه، ويركز فقط على "نقطة التحول".
الأفضل من N (RL):
- $w \propto N (P_{<y})^{N-1}$
- السلوك: يخلق ديناميكيات "الفائز يأخذ كل شيء". تعزز التدرجات فقط العينات ذات المكافأة الأعلى في الدفعة (Batch)، مما يشجع النموذج على استكشاف ذيول التوزيع ذات التباين والمكافأة العالية بدلاً من الانهيار نحو المتوسط الآمن.

الضمانات النظرية

تثبت الورقة أنه بالنسبة لـ الاستراتيجيات التنافسية (حيث تؤدي زيادة احتمال المنافس إلى الإضرار بالنجاح)، فإن التقريب القطري هو تقدير متحفظ ناقص للتدرج الحقيقي. وهذا يضمن أن المُحسِّن (Optimizer) لن يتحرك أبداً في الاتجاه الخاطئ، مما يعمل كمثبت طبيعي ضد انهيار السياسة.

3. المساهمات الرئيسية

إطار عمل موحد للعوامل: صياغة استراتيجيات وقت الاختبار كعوامل قابلة للتفاضل، واستخراج آلية عامة لمواءمة التدريب مع أي استراتيجية استنتاج (SFT و RL).
التوسع لما وراء Pass@N: تعميم العمل السابق (مثل Direct Coverage Optimization) ليشمل التصويت بالأغلبية و الأفضل من N، مغطياً كل من نماذج SFT و RL.
الاستقلالية عن النمط (Modality Agnosticism): إثبات قابلية تطبيق إطار العمل على ما وراء النماذج اللغوية الكبيرة لتشمل نماذج لغة البروتين (PLMs)، مما أظهر تحسناً في الأداء في بيئات المكافأة المعقدة ومتعددة الأنماط.
تحليل التباين: تقديم تحليل نظري وتجريبي لتضخم تباين التدرج، واقتراح تقنيات تطبيع (Normalization) (مثل المقدرات الموزونة باللوغاريتم) لتثبيت التدريب.

4. النتائج التجريبية

قيم المؤلفون CAT على اختبار MATH (باستخدام Mistral-7B) و توليد البروتين (باستخدام ProtGPT2).

أ. النماذج اللغوية (اختبار MATH)

Pass@N (SFT): النماذج المدربة باستخدام CAT لـ $N=64$ ضحت بدقة العينة الواحدة (انخفض Pass@1 بنسبة ~2.3%) ولكنها حققت تحسناً مطلقاً بنسبة 7.8% في تغطية Pass@64 مقارنة بـ SFT القياسي.
التصويت بالأغلبية (SFT): تفوقت نماذج CAT باستمرار على النماذج المرجعية عبر جميع ميزانيات الاستنتاج. لوحظت "نقطة مثالية" عند $N=16$ ، حيث وازنت النماذج بين الانحياز (Bias) والتباين (Variance) بشكل أمثل.
التعلم المعزز (GRPO): عانى التعلم المعزز القياسي من انهيار السياسة، حيث وصل للتشبع بسرعة (Pass@32 $\approx$ 35.8%). حققت النماذج المدربة بـ CAT نسبة 40.0% عند Pass@32، مما حافظ على التباين اللازم للبحث.
تأثير الإحماء (Warmup Effect): استخدام CAT في مرحلة الإحماء لـ SFT حسن بشكل كبير أداء RL اللاحق، بل وعزز دقة الخطوة الواحدة (Pass@1) من خلال إثراء مسارات الاستدلال للنموذج.

ب. توليد البروتين (نماذج لغة البروتين)

التوليد غير المشروط (وادي الموت): في مشهد مكافأة متعدد الأنماط (أمثل محلي عند $h \approx 0.35$ ، وأمثل عالمي عند $h \approx 0.75$ ، يفصل بينهما "وادي" من التجميع)، علق RL القياسي في الأمثل المحلي. نجح Best-of-N CAT في "القفز" فوق الوادي، ووجد الحد الأقصى العالمي من خلال الحفاظ على تباين توزيعي عالٍ.
التوليد المشروط: تعلمت نماذج CAT توليد تسلسلات ذات كره للماء (Hydrophobicity) عكس المدخلات، مما أظهر قدرة فائقة على التوسع والمواءمة مع المهمة العلاقاتية مقارنة بـ RL القياسي.

5. الأهمية والآثار المترتبة

تحول في النموذج الفكري: تجادل الورقة بأن أهداف التدريب يجب أن تُصمم مع وضع إجراء الاستنتاج اللاحق في الاعتبار. مع تحول حساب وقت الاختبار إلى المحرك الرئيسي لزيادة قدرة النماذج، يجب أن يهدف التدريب إلى تحسين النتيجة المجمعة، وليس العينة الواحدة.
الكفاءة: يحقق CAT هذه المكاسب دون زيادة تكاليف حساب التدريب. فهو ببساطة يعيد وزن التدرجات الموجودة بناءً على المنفعة الحدية للعينة بالنسبة لاستراتيجية وقت الاختبار.
الاستقرار مقابل الاستكشاف: يوفر إطار العمل طريقة مبدئية للموازنة بين دقة العينة الواحدة وتنوع التوزيع، مما يمكن النماذج من الاستفادة بفعالية من إجراءات البحث مثل Best-of-N و Majority Vote دون الانهيار نحو سلوك البحث عن النمط (Mode-seeking).
العمومية: من خلال إثبات الفعالية في كل من LLMs و PLMs، تشير الورقة إلى أن "التدريب المتوافق مع الحساب" هو مبدأ عالمي لأي نموذج توليدي يستخدم البحث في وقت الاختبار.

في الختام، يجسّر التدريب المتوافق مع الحساب الفجوة بين التعلم والبحث، مما يضمن أن النماذج ليست فقط "ذكية" في توليد إجابة واحدة، بل هي مُحسّنة لتكون "ذكية" في إيجاد الإجابة الأفضل عندما تُمنح القدرة الحسابية للبحث.