🤖 machine learning

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

تقدم الورقة البحثية إطار عمل "الحوسبة كمعلم" (CaT)، الذي يحول عمليات التوليد المتوازية أثناء وقت الاستدلال إلى إشراف خالٍ من المراجع عبر تجميع المراجع الزائفة والمعايير المقترحة ذاتياً، مما يمكّن النماذج من تحقيق مكاسب أداء كبيرة في المجالات القابلة للتحقق وغير القابلة للتحقق دون الاعتماد على الملصقات البشرية.

المؤلفون الأصليون: Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب (ذكاء اصطناعي) كيفية كتابة رسالة نصيحة طبية مثالية أو حل مسألة رياضية معقدة. عادةً، تحتاج إلى معلم يمتلك "مفتاح الإجابة الصحيحة" لتصحيح عمل الطالب. ولكن ماذا لو كنت في موقف لا يعرف فيه أحد الإجابة الصحيحة؟ ربما تكون حالة طبية معقدة يختلف عليها حتى الأطباء الحقيقيون، أو مهمة كتابة إبداعية لا توجد لها نهاية واحدة "صحيحة".

تقدم هذه الورقة البحثية طريقة جديدة تسمى الحوسبة كمعلم (Compute as Teacher - CaT). إنها طريقة ذكية تسمح للذكاء الاصطناعي بتعليم نفسه دون الحاجة إلى معلم بشري أو مفتاح للإجابة.

إليك كيف تعمل، باستخدام تشبيه بسيط:

المشكلة: "الفصل الدراسي الصامت"

عادةً، لكي يتحسن الطالب، فإنه يحتاج إلى تغذية راجعة.

في الرياضيات/البرمجة: يمكن للمعلم تشغيل برنامج للتحقق مما إذا كانت الإجابة صحيحة أم خاطئة. هذا أمر سهل.
في الرعاية الصحية/الكتابة الإبداعية: لا يوجد برنامج للتحقق من الإجابة. إذا سألت الذكاء الاصطناعي: "كيف يجب أن أعالج هذا العرض النادر؟"، فقد تكون هناك خمس طرق مختلفة وصحيحة للإجابة. كيف تعرف أيهما الأفضل؟ عادةً، ستحتاج إلى خبير بشري لتقييم الإجابة، لكن ذلك بطيء ومكلف.

الحل: "جلسة المذاكرة الجماعية"

أدرك المؤلفون أنه إذا طلبت من الذكاء الاصطناعي نفس السؤال ثماني مرات (توليد ثماني محاولات أو "rollouts" مختلفة)، فإن الذكاء الاصطناعي سيتعثر في أماكن مختلفة.

المحاولة رقم 1 قد تحتوي على التشخيص الصحيح ولكن بجرعة خاطئة.
المحاولة رقم 2 قد تحتوي على الجرعة الصحيحة ولكنها أغفلت التحذير من الحساسية.
المحاولة رقم 3 قد تكون مثالية في الأسلوب ولكنها أغفلت عرضاً طبياً رئيسياً.

بشكل فردي، هي محاولات معيبة. ولكن معاً، تحتوي هذه المحاولات على جميع قطع اللغز.

خدعة السحر ذات الخطوتين

يحول إطار عمل CaT جلسة المذاكرة الجماعية هذه إلى خطة درس باستخدام خطوتين:

1. "التوليف" (المحرر الذكي)

بدلاً من مجرد اختيار "أفضل" ثماني محاولات (والتي قد تظل معيبة)، يعمل الذكاء الاصطناعي كـ محرر ذكي. ينظر إلى المحاولات الثماني ويكتب إجابة "مرجع افتراضي" (Pseudo-Reference) مثالية جديدة.

تشبيه: تخيل مجموعة من ثمانية طلاب يكتبون مقالات. يقرأ محرر فائق الذكاء كل المقالات الثمانية، ويأخذ أفضل فقرة من واحدة، وأفضل بيانات من أخرى، وأفضل خاتمة من ثالثة، ويقوم بحياكتهم معاً في "مقال رئيسي" واحد.
يصبح هذا "المقال الرئيسي" هو الهدف الذي يحاول الذكاء الاصطناعي التعلم منه.

2. "المعيار" (قائمة التحقق)

الآن، كيف نقيم المحاولات الثمانية الأصلية مقابل هذا "المقال الرئيسي" الجديد؟

في الرياضيات: الأمر سهل. هل تطابقت الأرقام؟ نعم/لا.
في الرعاية الصحية (الجزء الصعب): لا يمكنك فقط قول "نعم/لا" لمقال كامل. لذا، يقوم الذكاء الاصطناعي بإنشاء قائمة تحقق (Rubric) بناءً على المقال الرئيسي.
- مثال: بدلاً من سؤال "هل النصيحة جيدة؟"، ينشئ الذكاء الاصطناعي قائمة تحقق: "1. هل ذكر ضرورة رؤية الطبيب؟ 2. هل اقترح تغييرات في النظام الغذائي؟ 3. هل تجنب إعطاء تشخيص محدد؟"
- ثم يقوم ذكاء اصطناعي مستقل بدور "القاضي" للتحقق من كل محاولة من المحاولات الثمانية الأصلية مقابل هذه القائمة. إذا حصلت محاولة ما على 4 من أصل 5 عناصر في قائمة التحقق، فإنه يحصل على درجة 0.8.

النتيجة: التعلم بدون معلم

يستخدم الذكاء الاصطناعي هذه الدرجات لتحديث دماغه (التعلم المعزز). إنه يتعلم: "آه، في المرة القادمة يجب أن أتأكد من تضمين عناصر قائمة التحقق التي فاتتني".

لماذا يعد هذا أمراً بالغ الأهمية؟

لا حاجة لبشر: إنه يعمل في مجالات مثل الرعاية الصحية حيث لا يوجد "مفتاح إجابة"، وحيث يكون الخبراء البشريون مشغولين جداً لتقييم كل إجابة.
أرخص على المدى الطويل: عادةً، للحصول على إجابة جيدة، عليك تشغيل الذكاء الاصطناعي 8 مرات واختيار الأفضل في كل مرة تسأل فيها. هذا بطيء ومكلف.
- مع CaT، يتعلم الذكال الاصطناعي من المحاولات الثمانية مرة واحدة أثناء التدريب.
- بعد التدريب، يصبح الذكاء الاصطناعي جيداً جداً لدرجة أنه يمكنه تقديم إجابة رائعة بمحاولة واحدة فقط.
- ادعاء الورقة البحثية: وجدوا أن الذكاء الاصطناعي المدرب كان يؤدي بنفس جودة طريقة "الـ 8 محاولات" ولكنه استخدم قدرة حوسبية أقل بـ 9 مرات عند الإجابة فعلياً على الأسئلة.

الملخص

الحوسبة كمعلم (Compute as Teacher) تشبه أخذ مجموعة من الطلاب المرتبكين، وجعلهم يتجادلون ويتناظرون، ثم ترك محرر ذكي يصيغ ملخصاً "مثالياً" من نقاشاتهم، ثم تقييم الطلاب بناءً على مدى مطابقتهم لذلك الملخص. يتعلم الطلاب من أخطائهم الجماعية ويصبحون في النهاية بارعين جداً لدرجة أنهم لا يحتاجون إلى المجموعة بعد الآن.

اختبرت الورقة البحثية هذا الأسلوب على HealthBench (النصائح الطبية) و MATH-500 (المسائل الرياضية).

في الرياضيات، عمل بنفس كفاءة الأساليب الموجودة.
في النصائح الطبية (حيث لا يوجد مفتاح إجابة)، حسن أداء الذكاء الاصطناعي بنسبة تصل إلى 30% مقارنة بنقطة بدايته، محاكيًا جودة الإجابات التي يكتبها الأطباء الخبراء، وكل ذلك دون علامة بشرية واحدة.

ملخص تقني: الحوسبة كمعلم (Compute as Teacher - CaT)

بيان المشكلة

تعتمد مرحلة ما بعد التدريب لنماذج اللغات الكبيرة (LLMs) للمهارات المتخصصة عادةً على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام مراجع بشرية مصنفة، أو التعلم المعزز (RL) مع مكافآت قابلة للتحقق من خلال أدوات فحص برمجية. وبينما تعد هذه الأساليب فعالة في مجالات مثل الرياضيات والبرمجة، إلا أنها تفشل في المجالات غير القابلة للتحقق (مثل الإرشادات الصحية، الكتابة الإبداعية، والحوار الحر) حيث:

توجد إجابات صحيحة متعددة، وقد يختلف الخبراء فيما بينهم.
الفحص القائم على قواعد حتمية غير عملي.
التوسيم البشري مكلف، أو يصعب توسيعه، أو غير متوفر.

تعاني البدائل الحالية، مثل استخدام نموذج لغوي كبير كحكم لتقييم المخرجات الحرة، من عدم الاتساق، وتحيز الإطناب، واختراق المكافأة (reward hacking). لذا يتساءل البحث: هل يمكن للحوسبة أثناء الاستنتاج أن تحل محل الإشراف المفقود؟

المنهجية: الحوسبة كمعلم (CaT)

يقترح المؤلفون إطار عمل "الحوسبة كمعلم" (CaT)، وهو إطار يحول حوسبة وقت الاستنتاج إلى إشارات إشراف لتدريب التعلم المعزز دون الحاجة إلى تسميات (labels) للحقيقة الأرضية (ground-truth). يعمل هذا الإطار عبر مرحلتين أساسيتين، مستفيداً من عمليات التوليد المتوازية التي ينتجها السياسة الحالية $\pi_t$ .

1. تقدير المرجع (Reference Estimation)

بدلاً من الاعتماد على مرجع مقدم من البشر، يقوم CaT بتجميع $G$ من عمليات التوليد المتوازية ( $o_{1:G}$ ) الناتجة عن الاستعلام $q$ في مرجع زائف ( $s$ ). يلتقط هذا التجميع حالة عدم اليقين لدى النموذج، حيث غالباً ما تختلف عمليات التوليد تحديداً في النقاط التي لا يكون فيها النموذج متأكداً.

استراتيجيات التجميع: الإطار محايد تجاه الطريقة المستخدمة. يستكشف البحث أسلوب التوليد التركيبي (Synthesis)، حيث يقوم نموذج مرجعي ثابت ( $\pi_0$ ) بالاشتراط على مجموعة من المخرجات لتوليد استجابة جديدة ومتوافقة. يسمح هذا للنظام بدمج الأجزاء الصحيحة من عمليات توليد مختلفة (على سبيل المثال: الخطوات المتوسطة الصحيحة من عملية واحدة والاستنتاج الصحيح من عملية أخرى).
البدائل: تتوافق استراتيجيات الاختيار مثل "تصويت الأغلبية" (Majority Vote) أو "أفضل من N" (Best-of-N) أيضاً مع الإطار، وإن كان تم تسليط الضوء على "التوليد التركيبي" لقدرته على بناء استجابات خارج نطاق توزيع التوليد الأصلي.

2. اشتقاق المكافأة (Reward Derivation)

يُستخدم المرجع الزائف $s$ لاشتقاق مكافآت لعمليات التوليد الفردية لتحديث السياسة عبر تحسين السياسة النسبية للمجموعات (GRPO). تختلف الآلية بناءً على قابلية التحقق من المجال:

المجالات القابلة للتحقق (مثل الرياضيات والبرمجة): تكون المكافآت ثنائية، بناءً على ما إذا كانت إجابة عملية التوليد تطابق إجابة المرجع الزائف.
المجالات غير القابلة للتحقق (مثل الرعاية الصحية): يقدم البحث مفهوم "المعايير المقترحة ذاتياً" (Self-Proposed Rubrics).
- يقوم النموذج المرجعي $\pi_0$ بتوليد مجموعة من المعايير الثنائية القابلة للتحقق ( $R = \{r_1, \dots, r_n\}$ ) المستمدة خصيصاً من المرجع الزائف $s$ (مثال: "يوصي باستشارة متخصص طبي").
- يقوم نموذج حكم مستقل ( $\pi_J$ ) بتقييم كل عملية توليد مقابل هذه المعايير.
- المكافأة هي نسبة المعايير التي تم استيفاؤها. يؤدي هذا إلى تفكيك الأحكام النوعية الغامضة إلى فحوصات ثنائية محددة وقابلة للتدقيق، مما يخفف من عدم استقرار التقييم المباشر لـ "النموذج كحكم".

حلقة التدريب

تتكرر العملية: تولد السياسة عمليات التوليد $\leftarrow$ يقوم تقدير المرجع بإنشاء $s$ $\leftarrow$ يقوم اشتقاق المكافأة بتقييم عمليات التوليد مقابل $s$ $\leftarrow$ يقوم GRPO بتحديث السياسة. ومن الأهمية بمكان أن إطار العمل يستهلك تكلفة الحوسبة الناتجة عن توليد عمليات التوليد المتعددة وتجميعها أثناء التدريب، مما يسمح للسياسة المدربة نهائياً بإنتاج مخرقات عالية الجودة من خلال عملية استنتاج واحدة.

المساهمات الرئيسية

المعايير المقترحة ذاتياً: آلية مكافأة مبتكرة للتعلم المعزز غير القابل للتحقق، تقوم بتفكيك الحكم إلى معايير ثنائية مستمدة من المراجع الزائفة، مما يلغي الحاجة إلى معايير بشرية مصنفة أو إجابات مرجعية.
إطار عمل الحوسبة كمعلم (CaT): نموذج عام لتحويل حوسبة الاستنتاج إلى إشراف عبر تقدير المرجع واشتقاق المكافأة. يثبت البحث أن التوليد التركيبي (التجميع التوليدي) يمكن أن يتفوق على نماذج الاختيار الأساسية (مثل تصويت الأغلبية) من خلال التوفيق بين المعلومات الموزعة عبر عمليات التوليد.
التحقق التجريبي: تجارب شاملة عبر ثلاث عائلات من النماذج (Gemma 3 4B، Qwen 3 4B، Llama 3.1 8B) في كل من المجالات غير القابلة للتحقق (HealthBench) والمجالات القابلة للتحقق (MATH-500).

النتائج

مكاسب الأداء: تحقق النماذج المدربة بأسلوب CaT تحسناً نسبياً يصل إلى +30% في HealthBench و +33% في MATH-500 مقارنة بالسياسة الأولية غير المدربة.
الكفاءة: تضاهي النماذج المدربة جودة التجميع في وقت الاستنتاج (مثل التوليد التركيبي) أو تتفوق عليها، مع استخدام 9 أضعاف أقل من حوسبة وقت الاختبار. يتعلم النموذج استيعاب قدرة التجميع داخلياً، مما يتطلب تمريرة أمامية واحدة فقط عند الاستنتاج.
المجالات غير القابلة للتحقق: تؤدي المعايير المقترحة ذاتياً أداءً مقارباً للمعايير المصنفة من قبل أطباء خبراء في HealthBench، وتتفوق بشكل كبير على التقييم المباشر لأسلوب "النموذج كحكم".
التوليد التركيبي مقابل الاختيار: يتفوق التقدير المرجعي القائم على التوليد التركيبي على نماذج الاختيار الأساسية (تصويت الأغلبية، وأفضل من N) في المجالات غير القابلة للتحقق. وفي الحالات التي يختلف فيها التوليد التركيبي مع الإجماع، فإنه يكون صحيحاً بنسبة 70-86%، وغالباً ما يصحح الأخطاء الموجودة في جميع عمليات التوليد الفردية.
التعلم المعزز (RL) مقابل الضبط الدقيق (SFT): يتفوق التعلم المعزز باستخدام مكافآت المعايير باستمرار على الضبط الدقيق الخاضع للإشراف (SFT) المعتمد على المراجع التركيبية، مما يشير إلى أن التعلم المعزز يعمم بشكل أفضل من البيانات التركيبية المحدودة.

الأهمية والادعاءات

يزعم البحث أن CaT يوفر حلاً عملياً وجاهزاً للاستخدام (drop-in solution) لتدريب النماذج اللغوية الكبيرة في المجالات التي تندر فيها الإجابات المرجعية أو تكون مكلفة أو غير موجودة. من خلال استغلال حوسبة الاستنتاج لتوليد إشرافها الخاص، يقوم إطار العمل بـ:

سد الفجوة بين التعلم المعزز القابل للتحقق وغير القابل للتحقق، من خلال تقديم نهج موحد.
تقليل الاعتماد على التوسيم البشري، مما يوفر مساراً للمجالات المتخصصة حيث يمثل التوسيم من قبل الخبراء عقبة.
استهلاك تكلفة الحوسبة (Amortization)، عبر نقل العمل الشاق للتجميع من وقت الاستنتاج (بشكل متكرر) إلى وقت التدريب (لمرة واحدة)، مما يؤدي إلى نشر أكثر كفاءة.

يشير المؤلفون إلى وجود قيود، بما في ذلك الاعتماد على قدرة النموذج الأساسي على توليد مخرجات متنوعة، واحتمالية حدوث هضبة في الأداء (performance plateau) مع تقارب عمليات التوليد (انهيار الإنتروبيا). ومع ذلك، فإنهم يضعون CaT كخطوة مهمة نحو تمكين التعلم الخالي من المراجع في المجالات المعقدة والنوعية.