Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation
تجادل هذه الورقة بأن تغيرات احتمالية الرمز المميز المتميزة في التقطير الذاتي أثناء السياسة (on-policy self-distillation) لا تشكل تلقائياً ائتماناً صالحاً للنتيجة، حيث تثبت من خلال التحليل الرسمي والتجارب التجريبية أن مثل هذه الإشارات غالباً ما تفشل في تتبع الأفعال الأفضل أو تعزيز السلوكيات المرغوبة مقارنة بضوابط النتيجة فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية حل لغز رياضي معقد. تعرض عليه المشكلة، فيبدأ بكتابة أفكاره، خطوة بخوة. في النهاية تماماً، يمكنك بسهولة معرفة ما إذا كان الروبوت قد حصل على الإجابة الصحيحة أم لا: إما أنه صحيح أو خاطئ. ولكن ماذا عن الخطوات في المنتصف؟ هل قام الروبوت بحركة عبقرية في الخطوة الثالثة، أم أنه تعثر في الخطوة الخامسة؟ في عالم الذكاء الاصطناعي، هذا لغز كبير. نحن نعرف النتيجة النهائية، لكننا لا نعرف أي كلمات محددة (أو "رموز - tokens") كتبها الروبوت كانت هي الأبطال وأيها كانت الأشرار.
لإصلاح ذلك، حاول الباحثون استخدام خدعة ذكية تسمى "التقطير الذاتي المتميز" (privileged self-distillation). فكر في الأمر كطالب يؤدي اختباراً، ثم يحصل فوراً على ورقة مرجعية تشرح بالضبط ما كان ينبغي عليه فعله. ينظر الطالب بعد ذلك إلى إجابته، ويقرأ الورقة المرجعية، ويحاول اكتشاف أي الكلمات التي كتبها كانت جيدة وأيها كانت سيئة. والأمل هو أنه من خلال مكافأة الكلمات "الجيدة" ومعاقبة الكلمات "السيئة"، سيصبح الروبوت أكثر ذكاءً بشكل أسرع. ولكن إليك الفخ: مجرد كون الكلمة تبدو جيدة بعد معرفة الإجابة، لا يعني أنها ساعدتك بالفعل في الوصول إليها. قد تكون مجرد كلمة تبدو لطيفة عندما تنظر إلى الوراء مع بصيرة متأخرة.
هذه الورقة البحثية من قسم أبحاث الذكاء الاصطناعي في شركة Salesforce تشبه مجموعة من المحققين المتشككين الذين يظهرون في الفصل الدراسي للتحقق مما إذا كانت طريقة "الورقة المرجعية" هذه تعمل حقاً أم أنها مجرد خدعة سحرية تخدع المعلم. لقد أقاموا تجربة صارمة لمعرفة ما إذا كان الروبوت يتعلم الدروس الصحيحة حقاً أم أنه يحفظ الدروس الخاطئة فقط.
سرقة "البصيرة المتأخرة" الكبرى
قرر الباحثون وضع طريقة "التقطير الذاتي المتميز" تحت الاختبار النهائي باستخدام نموذج ذكاء اصطناعي بـ 20 مليار معلمة (روبوت ذكي جداً) ومجموعة من المسائل الرياضية الصعبة المسماة AIME 2025. كان هدفهم هو الإجابة على ثلاثة أسئلة محددة تحدد ما إذا كانت طريقة التدريس هذه مفيدة حقاً أم أنها مجرد إضاعة للوقت.
السؤال الأول: هل يكشف جهاز كشف "الكلمات الجيدة" عن الكلمات الصحيحة حقاً؟
تخيل محققاً يحاول العثور على الجاني. إذا أشار المحقق بإصبعه إلى مشتبه به، فهل لهذا المشتبه به دافع حقاً؟ تحقق الباحثون مما إذا كان "درجة" الذكاء الاصطناعي (الرقم الذي يعطيه لكلمة ما ليقول كم كانت جيدة) يتوافق حقاً مع الإجابات الصحيحة. وجدوا أن الدرجة كانت تخمن بشكل أساسي. عندما نظروا إلى آلاف المحاولات الرياضية، كانت الدرجة أفضل قليلاً من رمية عملة معدنية في التمييز بين الحل الصحيح والحل الخاطئ. في الواقع، بعد التعديل بناءً على طول الإجابات، كانت الدرجة تحب الإجابات الخاطئة أكثر قليلاً من الإجابات الصحيحة! إنه يشبه معلماً، بعد تصحيح الاختبار، يعطي نجمة ذهبية للطالب الذي أخطأ في كل شيء لأن خط يده كان جميلاً.
السؤال الثاني: هل كتب الروبوت تقرير درجاته الخاص؟
هذا هو الجزء الخفي. في العديد من التجارب، يولد الذكاء الاصطناعي إجابة، ثم يقوم نفس الذكاء الاصطناعي (أو نسخة منه) بكتابة نقد لتلك الإجابة. قلق الباحثون من أن يكون هذا حلقة من المديح الذاتي. إذا كتبت تقرير درجاتك بنفسك، فقد تكون لطيفاً جداً مع نفسك. ولإصلاح ذلك، جربوا طريقة "الملاءمة المتبادلة" (cross-fitting): جعلوا الذكاء الاصطناعي يكتب نقداً لإجابة ذكاء اصطناعي آخر على نفس المسألة. هذا يكسر الحلقة. ولكن حتى مع هذا الإصلاح، لم تكن الدرجات تتنبأ بشكل موثوق بأي الإجابات كانت صحيحة. كان التعليقات مشوشة كما في السابق. يبدو أنه مجرد كونك تستطيع كتابة قصة جميلة عن حل ما لا يعني أن الحل جيد حقاً.
السؤال الثالث: ماذا يحدث عندما يحاول الروبوت التعلم من هذه الدرجات؟
أخيراً، سألوا: حتى لو كانت الدرجات غريبة، ماذا يحدث عندما يحاول الروبوت فعلياً استخدامها للتحسن؟ قاموا بتدريب الروبوت باستخدام خمس نسخ مختلفة من طريقة "ائتمان الرمز" (token credit) هذه وقارنوه بروبوت تعلم فقط من الإجابة النهائية (صواب أو خطأ). كانت النتائج مخيبة للآمال تماماً لمحبي "ائتمان الرمز". كل روبوت حاول استخدام درجات الرموز المتطورة انتهى به الأمر بأداء أسوأ من الروبوت الذي اكتفى بالتعلم من التغذية الراجعة البسيطة (صواب أو خطأ).
- حصل الروبوت البسيط على حوالي 64.2% من الإجابات صحيحة.
- أما الروبوتات المتطورة التي استخدمت درجات الرموز، فلم تحصل إلا على ما بين 24.2% و 33.9% فقط من الإجابات الصحيحة.
الأمر كما لو أن الروبوت الذي حاول تحليل كل خطوة من تفكيره أصيب بالارتباك ونسي تماماً كيفية حل المشكلة، بينما الروبوت الذي اكتفى بالنظر إلى النتيجة النهائية استمر في التحسن.
الحكم النهائي
خلصت الورقة البحثية إلى أن "درجة احتمالية الرمز" (token likelihood score) — وهو رقم يقول إن الكلمة أكثر احتمالاً لأنها جاءت مع ورقة مرجعية — ليست ذات قيمة تلقائية. مجرد كون الكلمة تصبح أكثر احتمالاً بعد رؤية الإجابة لا يعني أن تلك الكلمة كانت هي المفتاح للحل.
وجد الباحثون أن:
- الدرجات لم تتبع النجاح؛ بل كانت مجرد ضجيج عشوائي تقريباً.
- سواء جاءت التغذية الراجعة من نفس الإجابة أو من إجابة أخرى، فإن ذلك لم يحل المشكلة بشكل سحري.
- استخدام هذه الدرجات لتدريب النموذج جعل أداءه أسوأ، حيث دفع به بعيداً عن الإجابات الصحيحة.
باخت_صار، تجادل الورقة البحثية بأنه لا يمكننا ببساطة افتراض أن "ما يبدو جيداً في البصيرة المتأخرة" هو "ما هو مفيد حقاً". قبل أن نبدأ في منح نماذج الذكاء الاصطناعي ائتماناً لكل كلمة يكتبونها، نحتاج إلى التحقق من ثلاثة أشياء: هل تتوافق الدرجة مع النتيجة؟ هل التغذية الراجعة عادلة ومستقلة؟ وهل التدريب يجعل النموذج أكثر ذكاءً بالفعل؟ في هذه التجربة المحددة، كانت الإجابة على الثلاثة جميعاً هي "لا" قاطعة. فشلت الطريقة المتطرفة المتمثلة في إعطاء الائتمان لكل كلمة، وكانت الطريقة التقليدية المتمثلة في التحقق من الإجابة النهائية هي الفائزة بوضوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.