The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
تكشف هذه الورقة أن اختيار خلفية الاستدلال يعمل كمعلمة فائقة (hyperparameter) حاسمة، وإن كانت غير مُبلغ عنها غالباً، يمكنها تغيير درجات معايير النماذج اللغوية الكبيرة بمقدار يصل إلى 16.6 نقطة مئوية بسبب تحسينات مستوى النظام، مما يحث المجتمع على توحيد تقارير حزمة الاستدلال لضمان قابلية التكرار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قاضٍ في مسابقة طبخ عالية المخاطر. لديك خمس وصفات متطابقة (نماذج الذكاء الاصطناعي)، وخمسة طهاة مختلفين (محركات الاستدلال/inference backends). تتوقع أنه إذا كانت الوصفات هي نفسها، فيجب أن يكون طعم الأطباق متطابقاً تماماً، أليس كذلك؟
هذه الورقة البحثية تجادل بأن الطاهي يهم بقدر ما تهم الوصفة تماماً.
في عالم النماذج اللغوية الكبيرة (LLMs)، يركز الباحثون عادةً على "الوصفة" (أوزان النموذج وتدريبه). ويفترضون أنه إذا تم إدخال نفس المطالبة (prompt) إلى نفس النموذج، فستحصل على نفس الإجابة. تكشف هذه الورقة أن هذا الافتراض مكسور. إن "الطاهي" (محرك البرمجيات الذي يشغل النموذج) هو متغير صامت وغير مرئي يمكنه تغيير نتيجة الطبق تماماً، فأحياناً يجعل وصفة رائعة طعماً سيئاً، أو وصفة متوسطة طعماً مذهلاً.
إليك تفصيل لما وجدته الورقة، باستخدام تشبيهات بسيطة:
1. "المعلمة الفائقة الصامتة" (The Silent Hyperparameter)
في أبحاث الذكاء الاصطناعي، "المعلمة الفائقة" (hyperparameter) هي إعداد تقوم بتعديله للحصول على نتائج أفضل (مثل درجة الحرارة أو السرعة). اكتشف المؤلفون أن محرك الاستدلال (البرمجيات مثل vLLM أو llama.cpp أو Olloma) يعمل كمعلمة فائقة خفية لا يتحدث عنها أحد.
- التشبيه: تخيل شخصين يقرآن نفس الكتاب. أحدهما يقرأه في مكتبة هادئة (البرمجيات القياسية)، والآخر يقرأه أثناء ركوب أفعوانية (قطار الموت) متعرجة (محرك سريع ومحسن). على الرغم من أن الكتاب متطابق، إلا أن راكب الأفعوانية قد يتخطى كلمة، أو يسيء قراءة جملة، أو يتشتت، مما يؤدي به إلى سرد قصة مختلفة في النهاية.
- النتيجة: اختبر المؤلفون 5 "طهاة" (محركات) مختلفين على 5 "وصفات" (نماذج) مختلفة. ووجدوا أن مجرد تغيير المحرك يمكن أن يغير درجة اختبار النموذج بمقدار يصل إلى 16.6 نقطة مئوية. هذه طفرة هائلة — كافية لجعل النموذج يقفز من "متوسط" إلى "بطل عالمي" أو العكس، رغم أن النموذج نفسه لم يتغير.
2. "تأثير الفراشة" في المحادثة
تولد نماذج الذكاء الاصطناعي النصوص كلمة بكلمة. إذا ارتكب المحرك خطأً صغيراً في الكلمة الأولى، يمكن للمحادثة بأكملها أن تخرج عن المسار.
- التشبيه: فكر في لعبة "الهاتف المكسور" (Telephone). إذا همس الشخص الأول بكلمة مختلفة قليلاً عما كان يقصد، فسيسمعها الشخص الأخير بشكل مختلف تماماً.
- النتيجة: أظهرت الورقة أن هذه المحركات غالباً ما تختلف في الكلمات القليلة الأولى من الإجابة. بالنسبة لمهام الاستدلال المعقدة (مثل حل المسائل الرياضية)، قد يبدأ أحد المحركات الحل بشكل صحيح، بينما يبدأ محرك آخر بخطأ صغير. هذا الخطأ الصغير يتراكم، مما يؤدي بالمحرك إلى توليد سلسلة تفكير مختلفة تماماً، وغالباً ما تكون خاطئة.
3. لماذا يحدث هذا؟ (أسرار المطبخ)
تعمق المؤلفون في الكود البرمجي لمعرفة لماذا يصنع هؤلاء الطهاة أطباقاً مختلفة. ووجدوا سببين رئيسيين:
- السبب (أ): الإعدادات الافتراضية الخفية ("الخلطة السرية"): بعض المحركات تحتوي على إعدادات خفية تعمل تلقائياً.
- مثال: أحد المحركات (Ollama) يضيف سراً رمز "بداية" (start token) إضافي للمطالبة، مثل إضافة رشة ملح لم تطلبها. محرك آخر (LMDeploy) يفرض عقوبة معينة على تكرار الكلمات. عندما قام الباحثون بإيقاف هذه "الخلطات السرية"، عادت الدرجات للارتفاع، مما أثبت أن المحرك كان يعبث بالنتائج.
- السبب (ب): حيل السرعة ("خلل التسريع"): لجعل الذكاء الاصطناعي يعمل بشكل أسرع، يستخدم المهندسون اختصارات رياضية (مثل تجميع الحسابات أو استخدام حسابات ذات دقة أقل).
- مثيل: تخيل إجراء مسألة رياضية طويلة. شخص يقوم بها خطوة بخطوة باستخدام الآلة الحاسبة (قياسي). وآخر يستخدم خدعة حساب ذهني سريعة جداً تقوم بتقريب الأرقام بشكل مختلف قلي للدرجة الطفيفة. النتيجة النهائية عادة ما تكون قريبة، لكن أحياناً هذا الخطأ الطفيف في التقريب يغير النتيجة. في الذكاء الاصطناعي، تسبب هذه "حيل السرعة" أخطاء طفيفة في الفاصلة العائمة تتراكم وتغير الإجابة النهائية.
4. المشكلة "غير المرئية" في البحث
استعرض المؤلفون أكثر من 35,000 ورقة بحثية لمعرفة ما إذا كان العلماء يعترفون بالمحرك (Chef) الذي استخدموه.
- النتيجة: لا أحد تقريباً يذكر ذلك. إنه يشبه مسابقة طبخ حيث يقول المتسابقون: "استخدمت وصفة سرية"، لكنهم يرفضون قول أي موقد استخدموا للطهي.
- العاقبة: نظرًا لأن الباحثين لا يبلغون عن المحرك، فلا يمكننا معرفة ما إذا كان نموذج جديد "رائد في مجاله" (State-of-the-Art) هو أفضل حقاً، أم أنه حالفه الحظ فقط لأنه تم اختباره على محرك معين ساعد في رفع درجته. هذا يجعل التقدم العلمي صعب التحقق.
5. مخاطر السلامة
اختبرت الورقة أيضاً السلامة. سألوا النماذج لمحاولة "كسر" قواعد السلامة الخاصة بها (jailbreaks).
- النتيجة: النموذج الذي يكون آمناً ويرفض الإجابة على سؤال خطير في محرك واحد، قد يصبح فجأة عرضة للخطر ويجيب عليه في محرك آخر. تعني "فجوة النشر" (deployment gap) أن النموذج الذي تم اختباره كنموذج آمن في المختبر قد يكون غير آمن في العالم الحقيقي لمجرد أن البرمجيات التي تشغله مختلفة.
الخلاصة
يدعو المؤلفون إلى وضع معيار جديد في أبحاث الذكاء الاصطناعي: توقفوا عن معاملة محرك البرمجيات كأمر غير مرئي.
تماماً كما تذكر درجة الحرارة ونوع الفرن عند خبز كعكة، يجب على الباحثين الإبلاغ بدقة عن محرك الاستدلال الذي استخدموه. وإلى أن نفعل ذلك، لا يمكننا التأكد مما إذا كنا نقارن تفاحاً بتفاح، أم أننا نقارن فقط تفاحاً تم تقطيعه بسكاكين مختلفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.