No Universal Signal Predicts Sample-Level LLM Regression under Version Updates
تستقصي هذه الورقة كيفية التنبؤ بتراجعات الأداء على مستوى العينات في النماذج اللغوية الكبيرة المحدثة من خلال مقارنة الإشارات أحادية النموذج والإشارات عبر الإصدارات عبر ستة معايير، لتجد أنه لا توجد إشارة واحدة فعالة عالمياً، ولكن يمكن للأنماط المعتمدة على المهام أن توجه الممارسين في اختيار الإشارات المناسبة لتنفيذ آلية تراجع انتقائية تقوم بتوجيه العينات عالية المخاطر إلى إصدارات النماذج السابقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك اشتريت للتو أحدث هاتف ذكي وأكثرها قوة. يعدك الصندوق بأنه أسرع، وأذكى، وأفضل في كل شيء من هاتفك القديم. أنت متحمس! ولكن بعد ذلك، تحاول فتح تطبيق معين كنت تستخدمه ببراعة، وفجأة يتوقف عن العمل. أو ربما يعطيك إجابة خاطئة لمسألة رياضية قمت بحلها آلاف المرات. هذا هو الواقع الغريب والمحبط لتحديثات الذكاء الاصطنا artificial Intelligence. في عالم النماذج اللغوية الكبيرة (LLMs) — وهي العقول فائقة الذكاء خلف روبوتات الدردشة ومساعدي البرمجة — يقوم المطورون باستمرار بإصدار "الإصدار 2.0"، و"الإصدار 3.0"، وهكذا. عادةً ما تكون هذه الإصدارات الجديدة أفضل في المتوسط. ولكن أحياناً، في ظاهرة يسميها الباحثون "الانقلاب السلبي" (negative flip)، يصبح النموذج الجديد أسوأ في مهام محددة كان يتقنها سابقاً. الأمر يشبه ترقية محرك سيارتك لتكتشف أن الراديو لم يعد يعمل.
السؤال الكبير هو: كيف نعرف قبل أن نضغط على زر "إرسال" أن الذكاء الاصطنا الجديد على وشك الخطأ؟ هل يمكننا رصد "خلل" في طور التكوين؟ لفهم الورقة البحثية، تحتاج لمعرفة طريقتين رئيسيتين نستخدمهما عادةً لتخمين ما إذا كان الذكاء الاصطناً مرتبكاً. أولاً، هناك الثقة (confidence). إذا قال الذكاء الاصطناعي: "أنا متأكد بنسبة 99% أن الإجابة هي الأزرق"، فغالباً ما يكون محقاً. أما إذا قال: "أنا متأكد بنسبة 51%"، فمن المحتمل أنه يخمن. ثانياً، هناك المقارنة بين الإصدارات (cross-version comparison). هذا يشبه سؤال النموذج القديم والنموذج الجديد نفس السؤال ورؤية ما إذا كانا يختلفان. إذا قال القديم "الأزرق" وقال الجديد "الأحمر"، فهذا يعني أن شيئاً ما قد تغير. تسأل الورقة البحثية: إذا أردنا رصد هذه "الانقلابات السلبية" في الوقت الفعلي، دون وجود مفتاح إجابات لدى المعلم، فأي من هذه الإشارات هو أفضل محقق؟
قرر الباحثان، جيا شينغ وييوي لو، لعب دور المحقق عبر ستة أنواع مختلفة من التحديات، تتراوح من أسئلة الاختيار من متعدد والمسائل الرياضية الصعبة إلى كتابة أكواد الكمبيوتر. اختبرا ستة أزواج مختلفة من تحديثات النماذج (مثل الانتقال من Qwen 2.5 إلى Qwen 3، أو Llama 3 إلى Llama 3.1) لمعرفة أي إشارة يمكنها التنبؤ متى سيتعثر النموذج الجديد في سؤال أجاب عليه القديم بشكل صحيح.
إليك المفاجأة التي وجداها: لا توجد "إشارة سحرية" واحدة تعمل مع كل شيء. الأمر ليس كامتلاك منبه عالمي واحد يرن لكل نوع من حالات الطوارئ. بدلاً من ذلك، يعتمد أفضل منبه تماماً على نوع المهمة التي تقوم بها.
إذا كنت تسأل الذكاء الاصطنا أسئلة الاختيار من متعدد (مثل "ما هي عاصمة فرنسا؟") أو رياضيات بسيطة، فإن إشارة الثقة التقليدية هي البطل. إذا بدا النموذج الجديد غير متأكد (ثقة منخفضة)، فمن المرجح أنه على وشك الانقلاب من الصواب إلى الخطأ. وجدت الورقة أنه بالنسبة لهذه المهام، فإن التحقق من مدى "تأكد" النموذج الجديد كافٍ عادةً؛ لست بحاجة لمقارنته بالنموذج القديم.
ومع ذلك، تتغير القصة تماماً عندما تصبح المهام أكثر صعوبة. عندما يقوم الذكاء الاصطنا رياضيات معقدة أو كتابة كود برمجي، تصبح الثقة كاذبة. يمكن للنموذج أن يكون واثقاً للغاية ومع ذلك يكون مخطئاً تماماً، خاصة في البرمجة حيث يمكن لفاصلة منقوطة واحدة مفقودة أن تعطل البرنامج بأك-مله. في هذه السيناريوهات عالية المخاطر والمعقدة، وجدت الورقة أن إشارات المقارنة بين الإصدارات هي الأبطال الحقيقيون. هذه هي الإشارات التي تقيس "الانحراف" أو الفرق بين النموذج القديم والجديد. على سبيل المثال، إذا انحرفت "عملية التفكير" الداخلية للنموذج الجديد (رياضياته الخفية) بشكل كبير مقارنة بالقديم، أو إذا انحرف احتمال الكلمات التي اختارها، فهذا علم أحمر ضخم. تقترح الورقة أنه بالنسبة للكود والرياضيات الصعبة، تحتاج لمقارنة النموذج الجديد بالقديم للإمساك بالأخطاء التي تغفل عنها الثقة وحدها.
اختبر الباحثون أيضاً فكرة عملية: ماذا لو استخدمنا هذه الإشارات لإنشاء شبكة أمان؟ اقترحوا نظام "التراجع الانتقائي" (selective fallback). تخيل شرطي مرور عند تقاطع مزدحم. إذا قالت الإشارة إن طلباً معيناً هو "عالي المخاطر" (من المرجح حدوث انقلاب سلبي)، يقوم النظام تلقائياً بتوجيه ذلك السؤال إلى النموذج القديم الموثوق بدلاً من الجديد. وقد وجدوا أن هذا ينجح! في بعض الحالات، مثل توليد الكود، سمح لهم استخدام هذه الإشارات للمقارنة بين الإصدارات بالإمساك بما يقرب من 30% من الأخطاء التي كانت ستحدث، وإصلاح الإجابة عن طريق التبديل إلى النموذج القديم.
لكن هناك عقبة. تنفي الورقة صراحةً فكرة أنه يمكنك مجرد خلط ومطابقة كل هذه الإشارات للحصول على متنبئ خارق. لقد حاولوا دمج الثقة، والانحراف، وإشارات أخرى معاً، لكنهم وجدوا أن إشارة واحدة جيدة عادة ما تكون أفضل من مزيج فوضوي. تميل الإشارات إلى التنافس بدلاً من المساعدة؛ فإضافة المزيد لم يجعل التنبؤ أفضل بكثير. كما فندوا فكرة أن هذه "الانقلابات السلبية" هي مجرد أصعب الأسئلة التي واجهها النموذج القديم. بينما تلعب صعوبة النموذج القديم دوراً، إلا أنها لا تفسر كل شيء. يمكن للنموذج الجديد أن يفشل فجأة في أسئلة سهلة وجدها القديم بسيطة، مما يعني أنه لا يمكنك الاعتماد فقط على تاريخ النموذج القديم للتنبؤ بأخطاء الجديد.
باختصار، تشير الورقة إلى أنه إذا كنت مهندساً أو مستخدماً يحاول الحفاظ على سلامة تحديثات الذكاء الاصطنا، فلا يمكنك استخدام قاعدة "واحدة تناسب الجميع". عليك النظر إلى الوظيفة. إذا كان اختبار معلومات عامة، فثق في ثقة النموذج الجديد. إذا كانت برمجة أو رياضيات معقدة، فثق في المقارنة بين النموذج القديم والجديد. لا توجد إشارة عالمية، ولكن من خلال مطابقة الأداة المناسبة للمهمة المناسبة، يمكننا بناء حاجز حماية يمسك بالذكاء الاصطنا قبل أن يتعثر في حبال أقدامه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.