Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance
تقدم هذه الورقة إطار عمل LENS لقياس التحولات الطبيعية في توزيع المطالبات في عمليات نشر النماذج اللغوية الكبيرة (LLM) في العالم الحقيقي، كاشفةً أن حتى التحولات المتوسطة في سلوك المستخدم، أو الوقت، أو الجغرافيا يمكن أن تسبب تدهوراً حاداً في الأداء (بمتوسط فقد قدره 73%)، ومسلطةً الضوء على الحاجة الماسة للمراقبة القائمة على البيانات لضمان موثوقية النموذج عبر المجموعات السكانية المتطورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: مشكلة "الهدف المتحرك"
تخيل أنك استأجرت طباخاً شخصياً ليطهو لك. لقد قضيت شهوراً في تدريبه على ذوقك الخاص: أنت تحب الطعام الحار، وتكره الكزبرة، ودائماً ما تطلب الطعام "متوسط الاستواء". أصبح الطباخ بارعاً جداً في صنع ما تريده بالضبط.
الآن، تخيل أنك انتقلت إلى مدينة جديدة، أو أن عائلتك كبرت، أو أن ذوقك تغير لأنك كنت تشاهد الكثير من برامج الطبخ. بدأت تطلب أشياء مختلفة: "اصنع لي حساءً نباتياً"، أو "هل يمكنك طهي هذا على الطريقة الفرنسية؟"
إذا استمر الطباخ في الطهي تماماً كما تم تدريبه (حار، بدون كزبرة، متوسط الاستواء)، فسيفشل في إرضائك. هم ليسوا طباخين "سيئين"؛ هم فقط لم يحدّثوا قائمة طعامهم لتناسب واقعك الجديد.
هذه الورقة البحثية تتحدث عن هذه المشكلة تحديداً، ولكن مع روبوتات الدردشة المدعومة بالذكال الاصطناعي (LLMs) بدلاً من الطهاة. وجد الباحثون أنه مع استخدام الناس الحقيقيين للذكاء الاصطناعي بمرور الوقت، تتغير أسئلتهم (المطالبات/Prompts) بشكل طبيعي. وإذا لم يتم إعادة تدريب الذكاء الاصطناعي ليتناسب مع هذه العادات الجديدة، فإنه يصبح أسوأ بكثير في اتباع التعليمات.
العمل الاستقصائي: تقديم "LENS"
لدراسة ذلك، بنى الباحثون إطار عمل أطلقوا عليه اسم LENS (تقييم النماذج اللغوية الكبيرة تحت تأثير تغير المطالبات الطبيعي). فكر في LENS كـ كاميرا تسافر عبر الزمن تلتقط صوراً لكيفية تحدث الناس مع الذكاء الاصطناعي في أوقات وأماكن وأنواع مختلفة من البشر.
لم يكتفوا بالتخمين بأن الأشياء تتغير؛ بل قاموا بقياس ذلك باستخدام بيانات حقيقية من ملايين الدردشات لمستخدمين حقيقيين. وقد نظروا إلى ثلاث طرق رئيسية يتغير بها "مشهد المحادثة":
الزمن ("مواسم" المحادثة):
- التشبيه: في الشتاء، يرتدي الناس المعاطف. في الصيف، يرتدون السراويل القصيرة. الطقس يتغير، لذا تتغير احتياجات الناس.
- النتيجة: بمرور الوقت، يصبح المستخدمون أكثر ذكاءً وتحديداً. في البداية، كان الناس يطرحون أسئلة بسيطة مثل "اكتب جملة". لاحقاً، بدأوا يطلبون تنسيقات معقدة ومنظمة مثل "اكتب أمراً لمولد صور بهذه القواعد المحددة". واجه الذكاء الاصطناعي الذي تدرب على أسئلة "الشتاء" صعوبة في التعامل مع طلبات "الصيف".
مجموعات المستخدمين ("الجيران الجدد"):
- التشبيه: تخيل مقهى يخدم عادةً موظفي المكاتب الذين يريدون قهوة سوداء سريعة. ثم، انتقلت مجموعة من الطلاب للعيش في المنطقة ويريدون "لاتيه" معقداً ومليئاً بالسكر مع رغوة إضافية. إذا كان "الباريستا" يعرف فقط كيفية صنع القهوة السوداء، فسيكون الزبائن الجدد غير راضين.
- النتيجة: تستخدم مجموعات مختلفة من الناس الذكاء الاصطناعي بطرق مختلفة. "المستخدمون المتمرسون" (الذين يطرحون الكثير من الأسئلة) يميلون لاستخدام القوالب والنصوص البرمجية. أما "المستخدمون العاديون" فيطرحون أسئلة عشوائية وإبداعية أكثر. عندما حاول ذكاء اصطناعي تدرب على المستخدمين العاديين خدمة المستخدمين المتمرسين، تعثر بشدة.
الجغرافيا ("اللهجات المحلية"):
- التشبيه: طباخ تدرب في إيطاليا يعرف كيف يصنع باستا مثالية. إذا طلبت منه صنع نوع معين من "الباربيكيو" الأمريكي، فقد يعاني لأن "ملف النكهة" للطلب مختلف.
- النتيجة: الناس في مناطق مختلفة من العالم (حتى عند التحدث بالإنجليزية) يطرحون أسئلة بنكهات ثقافية، وهياكل جمل، ولغات عامية مختلفة. الذكاء الاصطناعي الذي تدرب على مستخدمين في كاليفورنيا قدم أداءً سيئاً عندما طُلب منه الإجابة على أسئلة من مستخدمين في طوكيو أو باريس، رغم أن الجميع كان يتحدث الإنجليزية.
النتيجة الصادمة: "انخفاض بنسبة 73%"
أجرى الباحثون تجربة ضخمة. قاموا بتدريب نماذج الذكاء الاصطناعي على بيانات "قديمة"، ثم اختبروها على بيانات "جديدة" من المستقبل أو من مجموعات مختلفة.
كانت النتيجة دراماتيكية:
- عندما واجه الذكاء الاصطناعي تغيراً زمنياً (مستخدمين مستقبليين)، انخفض أداؤه بنحو 44%.
- عندما واجه الذكاء الاصطناعي تغيراً في مجموعة المستخدمين (أنواع جديدة من الناس)، انخفض أداؤه بنسبة 88%.
- عندما واجه الذكاء الاصطناعي تغيراً جغرافياً (مواقع مختلفة)، انخفض أداؤه بنسبة 88%.
الخلاصة: حتى التغيير "المتوسط" في كيفية تحدث الناس مع الذكاء الاصطناعي يتسبب في فقدان الذكاء الاصطناعي لقدرته على اتباع التعليمات. الأمر يشبه طالباً درس بجد لاختبار في الرياضيات، لكنه حضر لاختبار في الفيزياء. هو يعرف المادة، لكن السياق تغير لدرجة أنه لا يستطيع تطبيق ما تعلمه.
لماذا يهم هذا الأمر (ما الفائدة؟)
حالياً، تقوم الشركات بتدريب الذكاء الاصطناعي على بيانات من العام الماضي ثم تطلقه للأبد. تثبت هذه الورقة البحثية أن هذه فكرة سيئة.
- تأثير "الخبز الفاسد": تماماً كما يصبح الخبز قديماً وفاقداً لطراوته، تصبح نماذج الذكاء الاصطناعي "قديمة" (Stale) مع تطور سلوك المستخدمين.
- الحاجة إلى المراقبة: لا يمكننا مجرد تدريب الذكاء الاصطناعي مرة واحدة ونسيانه. نحن بحاجة إلى مراقبة (Monitor) كيفية تحدث الناس معه باستمرار. إذا رأينا أن "نكهة" الأسئلة تتغير، فنحن بحاجة لإعادة تدريب الذكاء الاصطناعي ليتناسب مع الواقع الجديد.
ملخص في جملة واحدة
نماذج الذكاء الاصطناعي تشبه الطهاة الذين يعلقون في الماضي؛ إذا لم نقم بتحديث تدريبهم باستمرار ليتناسب مع كيفية تحدث الناس الحقيقيين اليوم، فسوف يتوقفون سريعاً عن كونهم مفيدين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.