The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World
تُثبت هذه الورقة أن طرق التقييم القائمة على إعادة التشغيل الساكنة تفشل جوهرياً في تقييم موجّهات وكلاء النماذج اللغوية الكبيرة، لأن استبدال مخرجات النموذج في المسارات المسجلة يتجاهل التباعد المتتالي لأفعال الوكيل اللاحقة، مما يؤدي إلى مقاييس أداء مضللة لا تعكس النتائج في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة فضاء تشق طريقها عبر حقل كويكبات غادر. لديك أسطول من الطيارين الآليين المختلفين: بعضهم سريع ورخيص لكنه يرتكب أخطاء صغيرة، والبعض الآخر بطيء، ومكلف، ودقيق للغاية. ولتوفير الوقود، قررت تغيير الطيارين في منتصف الرحلة بناءً على ما يحدث الآن. إذا كان المسار خالياً، تستخدم الطيار الرخيص؛ وإذا ظهر كويكب ضخم، تنتقل إلى الخبير. هذا هو جوهر "التوجيه الوكيل" (agentic routing) في عالم النماذج اللغوية الكبيرة (LLMs). هذه النماذج هي العقول وراء الوكلاء الذكيين الذين يمكنهم كتابة الأكواد البرمجية، أو حل المسائل الرياضية، أو لعب الألعاب عبر اتخاذ سلسلة من الخطوات. السؤال الكبير للمهندسين هو: كيف نعرف أن استراتيجية تبديل الطيارين التي نتبعها تعمل حقاً؟
تقليدياً، اختبر العلماء هذه الاستراتيجيات مثل مخرج سينمائي يراجع نصاً مسرحياً. إنهم ينظرون إلى رحلة مسجلة (مسار) حيث طار طيار واحد طوال الطريق. ثم يتظاهرون قائلين: "ماذا لو كنا قد بدلنا الطيار عند الخطوة العاشرة؟". يقومون ببساطة بلصق إجابات الطيار الجديد في النص القديم ويرون ما إذا كانت النهاية تبدو جيدة. يُسمى هذا "تقييم إعادة التشغيل" (replay evaluation). وهي طريقة رخيصة وسريعة، وتفترض أنه إذا غيرنا الطيار عند الخطوة العاشرة، فإن بقية رحلة السفينة ستظل كما هي تماماً كما في التسجيل الأصلي. ولكن في العالم الحقيقي، تعمل السفينة الفضائية كحلقة مغلقة: فعل الطيار في الخطوة العاشرة يغير المشهد في الخطوة الحادية عشرة، مما يغير القرار في الخطوة الثانية عشرة، وهكذا دواليك. إذا رأى الطيار الجديد حقل كويكبات مختلفاً بسبب حركته السابقة، فإن النص بأكمله سيتغير. تسأل هذه الورقة البحثية سؤالاً بسيطاً ومرعباً: هل طريقة اختبار "النص السينمائي" هذه تقيس في الواقع واقعاً خاطئاً؟
قرر الباحثون في جامعة كارنيجي ميلون التوقف عن التخمين والبدء في الاختبار الفعلي. فبدلاً من تحرير نص سينمائي، قاموا ببناء آلة للسفر عبر الزمن. أخذوا وكلاء ذكاء اصطناعي حقيقيين يحلون مشكلات هندسة البرمجيات، وفي لحظات محددة، قاموا بـ "تفرع" الخط الزمني. لقد خلقوا كونين متوازيين: أحدهما يستمر فيه الطيار الأصلي في رحلته، والآخر يتم فيه استبداله بنموذج مختلف. والأهم من ذلك، أنهم لم يكتفوا بلصق إجابات جديدة في القصة القديمة؛ بل تركوا الطيار الجديد يتولى القيادة فعلياً، ويتفاعل مع بيئة الكمبيوتر، ويرى ما سيحدث حقاً بعد ذلك. لقد أجروا حوالي 900 تجربة موازية لرؤية مدى تباعد القصص.
كانت النتائج صدمة للنظام. الافتراض بأن بقية الرحلة ستظل كما هي كان خاطئاً تماماً. عندما يتم تبديل النماذج، لا يكتفي الطيار الجديد باتباع المسار الموجود، بل يعيد كتابة المستقبل بأكمله. في المراحل الأولى من المهمة، تسبب تبديل النماذج في جعل الوكيل يغير رأيه في 74% إلى 77% من أفعاله التالية مباشرة. وبحلول الوقت الذي نظر فيه الباحثون إلى الرحلة بأكملها، كان الطيار الجديد قد أعاد كتابة 61% إلى 94% من جميع الخطوات التي تلت عملية التبديل. ولوضع ذلك في سياق المقارنة، إذا قمت بتبديل طيار في لعبة فيديو، فإن عالم اللعبة سيتغير بشكل جذري لدرجة أن "النص" الذي كنت تحاول قراءته سيصف مستوى لم يعد موجوداً.
كما وجدت الدراسة أن طريقة "إعادة التشغيل" تعاني من عمى خطير تجاه النجاح. في تجاربهم، رصدوا خمس لحظات محددة حيث أدى تبديل الطيار فعلياً إلى تغيير نتيجة المهمة — إما بإنقاذ مهمة فاشلة أو بخسارة مهمة تم حلها. طريقة "النص السينمائي" القديمة فاتتها كل واحدة من هذه اللحظات الحرجة. فقد توقعت الفشل بينما نجح الطيار الجديد فعلياً، وتوقعت النجاح بينما فشل الطيار الجديد فعلياً. قطعة الكود التي كتبها الطيار الجديد فعلياً لم تكن تشبه القطعة التي تنبأت بها طريقة إعادة التشغيل؛ بل كانتا غير مرتبطتين تماماً.
علاดับ ذلك، اكتشف الباحثون أن "الضجيج" في النظام يعتمد بشكل كبير على كيفية تشغيل النماذج. فحتى عند استخدام نفس النموذج مرتين، لم تكن النتائج متطابقة دائماً. إذا تم تقديم النموذج باستخدام نوع معين من ضغط الأجهزة (FP8)، فإن عمليات "الضبط" (حيث لم يحدث تبديل) تباعدت بنسبة 90% من المرات. ولكن مع طريقة ضغط أخرى (AWQ)، ظلت العمليات متطابقة تقريباً. وهذا يعني أن حتى المعيار الذي تتم المقارنة به مهتز، مما يجعل طريقة "إعادة التشغيل" أقل موثوقية.
تخلص الورقة البحثية إلى أن الطريقة الحالية لاختبار توجيه الذكاء الاصطتي هو تقييم لعالم خاطئ. طريقة "إعادة التشغيل" تشبه الحكم على طاهٍ من خلال قراءة وصفة كتبها بالأمس، متجاهلة حقيقة أن المكونات في المطبخ قد تغيرت. وتقترح الورقة أنه لفهم كيفية توجيه وكلاء الذكاء الاصطناعي حقاً، نحتاج إلى التوقف عن التظاهر بأن المستقبل ثابت، والبدء في الاختبار عبر تشغيل الوكلاء في واقع موازٍ ومتفرع. لقد أطلق الباحثون أدواتهم وبياناتهم لكي يتوقف الآخرون عن التخمين ويبدأوا في رؤية الطريقة الحقيقية، الفوضوية والمثيرة للاهتمام، التي يتصرف بها هؤلاء الوكلاء عندما تتغير قواعد اللعبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.