🤖 machine learning

Benchmarking the Residual: What Long-Horizon Evaluations Add Beyond Matched Short-Task Performance

تجادل هذه الورقة الموقفية بأنه لكي يتم الادعاء بصرامة بوجود "فشل طويل الأمد"، يجب على المعايير المرجعية أن تقيس "بقايا الأفق" — وهي فجوة الأداء بين النجاح الفعلي للمهمة الكاملة والتنبؤ المرجعي المستمد من مهام قصيرة المدى متطابقة — للتمييز بين التدهور الحقيقي وبين مجرد تراكم الأخطاء العادية.

المؤلفون الأصليون: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

نُشر 2026-07-31

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الطريق الطويل إلى الديار: لماذا تضل الذكاءات الاصطناعية طريقها في الرحلات الطويلة

تخيل أنك تعلم روبوتًا ذكيًا جدًا، ولكنه نساي قليلاً، كيف يحل سلسلة من الألغاز. في عالم الذكاء الاصطناعي، يُطلق على هذا الروبوت اسم "الوكيل" (agent)، والألغاز هي المهام التي يتعين عليه إكمالها. أحيانًا، يُطلب من الروبوت القيام بشيء واحد صغير، مثل إصلاح خطأ مطبعي واحد في مستند. وفي أحيان أخرى، يُطلب منه القيام برحلة "طويلة المدى" (long-horizon)، مما يعني حل مشكلة ضخمة متعددة الخطوات تتطلب التخطيط، واستخدام الأدوات، وتذكر ما حدث في البداية تمامًا. فكر في الأمر كفرق بين طلب من صديق لك أن يحضر كوبًا من الماء، وبين طلبه أن يخطط لرحلة برية عبر البلاد، ويتعامل مع حركة المرور، ويصلح إطارًا مثقوبًا، ثم يطهو العشاء، كل ذلك دون أن يصاب بالارتباك.

لقد لاحظ العلماء شيئًا مقلقًا: كلما طالت هذه الرحلات، بدأ الروبوت يفشل بشكل متزايد. الأمر لا يقتل في كون الرحلة أطول فحسب؛ بل يبدو أن الروبوت يصبح أسوأ كلما تقدم في المسير. ولكن هنا يكمن السؤال الكبير: هل يفشل الروبوت لأن الخطوات اللاحقة أصبحت في الواقع أصعب، أم أنه يفشل لأنه تعب، أو ارتبك بسبب ملاحظاته الخاصة، أو أفسد خطوة سابقة أدت إلى إفساد بقية الرحلة؟ يغوص هذا البحث في ذلك الغموض، محاولاً معرفة ما إذا كان الروبوت سيئًا في الرحلات الطويلة فحسب، أم أنه في الواقع يؤدي بشكل جيد في كل خطوة على حدة ولكنه يتعثر بسبب طول المغامرة.

الفكرة الكبرى للورقة البحثية: "بواقي الأفق" (The Horizon Residual)

يقول مؤلفو هذه الورقة، وهم فريق من شركة "تنسنت" (Tencent) ومؤسسات أخرى، في جوهر الأمر: "توقفوا عن لوم طول الرحلة على الحادث!" إنهم يجادلون بأنه عندما نرى ذكاءً اصطناعيًا يفشل في مهمة طويلة، فإننا نفترض غالبًا أن المهمة نفسها أصبحت صعبة للغاية. ولكن ربما كان بإمكان الذكاء الاصطناعي القيام بكل خطوة ببراعة لو بدأ من جديد لكل واحدة منها. المشكلة قد تكمن فقط في تراكم الأخطاء، أو في ارتباك الروبوت بسبب تاريخ أفعاله الطويل.

لإثبات ذلك، يقترحون طريقة جديدة ذكية لاختبار الروبوتات تسمى "بواقي الأفق" (Horizon Residual).

التشبيه: سباق التتابع مقابل العدو المنفرد

تخ_يل سباق تتابع حيث يتعين على أربعة عداءين تمرير العصا لإنهاء السباق.

الركض طويل المدى (الاختبار الحقيقي): تراقب الفريق وهو يركض الـ 400 متر كاملة. إذا أسقطوا العصا مرة واحدة، يخسر الفريق بأكمله.
الركض قصير المدى (المعيار المرجعي): تأخذ نفس العدائين الأربعة وتجعل كل منهم يركض مرحلة الـ 100 متر بشكل فردي، بدءًا من حالة جديدة ونقية في كل مرة. وتقيس عدد المرات التي ينجح فيها كل منهم في مرحلته الخاصة.

إذا نجح العداء (أ) بنسبة 80% من المرات، والعداء (ب) بنسبة 80%، والعداء (ج) بنسبة 80%، والعداء (د) بنسبة 80%، يمكنك إجراء بعض العمليات الحسابية للتنبؤ بنجاح الفريق. إذا كانوا يركضون بشكل مستقل، فيجب أن ينجح الفريق بنسبة 41% تقريبًا (0.8 × 0.8 × 0.8 × 0.8).

الآن، إليك الجزء السحري. إذا أجريت سباق التتابع الفعلي ونجح الفريق بنسبة 10% فقط، فهناك فجوة كبيرة بين ما كنت تتوقعه (41%) وما حدث بالفعل (10%). يطلق المؤلفون على هذه الفجوة اسم "بواقي الأفق" (Horizon Residual).

ماذا يخبرنا "الباقي"

هذا "الباقي" هو رقم يخبرك بمدى سوء أداء الروبوت في الرحلة الطويلة مقارنة بما كان ينبغي أن يفعله بناءً على مهاراته في الرحلات القصيرة.

إذا كان الرقم صفرًا: فإن الروبوت يفشل تمامًا كما هو متوقع لمجرد وجود المزيد من الخطوات التي قد يرتكب فيها أخطاء. إنه مجرد "تراكم للأخطاء" (error compounding).
إذا كان الرقم مرتفعًا: فإن الروبوت يؤدي بشكل أسوأ بكثير مما هو متوقع. هذا يشير إلى أن شيئًا غريبًا يحدث. ربما يتشتت انتباه الروبوت بسبب تاريخ نصوصه الطويل (وهي مشكلة يسمونها "تعفن السياق" أو context rot)، أو ربما ينسى الهدف الأصلي، أو ربما أفسدت خطوة صغيرة في البداية البيئة تمامًا للخطوات اللاحقة.

تجادل الورقة بأننا لا يمكننا مجرد النظر إلى معدل الفشل النهائي والقول: "المهام الطويلة صعبة". يجب علينا حساب هذا "الباقي" أولاً. إذا كان "الباقي" مرتفعًا، فعندئذٍ نعلم أن لدينا لغزًا حقيقيًا نحتاج لحله حول سبب معاناة الروبوت مع السياقات الطويلة.

ما الذي استبعدوه

المؤلفون واضحون جدًا بشأن ما لا تهدف إليه هذه الطريقة.

هي ليست عصا سحرية تخبرك فورًا لماذا فشل الروبوت. فوجود "باقي" مرتفع يشير فقط إلى وجود عدم تطابق؛ إنه لا يسمي الجاني. لا تزال بحاجة إلى إجراء المزيد من التجارب (مثل إعادة ضبط ذاكرة الروبوت أو ضغط تاريخه) للعثور على السبب المحدد.
هي لا تقول إن المهام الطويلة سهلة. فهم يعترفون بأن المهام الطويلة أصعب لأن هناك ببساطة فرصًا أكثر لارتكاب الخطأ. الورقة تريد فقط الفصل بين "زيادة فرص الفشل" وبين "تحول المهمة إلى صعوبة سحرية".

ما مدى ثقتهم؟

هذه الورقة هي "ورقة موقف" (position paper)، مما يعني أنها تقترح طريقة تفكير جديدة ومجموعة جديدة من القواعد لكيفية اختبار الذكاء الاصطناعي. لم يجروا تجربة ضخمة جديدة تثبت أن نظريتهم هي الحقيقة المطلقة لكل روبوت في العالم. بدلاً من ذلك، هم يقولون: "انظروا إلى كل البيانات التي لدينا بالفعل. عندما ننظر إليها بهذه الطريقة، فإنها تبدو أكثر منطقية".

إنهم يشيرون إلى دراسات موجودة حيث فشلت الروبوتات في مهام طويلة لكنها نجحت في مهام قصيرة، مما يوحي بأن "الفشل طويل المدى" قد يكون وهمًا ناتجًا عن كيفية قياسنا للأمور. ويقترحون أنه إذا بدأنا في استخدام طريقة "بواقي الأفق" الخاصة بهم، فسنتوقف عن ارتكاب الأخطاء في تشخيص مشكلات الذكاء الاصطناعي. إنهم واثقون من أن هذه الطريقة ضرورية للمضي قدمًا، لكنهم يدعون علماء آخرين لتجربتها ومعرفة مدى صمودها.

الخلاصة

باختصار، هذه الورقة هي دعوة للعمل للعلماء للتوقف عن التخمين. بدلًا من مجرد القول: "فشل الذكاء الاصطناعي في المهمة الطويلة"، يريدون منا أن نقول: "فشل الذكاء الاصطناعي في المهمة الطويلة، لكن كان ينبغي أن ينجح بنسبة 40% بناءً على مهاراته القصيرة. وبما أنه نجح بنسبة 10% فقط، فهناك فجوة بنسبة 30% نحتاج إلى التحقيق فيها".

إنها تحول الشكوى الغامضة من "المهام الطويلة صعبة" إلى علم دقيق وقابل للقياس. الأمر يشبه إدراك أن سيارتك ليست معطلة لأن الرحلة طويلة؛ بل هي معطلة لأنك نسيت فحص الزيت في أول توقف، والآن المحرك يخرج دخانًا. "بواقي الأفق" هي الأداة التي تساعدنا على فحص الزيت قبل أن نلوم المسافة.

ملخص تقني: قياس متبقي الأفق (Benchmarking the Residual)

بيان المشكلة

تُظهر اختبارات الأداء (benchmarks) طويلة المدى لوكلاء النماذج اللغوية باستمرار أن معدلات النجاح تنخفض مع امتداد طول المهام. ومع ذلك، يجادل البحث بأن مجرد الانخفاض الخام في الأداء النهائي (end-to-end) غير كافٍ لتشخيص آليات الفشل الكامنة. فقد يكون انخفاض معدل النجاح في مهمة طويلة ناتجاً ببساطة عن تراكم الأخطاء العادي (الاحتمالية الإحصائية للفشل التي تزداد مع عدد المراحل المستقلة) بدلاً من كونه قصوراً خاصاً بـ "الأفق الطويل" مثل تدهور السياق، أو تلوث الحالة، أو انهيار التخطيط.

غالباً ما تخلط الاختبارات الحالية بين ثلاثة مصادر متميزة لتدهور الأداء:

تراكم الأخطاء (Error Compounding): توفر مراحل أكثر فرصاً أكبر للفشل، حتى لو ظلت صعوبة المراحل الفردية دون تغيير.
عمل محلي أصعب (Harder Local Work): قد تحتوي المهام الأطول بطبيعتها على مراحل أكثر غموضاً أو تخصصاً.
الاعتماد على التاريخ/الحالة (History/State Dependence): يجعل تراكم السياق، أو مخرجات الأدوات، أو الأخطاء السابقة الخطوات اللاحقة أكثر صعوبة (وهو ما يسمى التدهور الناجم عن المسار أو تعفن السياق - context rot).

بدون التمييز بين هذه العوامل، لا يمكن لمنحنى الأداء المتناقص أن يحدد ما إذا كان الوكيل يفشل لأن المهمة طويلة، أو لأن المراحل صعبة، أو لأن تاريخه يؤدي فعلياً إلى تدهور أدائه المستقبلي.

المنهجية

يقترح البحث إطاراً تشخيصياً يرتكز على متبقي الأفق ( $\Gamma_H$ )، وهو مقياس يقارن الأداء الفعلي للمهمة كاملة مقابل توقع أساسي مستمد من تقييمات المراحل القصيرة المتطابقة.

1. التفكيك ونقاط التفتيش (Decomposition and Checkpoints)

تتطلب المنهجية تفكيكاً مسبقاً للمهمة الطويلة إلى مراحل دلالية قابلة للتحقق (مثل "إيجاد خطأ برمي" أو "تحديث واجهة برمجة التطبيقات") بدلاً من مجرد عدد عشوائي من الدورات.

نقاط التفتيش (Checkpoints): يتم تشغيل الوكيل المنشور (النموذج، المطالبة/prompt، الأدوات، الذاكرة) من نقاط تفتيش معلنة. تتضمن نقطة التفتيش حالة البيئة المحددة، التاريخ المرئي، المعلومات المكشوفة، والميزانية المحلية.
الاحتمالات الشرطية ( $q_i$ ): لكل مرحلة $i$ ، يتم قياس احتمال النجاح بشرط اكتمال جميع المراحل السابقة المطلوبة وأن الوكيل بدأ من نقطة التفتيش المعلنة: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$ .

2. خط الأساس الناتجي (The Product Baseline - $P_{expected}$ )

باستخدام قاعدة السلسلة، يبني البحث توقعاً أساسياً قابلاً للتدقيق لمعدل نجاح المهمة الكاملة عبر ضرب احتمالات المراحل الشرطية:
$P_{expected} = \prod_i q_i$
يفترض هذا الخط الأساسي أنه إذا استطاع الوكيل النجاح في كل مرحلة بشكل مستقل تحت ظروف متطابقة، فإن نجاح المهمة الكاملة يجب أن يكون حاصل ضرب تلك الاحتمالات. ويقر البحث بأن هذا هو "نموذج صفري" قد لا يأخذ في الاعتبار التعافي، أو المسارات المتفرعة، أو تغيرات الحالة، ويقترح توسعات (مثل محاكيات نقاط التفتيش) للمهام غير المتجانسة.

3. متبقي الأفق ( $\Gamma_H$ )

المقياس الجوهري هو النسبة اللوغاريتمية بين النجاح المتوقع (من الخط الأساسي) والنجاح الملحوظ ( $P_{observed}$ ) لعملية تشغيل طبيعية كاملة:
$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$

$\Gamma_H > 0$ : يؤدي التشغيل الطبيعي إلى أداء أسوأ من توقع المرحلة القصيرة المتطابقة، مما يشير إلى وجود عدم تطابق (تدهور محتمل ناتج عن المسار).
$\Gamma_H \approx 0$ : يتوافق التشغيل الطبيعي مع التوقع، مما يشير إلى أن انخفاض الأداء ناتج عن تراكم الأخطاء العادي.
$\Gamma_H < 0$ : يتفوق التشغيل الطبيعي على التوقع (على سبيل المثال، بسبب آليات التغذية الراجعة أو التعافي التي تم إغفالها في الخط الأساسي).

4. التوصيفات الهيكلية (Structural Annotations)

يدعو البحث إلى تقديم توصيفين متكاملين للفصل بين هيكل المهمة وصعوبتها المحلية:

عرض العمل ( $N_{work}$ ): عدد المراحل المطلوبة والقابلة للتحقق بشكل منفصل.
عمق التبعية ( $H_{dep}$ ): عمق أطول سلسلة تبعية مطلوبة.
يسمح هذا بتمييز المهام التي هي "طويلة" بسبب الحجم (خطوات مستقلة كثيرة) عن المهام التي هي "طويلة" بسبب التبعية العميقة بين المراحل.

المساهمات الرئيسية

التمييز التشخيصي: يجادل البحث بضرورة معاملة انخفاض الأداء الخام كنتيجة وصفية للنشر، ومتبقي الأفق كتشخيص منفصل يعتمد على البروتوكول. ويؤكد أن الادعاء بوجود "فشل في الأفق الطويل" يتطلب دليلاً على أن التشغيل الكامل يختلف عن خط أساس مبني من مراحل قصيرة متطابقة.
مقترح خط أساس قابل للتدقيق: يقترح خط أساس ناتجي بسيط وقابل للتدقيق ( $P_{expected}$ ) ويحدد توسعات (نماذج شرطية، محاكيات نقاط التفتيش) للمهام ذات التفرع أو التعافي. ويشدد على ضرورة الإعلان عن الخط الأساسي قبل تقييم التشغيل الطبيعي.
أجندة التقارير والتدخل: يحدد البحث متطلبات تقرير محددة (التفكيك، حالات نقاط التفتيش، الميزانيات) وأجندة للتدخل. ويفترض أن المتبقي ليس تفسيراً سببياً، بل هو إشارة لتوجيه التجارب المستهدفة (مثل إعادة ضبط التاريخ، إصلاح الحالة، أو ضغط السياق) لتحديد الآلية المحددة للفشل.

النتائج والأدلة

لا يقدم البحث نتائج تجريبية جديدة، بل يجمع الأدبيات الموجودة لإثبات ضرورة هذا الإطار:

SWE-Milestone مقابل التنفيذ المستمر: غالباً ما تُظهر المعالم المستقلة نجاحاً بنسبة >80%، بينما ينخفض التطور المستمر على نفس الكود البرمجي إلى ~38%. ويشير البحث إلى أنه بدون دمج الدرجات المستقلة في سلسلة مضادة للواقع، يظل هذا الفارق غامضاً.
ChainSWE: يُظهر انخفاضاً من دقة 58.9% (حالة سابقة صحيحة من طرف "أوراكل") إلى 36.5% (حالة سابقة ناتجة عن الوكيل)، مما يوضح قيمة إصلاح الحالة، لكنه يشير أيضاً إلى غياب التنبؤ المتسلسل المكون.
SWE-Marathon: يُظهر أن ضغط السياق يرتبط بالفشل، ولكن بدون تدخلات متطابقة، لا يتضح ما إذا كان الضغط هو ما يسبب الفشل أم أنه مجرد علامة على المسارات الفاشلة.
Illusion: تُظهر تلاعبات التاريخ المحكومة أن معدلات الخطأ في التاريخ السابق تقلل من الدقة اللاحقة، مما يعزل تأثير المحتوى عن الطول.

يراجع البحث اختبارات تمثيلية (مثل SWE-EVO، NL2Repo-Bench، SWE-Chain، إلخ) ويخلص في الجدول 4 إلى أن لا دراسة حالية تطبق التسلسل الكامل: القياس المحلي المتطابق، التكوين المعلن، التشغيل الطبيعي، التعامل مع توافق الحالة، التدخل المستهدف، وتحليل حساسية البروتوكول.

الأهمية والادعاءات

تكمن أهمية البحث في إعادة صياغة "الأطول هو الأصعب" من ملاحظة وصفية إلى برنامج بحثي قابل للتدقيق.

النشر مقابل التشخيص: يوضح البحث أن اختبارات النشر تسأل هل ينجح النظام، بينما تسأل الاختبارات التشخيصية لماذا يفشل. ويقوم متبقي الأفق بجسر هذه الفجوة عبر قياس الفارق بين الكفاءة المحلية والأداء العالمي.
الانضباط السببي: يزعم المؤلفون أن المتبقي ليس جواباً سببياً. فالمتبقي الموجب يشير فقط إلى عدم تطابق مع الخط الأساسي المختار، وهو ما يوجه الباحثين إلى فرضيات محددة (مثل "هل هو تعفن السياق؟") والتي يجب اختبارها بعد ذلك عبر تدخلات مستهدفة.
القابلية للتفنيد: يمكن تفنيد هذا الموقف إذا:
1. كان إشارة $\Gamma_H$ غير مستقرة عبر البروتوكولات المقبولة.
2. تعذر بناء نقاط تفتيش متطابقة بتكلفة معقولة.
3. لم يوفر المتبقي أي معلومات تشخيصية إضافية تتجاوز مقارنات "المستمر مقابل المعاد ضبطه".

في النهاية، يجادل البحث بأنه ما لم يصاحب المنحنى المتناقص تنبؤ تكويني محدد مسبقاً وما ينتج عنه من متبقي، فإن الادعاءات حول آليات الأفق الطويل تظل غير مرخصة. إن هذا الإطار يحول ملاحظة الفشل إلى تحقيق مهيكل في التاريخ، والحالة، والمعلومات، والتعافي.