💬 NLP

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

تجادل هذه الورقة بأنه في حين أن معظم التحولات الظاهرة في تقدم الذكاء الاصطناعي نحو المهام الأكثر صعوبة هي نتاج تأثيرات سقفية وارتفاع في القدرة العامة، إلا أن تحسناً حقيقياً ومتميزاً في حل أصعب مشكلات البرمجة التنافسية قد ظهر في النماذج الصادرة بعد سبتمبر 2024، وهو اكتشاف تم عزله من خلال ضبط المتغيرات المربكة المتعلقة بالهياكل المساعدة باستخدام معيار LiveCodeBench.

المؤلفون الأصليون: Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد لوحة صدارة في لعبة فيديو حيث يحاول اللاعبون حل ألغاز تزداد صعوبة. لسنوات، كانت القصة بسيطة: "اللاعبون يتحسنون". نحن نقيس ذلك برقم واحد، مثل متوسط النتيجة أو مقياس "الوقت الذي يجب تحطيمه". الأمر يشبه القول إن عداءً أصبح أسرع لأن متوسط وقت سباقه انخفض. ولكن ماذا لو لم يصبح أسرع في كل شيء؟ ماذا لو أصبح أسرع فقط في المسارات الجبلية الصعبة حقاً، بينما ظل سرعته على الطرق المستوية كما هي تماماً؟ أو والأسوأ من ذلك، ماذا لو كان "الوقت الأسرع" مجرد وهم ناتج عن حقيقة أنه كان بارعاً بالفعل في المسارات السهلة لدرجة أنه لم يكن بإمكانه التحسن كثيراً هناك، مما جعل المسارات الصعبة تبدو وكأنها تتحسن بالمقارنة؟

هذا هو اللغز الذي يحاول العلماء حله باستخدام الذكاء الاصطناعي (AI). لدينا هذه النماذج الضخمة من الذكاء الاصطناعي التي يُفترض أنها تصبح أكثر ذكاءً كل يوم. غالباً ما يلخص الباحثون هذا التقدم برقم واحد "سكالر" (scalar)—أي درجة بسيطة تزداد بمرور الوقت. لكن الرقم الواحد يمكن أن يخفي الكثير من الأسرار. لا يمكنه إخبارنا ما إذا كان الذكاء الاصطناعي يصبح أكثر ذكاءً بشكل موحد، أم أنه فقط يتحسن قليلاً في الأشياء السهلة بينما يتقن فجأة أصعب المشكلات وأكثرها تعقيداً. يسأل هذا البحث سؤالاً حاسماً: هل تقدم الذكاء الاصطناعي هو مجرد "رفع مستوى" عام، أم أن هناك تغييراً خاصاً وغريباً يحدث تحديداً عندما تصبح المهام صعبة جداً حقاً؟

قرر مؤلفو هذا البحث، وهم فريق من الباحثين من جامعات مرموقة، التحقيق في ذلك باستخدام خدعة ذكية تسمى "CurveShift". أرادوا فصل "المستوى" (مدى ذكاء الذكاء الاصطناعي بشكل عام) عن "الشكل" (كيف يتغير أداؤه مع زيادة صعوبة المهام). فكر في الأمر كشخصية في لعبة فيديو؛ إذا منحت الشخصية المزيد من الصحة والقوة (إزاحة في المستوى - Level Shift)، فسوف يهزم الأعداء السهلين والصعبين بشكل أفضل. ولكن إذا منحتها "مهارة وضع الصعوبة" (Hard-Mode Skill) تعمل فقط ضد الزعماء، فستسحق الزعماء بينما بالكاد تتحسن ضد الغيلان الضعفاء (Shape Change). السؤال الكبير هو: هل نماذج الذكاء الاصطناعي الخاصة بنا تصبح أقوى بشكل عام فحسب، أم أنها فتحت مهارة سرية لقتل الزعماء؟

بدأ الباحثون بالنظر في الكثير من البيانات من اختبارات الذكاء الاصطناعي السابقة. ووجدوا أن القصة الشائعة—وهي أن الذكاء الاصطناعي أصبح فجأة أفضل بكثير في المهام الأكثر صعوبة—قد تكون مجرد وهم في الغالب. فعندما استخدموا نموذجاً رياضياً قياسياً (يسمى نموذج راش - Rasch model) يفترض أن الذكاء الاصطناعي يصبح أكثر ذكاءً بشكل عام بمرور الوقت، استطاع النموذج في الواقع التنبؤ بـ "التحسن في المهام الصعبة" بشكل مثالي. يتضح أنك عندما تكون مثالياً بنسبة 99% في المهام السهلة، لا يمكنك التحسن كثيراً هناك. لذا، فإن أي تحسن صغير تراه في المهام الصعبة سيبدو ضخماً بالمقارنة. هذا يشبه "تأثير السقف": لا يمكنك ضرب السقف بقوة أكبر، لذا المكان الوحيد الذي يمكنك رؤية التقدم فيه هو الأرضية. يجادل البحث بأن معظم "هجرة" المكاسب نحو المهام الصعبة هي مجرد أثر إحصائي، وليست قدرة سحرية جديدة.

ومع ذلك، القصة لا تنتهي عند هذا الحد. فبعد تجريد "التحسن العام" الوهمي، وجد الباحثون تأثيراً حقيقياً ضئيلاً متبقياً. لقد ركزوا على نوع محدد من الاختبارات يسمى LiveCodeBench، وهو يشبه مسابقة برمجة تنافسية حيث يكتب البشر مشكلات ويحاول الذكاء الاصطناعي حلها. والأمر الحاسم هنا هو أن هذا الاختبار لا يستخدم أي "سقالات" أو أدوات إضافية؛ إنه مجرد محاولة خام من الذكاء الاصطناعي لكتابة الكود. وهذا مهم لأن النماذج الأحدث من الذكاء الاصطناعي غالباً ما تقترن في الاختبارات الأخرى بأدوات أحدث وأفضل، مما يجعل من المستحيل معرفة ما إذا كان الذكاء الاصطناعي قد أصبح أذكى أم أن الأدوات هي التي تحسنت. يقوم LiveCodeBench بعزل قوة دماغ الذكاء الاصطناعي الخام.

ما وجدوه كان مفاجئاً. حتى بعد حساب حقيقة أن النماذج الأحدث هي عموماً أكثر ذكاءً، كانت النماذج الصادرة بعد سبتمبر 2024 تحل المشكلات الأكثر صعوبة بشكل أفضل مما يتنبأ به أداؤها في المشكلات السهلة والمتوسطة. لم تكن قفزة هائلة، لكنها كانت حقيقية. يقدر المؤلفون هذا "الربح في العناصر الصعبة" بحوالي +0.40 لوجيت (وحدة قياس محددة للاحتمالية) تحت أكثر افتراضاتهم تحفظاً. وهذا يعني أن معدل الحل للمشكلات الأكثر صعوبة قفز من حوالي 18% إلى 25%.

لكن إليكم العقدة: هذا التأثير محدد للغاية. فهو يظهر بوضوح فقط عندما يعمل الذكاء الاصطناعي بمفرده دون "حمالة" أو فريق من الأدوات التي تساعده. في الاختبارات التي تستخدم فيها وكلاء الذكاء الاصطناعي أدوات (مثل تصفح الويب أو تشغيل الكود خطوة بخطوة)، لم يستطع الباحثون تحديد ما إذا كان التحسن ناتجاً عن الذكاء الاصطناعي أم عن الأدوات، لأن نماذج الذكاء الاصطناعي الجديدة تأتي دائماً مع أدوات جديدة. كان "التعزيز في العناصر الصعبة" مدفوعاً بأقوى نماذج "الاستنتاج" (تلك المصممة للتفكير خطوة بخطوة) وبدا أنه يساعد أكثر في المهام التي تتطلب دفعات قصيرة من التفكير العميق، وليس المهمات الطويلة والمستقلة.

إذن، ما هي الخلاصة؟ يشير البحث إلى أن السردية القائلة بأن الذكاء الاصطناعي أصبح فجأة "ذكاءً خارقاً" يمكنه التعامل مع أي مهمة صعبة هي في الغالب سراب إحصائي ناتج عن كيفية قياسنا للتقدم. الذكاء الاصطناعي يصبح بالفعل أكثر ذكاءً بشكل عام، وهذا يفسر معظم الضجيج الإعلامي. لكن، هناك شرارة صغيرة وحقيقية لشيء جديد: قدرة محددة على معالجة الألغاز المنطقية الأكثر صعوبة وتعقيداً بما يتجاوز مجرد كونها "أكثر ذكاءً بشكل عام". إنها ليست رصاصة سحرية تحل كل شيء، لكنها تحول حقيقي وقابل للقياس في كيفية تعامل هذه النماذج مع التحديات الأصعب، بشرط السماتدح لهم بالعمل دون مساعدة إضافية. ويؤكد المؤلفون بحذر أن هذا اكتشاف محدد لألغاز البرمجة ولا يعني بالضرورة أن الذكاء الاصطناعي جاهز لإدارة شركة كاملة أو إدارة مشروع معقد طويل الأمد بمفرده. إنها خطوة صغيرة وحقيقية للأمام في "الوضع الصعب" من التفكير، مخبأة تحت جبل من التحسن العام.

ملخص تقني: CurveShift: هل تقدم الوكيل (Agent) هو قيمة قياسية؟

بيان المشكلة

غالبًا ما يتم تلخيص التقدم في النماذج اللغوية الكبيرة (LLMs) والوكلاء باستخدام مقياس قياسي واحد، مثل درجة معيار مرجعي إجمالي، أو تقدير قدرة كامنة، أو معدل مضاعفة الأفق الزمني. وبينما تلتقط هذه الملخصات اتجاهات الأداء العام، إلا أنها تخلط بين ظاهرتين متمايزتين:

إزاحة المستوى (Level Shift): إزاحة تصاعدية موحدة في القدرة الإجمالية حيث يتحسن الأداء بشكل متناسب عبر جميع مستويات الصعوبة.
تغير الشكل (Shape Change): مكسب غير متناسب يتركز في المهام الصعبة، مما يعني تغيراً نوعياً في منحنى الاستجابة للصعوبة (مثل القدرات "الناشئة" في المهام الصعبة).

لا تستطيع الملخصات القياسية الحالية التمييز بين هذين النوعين. فإذا انتقلت المكاسب نحو المهام الأكثر صعوبة، فمن غير الواضح ما إذا كان ذلك يعكس تغيراً حقيقياً في ملف قدرة النموذج (تغير شكل) أم أنه مجرد أثر ناتج عن وصول القدرة القياسية المتصاعدة إلى تأثيرات السقف (إزاحة مستوى) في المهام السهلة. علاوة على ذلك، في الاختبارات المرجعية للوكلاء (agentic benchmarks)، يوجد متغير مربك: فالنماذج الأحدث تُقيّم عادةً باستخدام "هياكل" (scaffolds) أو أدوات تشغيل أحدث. هذا الارتباط الخطي بين عصر النموذج وعصر الهيكل يجعل من المستحيل عزو المكاسب إلى النموذج نفسه مقابل البنية التحتية للتقييم.

المنهجية

يقدم المؤلفون إطار تحليل CurveShift، الذي يفصل نمو القدرة الإجمالية عن المكاسب الخاصة بالصعوبة باستخدام نظرية الاستجابة للمفردة (IRT).

1. مصادر البيانات واستراتيجية التحديد

تستخدم الدراسة ثلاث مجموعات بيانات ولكنها تحدد التأثير الجوهري باستخدام LiveCodeBench، وهو معيار مرجعي للبرمجة التنافسية.

METR Time-Horizon & SWE-bench: اختبارات مرجعية للوكلاء حيث يكون عصر النموذج وعصر الهيكل مرتبطين خطياً. تعمل هذه كأدوات لإظهار الاتجاه "الظاهري" ولكن لا يمكنها عزل تأثير النموذج.
LiveCodeBench: معيار مرجعي بدون "هيكل" (no-scaffold)، حيث تولد النماذج الكود مباشرة من بيانات المسائل دون حلقة وكيل (agent loop). ومن الأهمية بمكان أنه يمتلك ترتيب صعوبة خارجي (بناءً على صعوبة المسابقات البشرية) مستقل عن أداء النموذج. وهذا يسمح للمؤلفين بفصل قدرة النموذج عن تحسينات الهيكل.
مجموعة البيانات: لوحة مكونة من 66 نموذجاً مؤرخاً (تمتد من 2019 إلى 2026) تم تقييمها على 1,055 مسألة (322 سهلة، 383 متوسطة، 350 صعبة).

2. الإطار الإحصائي

يستخدم التحليل نهج IRT طولي لاختبار الأداء التفاضلي للمفردة (DIF) عبر العصور (ما قبل وما بعد سبتمبر 2024، وهي نقطة التحول لـ "عصر الاستدلال").

الفرضية الصفرية (نموذج راش - Rasch Model): معلمة قدرة واحدة متصاعدة ( $\theta_m$ ) تفسر جميع تغيرات الأداء. احتمال النجاح هو $logit(p) = \theta_m - b_i$ .
الفرضية البديلة (نموذج Era-DIF): مؤشر "العصر" يتفاعل خصيصاً مع العناصر الصعبة. النموذج هو:
$logit(p_{mi}) = \theta_m - b_i + \delta \cdot post_m \cdot hard_i$
هنا، تمثل $\delta$ زيادة لوغاريتمية إضافية في احتمالية النجاح في العناصر الصعبة للنماذج التي ظهرت في "ما بعد العصر"، بما يتجاوز ما يتنبأ به أداؤها العام.

3. تفكيك CurveShift (تحليل حساسية مُثبَّت)

يفشل نموذج لوجستي ذو معلمتين (2PL) في التعامل مع هذه البيانات لأن التمييز ( $\alpha$ ) وتأثير العصر ( $\delta$ ) يكادان يكونان متداخلين، مما يؤدي إلى تقديرات غير مستقرة. ولحل ذلك، استخدم المؤلفون تصميم حساسية مُثبَّت (anchored sensitivity design):

تثبيت القدرة: تقدير قدرة النموذج ( $\hat{\theta}_m$ ) باستخدام العناصر السهلة والمتوسطة فقط. هذا يمنع بقايا العناصر الصعبة من أن تُمتص في تقدير القدرة.
تثبيت التمييز: ملاءمة النموذج على العناصر الصعبة مع تثبيت $\hat{\theta}_m$ $\hat{θ}_{m}$ كإزاحة. بدلاً من تقدير التمييز بحرية، قاموا بتثبيت معلمة تمييز العنصر الصعب ( $\alpha_{hard}$ $α_{ha r d}$ ) على شبكة من القيم: $\{0.55, 0.83, 1.00\}$ ${0.55, 0.83, 1.00}$ .
- $\alpha_{hard} = 1.00$ : يفترض تمييزاً متساوياً بين العناصر الصعبة والسهلة (تقدير متحفظ).
- $\alpha_{hard} = 0.83$ : تقدير غير منحاز.
- $\alpha_{hard} = 0.55$ : يمثل التمييز المنخفض الناتج عن عملية الثنائية (binarization).
تقدير $\delta$ : الإبلاغ عن تأثير العصر $\delta$ عبر هذه الشبكة. يتم تحديد عدم اليقين عبر "bootstrapping" عنقودي (التجميع حسب العنصر، المسابقة، وعائلة النموذج).

النتائج الرئيسية

1. الفرضية الصفرية القياسية تفسر معظم "الهجرة"

في بيانات METR Time-Horizon، يتم إعادة إنتاج "الهجرة" الملحوظة للمكاسب نحو المهام الصعبة (حيث ينتقل أسرع نطاق صعوبة يتحسن من السهل إلى المتوسط/الصعب بمرور الوقت) إلى حد كبير بواسطة نموذج راش بسيط بقدرة متصاعدة واحدة.

الآلية: مع ارتفاع القدرة الإجمالية، تصل العناصر السهلة إلى سقف الأداء (مما يؤدي لتسطح المنحنى)، بينما تقع العناصر المتوسطة في الجزء الأكثر انحداراً من المنحنى اللوجستي. هذا يخلق "هجرة ظاهرة" نحو المهام الصعبة دون أي تغيير حقيقي في شكل منحنى الاستجابة للصعوبة.
الاستنتاج: "الهجرة" هي في الأساس أثر قياس ناتج عن تأثيرات السقف والنمو القياسي، وليست تغيراً نوعياً في القدرة.

2. تأثير متبقٍ على العناصر الصعبة ينجو من التفكيك

بعد التحكم في إزاحة المستوى القياسية باستخدام تفكيك CurveShift على LiveCodeBench، يظل هناك تأثير متبقٍ صغير ولكن جوهري:

الحجم: تحت الافتراض المتحفظ لتساوي التمييز ( $\alpha_{hard} = 1.00$ )، تظهر نماذج "ما بعد العصر" (التي صدرت بعد سبتمبر 2024) مكسباً قدره +0.40 لوجيت في العناصر الصعبة بما يتجاوز ما يتنبأ به أداؤها في المهام السهلة/المتوسطة.
الأثر: هذا يرفع معدل الحل في أصعب المسائل من حوالي 18% إلى 25%.
القوة (Robustness): يظل التأثير إيجابياً عبر كامل الشبكة من قيم التمييز حتى $\alpha_{hard} \approx 1.22$ . كما أنه صامد عبر عائلات النماذج المختلفة (رغم أن النماذج القوية في سلسلة الاستدلال هي من تقود هذا التأثير) ومن مصادر مسابقات مختلفة (Codeforces و AtCoder).
الخصوصية: التأثير محدد بالمهام الصعبة التي تتطلب مسارات استدلال قصيرة (البرمجة التنافسية)، ولا يُلاحظ كخاصية عامة في مهام الاستقلالية طويلة الأمد في الاختبارات المرجعية للوكلاء حيث تشوش الهياكل (scaffolds) على الإشارة.

الأهمية والادعاءات

يدعي البحث تقديم تصحيح للسرد المتعلق بتقدم الوكلاء من خلال الفصل بين "المستوى" و"الشكل":

تقويض ادعاءات القدرات الناشئة: إن الهجرة الظاهرة للمكاسب نحو المهام الصعبة هي إلى حد كبير أثر لنمو القدرة القياسية وتأثيرات السقف، تماماً كما أظهرت "القدرات الناشئة" سابقاً أنها كانت آثاراً ناتجة عن مقاييس غير خطية.
عزل تأثير حقيقي: رغم التقليل من الشأن، يوجد تغير في "الشكل" حقيقي وأصغر حجماً. فالنماذج الصادرة بعد سبتمبر 2024 تحل أصعب المسائل بمعدل أكبر مما تتنبأ به نتائجها في المهام الأسهل، حتى عند التحكم في القدرة الإجمالية.
صلاحية الاختبار المرجعي: توضح الدراسة أن الاختبارات المرجعية القياسية للوكلاء (METR, SWE-bench) لا يمكنها حل هذا السؤال بسبب الارتباط الخطي بين عصور النماذج والهياكل. فقط الاختبار المرجعي بدون هيكل (LiveCodeBench) ذو ترتيب صعوبة خارجي يمكنه عزل القدرة الأصلية للنموذج.
نطاق الادعاء: يحدد المؤلفون ادعاءهم صراحة بمهام الاستدلال قصيرة الأمد (البرمجة التنافسية). هم لا يدعون أن هذا التأثير يمتد إلى الوكلاء المستقلين طويلي الأمد حيث تكون الهياكل جزءاً لا يتجزأ من تعريف المهمة.

يخلص البحث إلى أنه بينما يظل الاتجاه الإجمالي قياسياً في الغالب، فإن "تغير الشكل" المتركز في أصعب العناصر هو ظاهرة حقيقية وقابلة للقياس، خاصة في حقبة ما بعد سبتمبر 2024، وتقودها بشكل أساسي أقوى نماذج الاستدلال.