💬 NLP

FutureSim: Replaying World Events to Evaluate Adaptive Agents

تقدم الورقة البحثية FutureSim، وهو معيار مرجعي يعيد تشغيل أحداث من العالم الحقيقي تسلسلياً لتقييم قدرة الوكلاء الاصطناعيين على التنبؤ بالأحداث المستقبلية والتكيف عبر آفاق زمنية طويلة، مما يكشف عن فجوات كبيرة في الأداء بين النماذج الرائدة ويسلط الضوء على الحاجة إلى تحسين قدرات التكيف أثناء وقت الاختبار، والذاكرة، والاستدلال.

المؤلفون الأصليون: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

نُشر 2026-05-15

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالطقس للأشهر الثلاثة القادمة. لكن هنا تكمن العقبة: لا يمكنك مجرد النظر إلى تطبيق توقعات الطقس. بدلاً من ذلك، عليك أن تتصرف كأنك محقق لا يعرف سوى ما حدث حتى اليوم، وعليك أن تخمن ماذا سيحدث غداً، وبعد غد، وهكذا مع وصول أخبار جديدة.

هذا بالضبط ما يدور حوله بحث FutureSim. إنه "ساحة تدريب" (أو معيار اختبار) جديدة مصممة لاختبار مدى قدرة الوكلاء الذكيّين (AI agents) على التكيف مع عالم متغير في الوقت الفعلي.

إليك تفصيل لأفكار البحث باستخدام تشبيهات بسيطة:

1. المشكلة: العالم "الساكن" مقابل العالم "الحي"

معظم اختبارات الذكاء الاصطناعي تشبه خوض امتحان نهائي بناءً على كتاب مدرسي لم يتغير منذ سنوات. يدرس الذكاء الاصطناعي الكتاب، ثم يؤدي الامتحان ويحصل على درجة. لكن العالم الحقيقي ليس كتاباً مدرسياً ساكناً؛ بل هو فيلم حي يتنفس ويستمر في العرض.

يجادل المؤلفون بأنه لكي نختبر حقاً ما إذا كان الذكاء الاصطناعي ذكياً، نحتاج إلى رؤية ما إذا كان بإمكانه مشاهدة هذا الفيلم أثناء عرضه، وتحديث توقعاته كل يوم، وتعديل معتقداته عندما تحدث التواءات في الحبكة (الأخبار).

2. الحل: FutureSim (محاكي "السفر عبر الزمن")

بنى المؤلفون محاكاة تسمى FutureSim. فكر فيها كحلقة "Groundhog Day" (يوم مكرر) للذكاء الاصطناعي، ولكن بدلاً من إعادة عيش نفس اليوم، يعيش الذكاء الاصطناعي فترة زمنية محددة مدتها ثلاثة أشهر (يناير إلى مارس 2026) وهي فترة تلي انتهاء بيانات تدريب الذكاء الاصطناعي.

الإعداد: يبدأ الذكاء الاصطناعي بـ "تاريخ انقطاع معرفي" (مثل طالب توقف عن الدراسة في أواخر عام 2025).
المهمة: يُطلب من الذكاء الاصطناعي التنبؤ بأحداث واقعية (مثل: "من سيفوز بالانتخابات في نيبال؟" أو "هل سيفوز فريق رياضي معين؟").
الآلية: كل يوم، تقوم المحاكاة بـ "فتح" دفعة جديدة من المقالات الإخبارية الحقيقية من ذلك التاريخ المحدد في التاريخ. يمكن للذكاء الاصطناعي البحث في هذه المقالات، وقراءتها، ثم تحديث توقعاته.
القاعدة: يُمنع الذكاء الاصطناعي منعاً باتاً من استراق النظر إلى المستقبل. يمكنه فقط رؤية ما كان معروفاً حتى ذلك اليوم المحدد.

3. اللعبة: المراهنة على المستقبل

في هذه المحاكاة، لا يكتفي الذكاء الاصطناعي بالإجابة بـ "نعم" أو "لا" فقط. بل يعمل مثل مقامر محترف أو متنبئ بالطقس.

يجب عليه أن يقول: "أعتقد أن هناك احتمال 60% لحدوث X، و30% لـ Y، و10% لـ Z".
الدرجة (Brier Skill Score): يستخدم البحث نظام تسجيل خاص.
- إذا كنت واثقاً ومحقاً، تحصل على درجة عالية.
- إذا كنت واثقاً ولكن مخطئاً، تحصل على درجة سالبة (عقاب شديد).
- إذا كنت غير متأكد وقلت "لا أعرف" (امتناع)، تحصل على درجة محايدة.
- تشبيه: من الأفضل أن تقول "لست متأكداً" بدلاً من المراهنة بثقة على حصان خاطئ.

4. النتائج: من فاز باللعبة؟

اختبر المؤلفون عدة نماذج ذكاء اصطناعي رفيعة المستوى (مثل GPT-5.5، وClaude Opus، وغيرها) في هذه البيئة.

الفائز: جاء نموذج GPT-5.5 في الصدارة. كان النموذج الوحيد الذي تحسن في توقعاته باستمرار مع مرور الأيام، ليصل في النهاية إلى دقة تقارب 25% (وهو أمر مثير للإعجاب عند تخمين أحداث مستقبلية).
الخاسرون: أدى العديد من النماذج الأخرى أداءً أسوأ مما لو أنها رفضت التخمين تماماً. لقد كانوا واثقين جداً في تخميناتهم الخاطئة.
تأثير "العتاد" (Harness Effect): وجد البحث أن كيفية إعطاء الأدوات للذكاء الاصطناعي أمر بالغ الأهمية. بعض النماذج قدمت أداءً سيئاً بإعداداتها الافتراضية، لكنها تحسنت بشكل كبير عندما منحها الباحثون "تعليمات" وأدوات أفضل لإدارة ذاكرتها والبحث عن الأخبار. الأمر يشبه إعطاء طالب دليل دراسة أفضل؛ فجأة يصبح أداؤه أفضل بكثير.

5. ماذا تعلموا؟ (الدراسات الاستقصائية/Ablations)

قام الباحثون بتفكيك اللعبة لمعرفة المهارات التي يحتاجها الذك de فعلياً للفوز:

الذاكرة هي المفتاح: إذا جردت الذكاء الاصطناعي من قدرته على كتابة الملاحظات وتذكر ما تعلمه بالأمس، فسيصبح أسوأ بكثير. يحتاج إلى تذكر الأدلة الماضية لحل لغز اليوم.
البحث أمر حاسم: يحتاج الذكاء الاصطناعي إلى البحث بنشاط عن معلومات جديدة كل يوم. إذا جمدت الأخبار ولم تسمح له برؤية مقالات جديدة، فستظل توقعاته عالقة وخاطئة.
التفكير بعمق يساعد: عندما أخبر الباحثون الذكاء الاصطناعي بأن "يفكر لفترة أطول وبجهد أكبر" (باستخدام المزيد من القدرة الحوسبية) قبل الإجابة، أصبح أكثر دقة.
مشكلة "المرساة" (The Anchor Problem): إذا قدم الذكاء الاصطناعي تخميناً سيئاً في وقت مبكر، فغالباً ما "يعلق" على تلك الفكرة الخاطئة ويرفض تغيير رأيه، حتى عندما تظهر أدلة جديدة تثبت خطأه.

6. لماذا يهم هذا؟

يخلص البحث إلى أن نماذج الذكاء الاصطناعي الحالية لا تزال ليست جيدة جداً في "التكيف طويل الأمد". إنها جيدة في الإجابة على الأسئلة بناءً على ما تعرفه بالفعل، لكنها تكافح للتعلم المستمر وتحديث معتقداتها مع تغير العالم من حولها.

يوفر FutureSim طريقة واقعية وقابلة لإعادة التشغيل لقياس هذه المهارة المحددة. الأمر لا يتعلق بما إذا كان الذكاء الاصطناعي يعرف حقيقة ما؛ بل يتعلق بما إذا كان بإمكانه التصرف كخبير بشري يشاهد الأخبار، ويحدث خريطته الذهنية للعالم كل يوم، ويقدم تخمينات أفضل بمرور الوقت.

باختصار: بنى البحث غرفة أخبار تسافر عبر الزمن لاختبار ما إذا كان بإمكان الذكاء الاصطناعي تعلم التنبؤ بالمستقبل من خلال مشاهدة الحاضر وهو يتكشف. وتظهر النتائج أنه بينما بدأ بعض الذكاء الاصطناعي يصبح جيداً في هذا، إلا أن معظم النماذج لا تزال بحاجة إلى تعلم كيفية تحديث معتقداتها دون التعلق بأول تخمين لها.

ملخص تقني: FutureSim – إعادة تشغيل أحداث العالم لتقييم الوكلاء التكيفيين

بيان المشكلة

تُظهر الوكلاء الذكيون (AI agents) نجاحاً كبيراً في الاختبارات المعيارية الثابتة، لكنهم يواجهون صعوبة في التكيف عبر آفاق زمنية طويلة في بيئات ديناميكية ومفتوحة النهاية. وبينما تقدم الاختبارات المعيارية الحديثة (مثل ARC-AGI-3 وVendingBench) نماذج تقريبية، إلا أنها غالباً ما تعتمد على ديناميكيات مصممة بشرياً أو محاكاة برمجياً، وهي ديناميكيات لا تعكس بدقة التطور المجتمعي في العالم الحقيقي. هناك فجوة حرجة في تقييم ما إذا كان بإمكان الوكلاء التفكير في كيفية تطور العالم، وتحديث مقدماتهم (priors) بناءً على معلومات جديدة، والحفاظ على معتقدات معايرة بمرور الوقت دون القدرة على تغيير البيئة الأساسية. ويفترض المؤلفون أن التنبؤ بالأحداث الواقعية بما يتجاوز تاريخ انقطاع معرفة النموذج يوفر إطاراً واقعياً وقابلاً لإعادة الإنتاج لقياس هذا "التكيف عند وقت الاختبار طويل الأمد".

المنهجية: بيئة FutureSim

قدم المؤلفون FutureSim، وهي بيئة تفاعلية تعيد تشغيل أحداث العالم بترتيب زمني لتقييم الوكلاء التكيفيين.

تصميم البيئة

البنية الزمنية: تعمل المحاكاة وفق وتيرة يومية تقابل تواريخ حقيقية (من 1 يناير إلى 28 مارس 2026). وتتوافق الخطوات الزمنية مع وصول معلومات جديدة.
حالة المهمة: يُعرض على الوكلاء 330 سؤالاً تنبؤياً مستمداً من مقالات إخبارية (تحديداً من الجزيرة). يتضمن كل سؤال معلومات خلفية، ومعايير الحل، وتاريخ الحل. وخلافاً للاختبارات المعيارية الثابتة، يجب على الوكلاء تقديم توزيع احتمالي عبر نتائج متعددة يولدونها بأنفسهم، بدلاً من الاختيار من مجموعة ثابتة.
حالة السياق: توفر البيئة إعادة تشغيل زمنية للأخبار. يمتلك الوكلاء إمكانية الوصول إلى نسخة منقحة من مجموعة بيانات أخبار Common Crawl (CCNews). ومن الضروري ملاحظة أن الوصول مقيد بصرامة: حيث يمكن للوكلاء فقط البحث وقراءة المقالات المنشورة في تاريخ أو قبل تاريخ المحاكاة الحالي.
إجراءات الوكيل: تفرض البيئة مجموعة دنيا من الإجراءات:
1. submit_forecast(question_id, outcomes): تسجيل أو تحديث توزيع احتمالي لسؤال نشط.
2. next_day(): تقديم المحاكاة يوماً واحداً، مما يؤدي إلى وصول مقالات جديدة وحل الأسئلة التي مرت تواريخها.
عزل البيئة (Sandboxing): لمنع تسرب المعلومات، يتم عزل الوكلاء (باستخدام bwrap) مع عدم وجود وصول مباشر إلى الويب. يتفاعلون مع مجموعة أخبار محلية مقيدة بالتاريخ عبر أداة بحث هجينة تعتمد على الدلالات والكلمات المفتاحية (LanceDB مع تضمينات Qwen3).

مقاييس التقييم

درجة براير المهارية (Brier Skill Score - BSS): مُكيفة للتنبؤات ذات النتائج الحرة والمتعددة. تقيس جودة التوزيع الاحتمالي بالنسبة للحقيقة الأرضية. تشير الدرجة 1 إلى إجابة صحيحة واثقة، و0 إلى الامتناع، والدرجات السالبة تشير إلى أداء أسوأ من مجرد الامتناع.
دقة الترتيب الأول (Top-1 Accuracy): تقيس صحة النتيجة التي حصلت على أعلى احتمال.

الإعداد التجريبي

قام المؤلفون بتقييم الوكلاء الرائدين (GPT 5.5، DeepSeek V4 Pro، Opus 4.6، Qwen3.6 Plus، GLM 5.1) في بيئاتهم الأصلية وفي "نظامنا الخاص" (Our Harness) المصمم لتحسين التنسيق. يتضمن نظامنا المخصص ميزات مثل تغذية راجعة لاستهلاك السياق، وأدوات ذاكرة مهيكلة، وذاكرة لكل سؤال، وهيكلية إجرائية لتشجيع التحديثات المتكررة.

المساهمات الرئيسية

معيار FutureSim: بيئة قابلة لإعادة الإنتاج ومفتوحة النهاية تختبر الاستدلال التكيفي على أحداث العالم الحقيقي عبر إعادة تشغيل تاريخ العالم بعد تاريخ انقطاع معرفة النموذج. يمنع هذا تسرب المعلومات المستقبلية مع السماح للوكلاء بالبحث عن أدلة متطورة.
إطار تقييم مرن: يفرض الإطار إجراءين فقط، مما يسمح للباحثين بتشغيل أي نماذج أو أنظمة تنسيق أو بيانات أحداث. وهو يدعم دراسة التكيف طويل الأمد، والبحث، والذاكرة، وديناميكيات تعدد الوكلاء.
التحليل التجريبي للتكيف: تقدم الورقة تحليلاً شاملاً لكيفية أداء النماذج الرائدة الحالية في التنبؤ طويل الأمد، مع تسليط الضوء على وجود مجال كبير للتحسين حتى في أنظمة التنسيق الأصلية الخاصة بها.

النتائج

الفصل في الأداء: يوجد فصل واضح في القدرات بين النماذج الرائدة. حقق GPT 5.5 (في نظام Codex) أفضل أداء، محققاً دقة ترتيب أول بلغت 25% ودرجة براير مهارية موجبة.
قصور النماذج المرجعية: حققت العديد من النماذج مفتوحة الأوزان (مثل Qwen3.6 Plus وGLM 5.1) درجات براير مهارية سالبة في أنظمتها الموصى بها، مما يعني أن أداءها كان أسوأ من مجرد الامتناع عن التنبؤ.
تأثير نظام التنسيق (Harness): أدى هندسة نظام التنسيق المخصص إلى تحسين الأداء بشكل كبير. على سبيل المثال، النماذج مفتوحة الأوزان التي فشلت في أنظمتها الأصلية انتقلت إلى درجات براير مهارية موجبة عند استخدام نظام التنسيق المحسن الخاص بالمؤلفين، مما يثبت أن التنسيق الأفضل يمكن أن يستخرج التكيف عند وقت الاختبار.
ديناميكيات التكيف:
- أظهر GPT 5.5 تحسناً مستمراً بمرور الوقت ولكنه أظهر ثقة مفرطة في التنبؤات الخاطئة (27.4% من التنبؤات الأولى الخاطئة كانت ذات احتمال $\ge$ 0.5).
- قام DeepSeek V4 Pro بتحديث التنبؤات بشكل متكرر، وتحسن بشكل ملحوظ من حالاته الضعيفة الأولية، رغم أنه اعتمد أحياناً على تنبؤات فارغة.
- الذاكرة والبحث: أكدت دراسات الاستبعاد (Ablation studies) أن الوصول إلى الذاكرة والبحث الوكيل المتكرر أمر بالغ الأهمية. أدى إزالة الذاكرة إلى تراجع أداء جميع النماذج المختبرة. وبالمثل، أدى تجميد مجموعة الأخب (عدم وجود تحديثات يومية) أو قصر البحث على استعلام واحد إلى تدهور الدقة والمعايرة بشكل كبير.
المقارنة البشرية: كانت تنبؤات GPT 5.5 متوافقة في كثير من الأحيان مع، وأحياناً سبقت، التجمعات البشرية في أسواق التنبؤ (مثل Polymarket)، رغم أنه تأخر في الأسواق ذات التجميع البشري العالي (مثل انتخابات المملكة المتحدة).

الأهمية والادعاءات

يزعم المؤلفون أن FutureSim يوفر إطاراً واقعياً لدراسة اتجاهات بحثية ناشئة، بما في ذلك:

التكيف عند وقت الاختبار طويل الأمد: قياس كيفية تحديث الوكلاء لمعتقداتهم عبر أشهر وليس عبر مهام فردية.
الاستدلال تحت ظروف عدم اليقين: تقييم القدرة على البحث عن الأدلة ومعايرة الاحتمالات في تدفق معلومات ديناميكي.
إدارة الذاكرة والسياق: التحقيق في كيفية احتفاظ الوكلاء بالمعلومات واستخدامها عبر آلاف الدورات وضغط نافذة السياق.
ديناميكيات تعدد الوكلاء: مراقبة كيفية تكيف الوكلاء عندما يتنافسون أو يتعاونون مع آخرين في بيئة معلومات مشتركة.

تخلص الورقة إلى أنه بينما يعمل الوكلاء الحاليون بشكل دون المستوى الأمثل في FutureSim، فإن هذا المعيار يوفر حداً أدنى ضرورياً للقدرات ومنصة مرنة لقياس التقدم نحو وكلاء يمكنهم التكيف والتعلم باستمرار في العالم الحقيقي. ويؤكد المؤلفون أن FutureSim هو نظام تنبؤي بحت؛ فهو لا يحاكي عوالم افتراضية حيث تغير أفعال الوكلاء البيئة، مما يحد من قابليته المباشرة لمجالات التنبؤ الأدائي، ولكنه يضمن تقييماً راسخاً لنماذج العالم.