💰 quantitative finance

Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

تقدم هذه الورقة Foresight Arena، وهو معيار مرجعي على السلسلة (on-chain) غير مقيد، يقيم وكلاء التنبؤ بالذكاء الاصطناعي في أسواق التنبؤ الواقعية باستخدام عقود ذكية لا تتطلب الثقة وقواعد تسجيل ملائمة لقياس دقة التنبؤ بصرامة مع منع الإفراط في التخصيص وتلوث البيانات.

المؤلفون الأصليون: Maksym Nechepurenko, Pavel Shuvalov

نُشر 2026-05-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Maksym Nechepurenko, Pavel Shuvalov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل ساحة رقمية عملاقة، حيث تتنافس "كرات بلورية" من الذكاء الاصطناٍعي لمعرفة المستقبل. تقدم هذه الورقة البحثية "ساحة الاستشراف" (Foresight Arena)، وهي طريقة جديدة لاختبار ما إذا كان الذكاء الاصطناعي بارعاً حقاً في التنبؤ بالأحداث الواقعية، أم أنه مجرد تخمين.

إليك تفصيل لكيفية عملها، باستخدام تشبيهات بسيطة.

1. المشكلة: لماذا كانت الاختبارات القديمة معيبة؟

قبل هذا، كانت اختبارات المتنبئين من الذكاء الاصطناعي تعاني من ثلاث ثغرات كبيرة:

مشكلة "ورقة الغش": استخدمت الاختبارات القديمة أسئلة ثابتة (مثل اختبار قصير محدد). قد تكون نماذج الذكاء الاصطناعي قد رأت الإجابات أثناء تدريبها، لذا لم تكن "تتنبأ" حقاً؛ بل كانت مجرد "تتذكر".
مشكلة "الحكم": اعتمدت معظم الاختبارات على إنسان أو شركة مركزية لتسجيل النقاط. وإذا كان هذا الحكم منحازاً أو تم اختراقه، فإن النتائج ستكون مزيفة.
مشكلة "التاجر مقابل الرائي": بعض الاختبارات كانت تقيس مقدار المال الذي يجنيه الذكاء الاصطناعي من المراهنة على الأحداث. لكن جني المال لا يتعلق فقط بكونك مصيباً؛ بل يتعلق بـ متى تراهن و كم تخاطر. يمكن للذكاء الاصطناعي أن يكون سيئاً جداً في التنبؤ بالمستقبل ومع ذلك يجني المال من خلال كونه مقامراً محظوظاً.

2. الحل: ملعب رقمي غير قابل للتلاعب

تعالج "ساحة الاستشراف" ذلك عبر بناء الاختبار على البلوكشين (Blockchain) (سجل رقمي عام وغير قابل للتغيير).

لعبة "الالتزام ثم الكشف" (Commit-Reveal): تخيل لعبة بوكر حيث يتعين عليك كتابة تخمينك على ورقة، ثم وضعها في ظرف وإغلاقه، ووضعه على الطاولة قبل أن يتمكن أي شخص آخر من رؤيته. فقط بعد أن يغلق الجميع أظرف تخميناتهم، يتم فتح الأظرف. هذا يمنع وكلاء الذكاء الاصطناعي من الغش عبر النظر في تخمينات الآخرين أولاً.
قاعدة "لا حكم بشري": لا يتم تحديد النتائج بواسطة شخص. بل تُقرأ النتائج تلقائياً من نظام لامركزي عام (Polymarket/Gnosis). إذا وقع الحدث، فإن البلوكشين سيعرف ذلك. لا يمكن لأحد تغيير النتيجة بعد فوات الأوان.
قاعدة "الدخول الحر": يمكن لأي شخص (أو أي ذكاء اصطناعي) الانضمام دون طلب إذن.

3. بطاقة النتائج: قياس "الحقيقة" مقابل "الحظ"

بدلاً من عد الأموال، تستخدم الساحة صيغة رياضية خاصة تسمى "درجة براير" (Brier Score).

التشبيه: فكر في الأمر كمتنبئ بالأرصاد الجوية. إذا قال "هناك احتمال 90% لسقوط المطر" وسقط المطر فعلاً، فإنه يحصل على درجة جيدة. أما إذا قال 90% وكان الجو مشمساً، فإنه يحصل على درجة سيئة. الدرجة تقيس مدى قرب ثقته من الواقع.
"درجة ألفا" (الميزة التنافسية): هذه هي السر في الورقة البحثية. فهي لا تسأل فقط: "هل كنت محقاً؟" بل تسأل: "هل كنت أكثر حقاً من الحشد؟"
- تخيل حشداً من 1,000 شخص يخمنون الفائز في مباراة رياضية. "إجماع السوق" هو متوسط تخمين هذا الحشد.
- إذا خمن الذكاء الاصطناعي مثل الحشد تماماً، فإن درجته تكون صفراً.
- إذا خمن بشكل مختلف وكان محقاً، فإنه يحصل على درجة موجبة. هذا يثبت أن الذكاء الاصطناعي وجد معلومة غابت عن الحشد.

4. التجربة: من فاز؟

أجرى المؤلفون اختباراً حياً لـ 50 جولة شملت خمسة من أرقى نماذج الذكاء الاصطناٍعي (من شركات مثل Anthropic، وOpenAI، وGoogle، إلخ) و"خط أساس عشوائي" (كمبيوتر يخمن الأرقام عشوائياً).

النتائج:

المخمنون العشوائيون: فشلوا فشلاً ذريعاً، مما يثبت نجاح الاختبار.
نماذج الذكاء الاصطناي الأعلى مستوى: أدت ثلاثة نماذج (Claude، وGPT، وGemini) أداءً أفضل قليلاً من الحشد، لكن الفرق كان ضئيلاً جداً. كان الأمر يشبه سباقاً أنهى فيه أفضل ثلاثة عداءين السباق بفارق أجزاء من الثانية. لم يكن الاختبار طويلاً بما يكفي للجزم بمن هو الأسرع مطلقاً.
نماذج "المقلد": حاول نموذجان (Grok وGLM) تخمين ما يفكر فيه الحشد ولكن مع إضافة بعض "الضجيج" (أخطاء عشوائية). في الواقع، كان أداؤهما أسوأ من مجرد تقليد الحشد بدقة. هذه نتيجة رئيسية: محاولة أن تكون مختلفاً قليلاً عن الحشد عندما لا تكون أذكى منهم تؤدي فقط إلى خفض درجتك.

5. "تشريح" التنبؤ الجيد

تفكك الورقة البحثية لماذا يربح أو يخسر الذكاء الاصطناعي باستخدام "تفكيك ميرفي" (طريقة متطورة لتفكيك الدرجة):

الدقة (الحدة - Resolution): هل يستطيع الذكاء الاصطناعي التمييز بين الحدث المرجح والحدث غير المرجح؟ الفائزون كانوا "أكثر حدة" من الحشد.
الموثوقية (الأمانة - Reliability): عندما يقول الذكاء الاصطناعي "احتمال 70%"، هل يحدث ذلك بنسبة 70% من المرات؟ الفائزون كانوا صادقين جداً بشأن ثقتهم.
الدرس المستفاد: للتفوق على السوق، تحتاج لأن تكون أكثر حدة من الحشد. مجرد كونك "هادئاً" أو "صادقاً" ليس كافياً إذا لم تكن ترى ما فات الحشد.

6. الخلاصة الكبرى

بنت هذه الورقة البحثية نظام سمعة دائماً وغير قابل للتغيير للذكاء الاصطناعي.

في الماضي، كان بإمكان شركة ذكاء اصطناعي أن تدعي: "ذكاؤنا الاصطناعي هو الأفضل في التنبؤ!" وتريك جدول بيانات من صنعها.
الآن، مع "ساحة الاستبصار"، يمتلك الذكاء الاصطناعي سجلاً عاماً وغير قابل للتزوير على البلوكشين. يمكنك الذهاب والاطلاع على التاريخ بنفسك.

الخلاصة النهائية:
تخلص الورقة إلى أنه بينما يعد الذكاء الاصطناعي الحالي أفضل بكثير من التخمين العشوائي، إلا أنه حالياً قريب جداً من "الحكمة الجماعية" للحشد البشري. لإثبات أن الذكاء الاصطناعي متفوق حقاً، نحتاج إلى استمرار هذه الاختبارات لفترات أطول بكثير (مئات الجولات، وليس 50 فقط) لمعرفة ما إذا كانت الفروق الضئيلة ستؤدي في النهاية إلى فائز واضح.

ما لا تدعيه الورقة البحثية:

هي لا تقول إن هذه الأنظمة من الذكاء الاصطناعي يمكنها التنبؤ بسوق الأسهم لتحقيق الربح (هذه لعبة مختلفة).
هي لا تقول إن هذه الأنظمة جاهزة لإدارة الحكومات أو المستشفيات.
هي لا تدعي أن النتائج الحالية هي الكلمة الأخيرة؛ بل تنص صراحة على أن الاختبار يحتاج إلى وقت أطول للفصل بين أفضل المتنافسين.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Foresight Arena: معيار مرجعي على السلسلة (On-Chain) لتقييم وكلاء التنبؤ بالذكاء الاصطناعي."

1. بيان المشكلة

تحدد الورقة ثلاث قيود جوهرية في الطرق الحالية لتقييم قدرات التنبؤ بالذكاء الاصطناعي:

تلوث البيانات (Dataset Contamination): المعايير المرجعية الثابتة (الأسئلة والنتائج المحددة مسبقاً) عرضة لتسرب بيانات التدريب، حيث تظهر النماذج دقة عالية لمجرد أنها حفظت مجموعة الاختبار أثناء مرحلة ما قبل التدريب.
الثقة المركزية: تعتمد الأطر الحالية على سلطات مركزية لتسجيل التنبؤات وحساب الدرجات، مما يخلق مخاطر التلاعب اللاحق أو التقارير الانتقائية، وهو ما يقوض الثقة التجارية.
المقاييس غير الملائمة: إن تقييم الوكلاء عبر الربح والخسارة في التداول (PnL) يخلط بين دقة التنبؤ واستراتيجية التداول (تحديد حجم المركز، التوقيت، والقدرة على تحمل المخاطر). يمكن للوكيل أن يخسر المال رغم دقة تنبؤاته، أو يربح المال رغم سوء تنبؤاته بسبب الحظ أو المراهنة العنيفة.

يجادل المؤلفون بأن التقييم الصارم يتطلب بيئة مقاومة للإفراط في التخصيص (Overfitting)، لامركزية (لا تتطلب ثقة)، ومبنية على قواعد تسجيل متوافقة مع الحوافز.

2. المنهجية وتصميم النظام

Foresight Arena هو معيار مرجعي حي، متاح للجميع (permissionless)، وموجود على السلسلة (on-chain) تم نشره على شبكة Polygon PoS لتقييم وكلاء الذاء الاصطناعي بناءً على أسواق تنبؤ ثنائية من الواقع المستمد من Polymarket.

البنية الأساسية

بروتوكول الالتزام والكشف (Commit-Reveal Protocol): يقوم الوكلاء بتقديم هاش تشفيري لتنبؤاتهم (مرحلة الالتزام) قبل الموعد النهائي لمنع مراقبة تحركات المنافسين. ثم يكشفون عن الاحتمالات الفعلية وملح (salt) لاحقاً (مرحلة الكشف). هذا يضمن استقلالية التنبؤ.
القرار غير المركزي (Trustless Resolution): يتم حسم النتوات تلقائياً عبر إطار عمل Gnosis Conditional Token (CTF)، وهو نفس الأوراكل (Oracle) المستخدم في Polymarket. لا يمكن لأي قيم بشري التلاعب بالنتيجة.
المشاركة بدون رسوم غاز (Gasless Participation): يتفاعل الوكلاء عبر وسيط (Relayer) باستخدام رسائل موقعة وفق معيار EIP-712، مما يسمح بالمشاركة دون الحاجة لامتلاك رموز أصلية (POL).
السمعة المستمرة: يتم تجميع الدرجات في سجل سمعة ERC-8004، مما يخلق سجلاً تراكمياً غير قابل للتلاعب وقابلاً للتحقق لكل وكيل.

إطار تسجيل الدرجات

يستخدم النظام مقياسين:

درجة برايير (Brier Score): قاعدة تسجيل سليمة ( $S = (p - x)^2$ ) تقيس دقة التنبؤات الاحتمالية. يتم تقليلها إلى أدنى حد فقط عندما يبلغ الوكيل عن اعتقاده الحقيقي.
درجة ألفا ( $\alpha$ ): مقياس مبتكر يقيس تفوق الوكيل على إجماع السوق.
- الصيغة: $\alpha = B_{base} - B_{agent}$ ، حيث $B_{base}$ هي درجة برايير لمتوسط سعر السوق.
- تشير $\alpha$ الموجبة إلى أن الوكيل قد تفوق على الحكمة الجماعية للسوق.

التحليل الإحصائي

يقدم المؤلفون معالجة رياضية رسمية لقواعد التسجيل:

تفكيك ميرفي (Murphy Decomposition): قاموا بتفكيك درجة برايير إلى عدم اليقين (UNC)، الموثوقية (REL)، والقدرة على التمييز (RES).
- تبين أن $\alpha$ هي مجموع مكسب التمييز (تمييز أفضل من السوق) وفجوة الموثوقية (معايرة أفضل من السوق).
تحليل القوة (Power Analysis): اشتقوا تعبيرات مغلقة لتباين ألفا وحجم العينة المطلوب لاكتشاف حافة معينة ( $\alpha^*$ $α^{*}$ ).
- النتيجة: اكتشاف حافة حقيقية قدرها $\alpha^* = 0.02$ يتطلب حوالي 350 تنبؤاً (50 جولة من 7 أسواق). اكتشاف $\alpha^* = 0.01$ يتطلب حوالي 4 أضعاف ذلك.

3. المساهمات الرئيسية

قابلية التحقق على السلسة: أول معيار مرجعي حيث يتم تسجيل جميع التنبؤات، الالتزامات، والدرجات على بلوكشين عام، مما يسمح لأي طرف ثالث بإعادة تشغيل والتحقق من تاريخ الوكيل بشكل مستقل دون الثقة في المنظم.
القرار غير المركزي: إلغاء الوسطاء المركزيين باستخدام Gnosis CTF لحسم النتائج.
التحليل الرسمي لدرجة ألفا: إثبات إحصائي صارم بأن ألفا هي قاعدة تسجيل سليمة، واشتقاق التباين ومتطلبات حجم العينة للكشف الموثوق عن مهارة التنبؤ.
رؤية تفكيك ميرفي: إثبات أن "هزيمة السوق" تختلف رياضياً عن "كونك معايرًا"، مما يسمح بتشخيص أوضاع الفشل المحددة (مثل تتبع السوق مع الضجيج مقابل عدم المعايرة الحقيقية).
بنية تحتية متاحة للجميع: نظام مفتوح المصدر وبدون رسوم غاز يسمح لأي عنوان متوافق مع Ethereum بالمشاركة وبناء اعتمادات مستمرة على السلسلة.

4. النتائج التجريبية

أجرى المؤلفون تقييماً حياً لمدة 50 جولة شمل خمسة وكلاء من نماذج اللغات الكبيرة (LLM) والخط القاعدي العشوائي.

الوكلاء الذين تم تقييمهم: claude-opus-4-5 ، gpt-5-2 ، gemini-3-pro ، grok-4-1 ، glm-4-7 ، والخط القاعدي العشوائي.
الأداء العام:
- الخط القاعدي العشوائي: كان أداؤه أسوأ بكثير من جميع نماذج LLM ( $\bar{\alpha} \approx -0.14$ )، مما يؤكد امتلاك نماذج LLM قدرة تنبؤية حقيقية.
- الفئة العليا: حققت كل من claude-opus-4-5 و gpt-5-2 و gemini-3-pro درجات ألفا موجبة صغيرة ( $+0.003$ إلى $+0.005$ ). ورغم كونها موجبة، إلا أنها لم تكن ذات دلالة إحصائية عند أفق الـ 50 جولة (وهذا يتوافق مع تحليل القوة الذي توقع أن الدلالة تتطلب $\alpha^* \ge 0.02$ ).
- الأداء المنخفض: حققت نماذج grok-4-1 و glm-4-7 درجات ألفا سالبة. كشف تفكيك ميرفي أنها عانت من انخفاض القدرة على التمييز (كانت تتبع سعر السوق ولكنها تضيف ضجيجاً) بدلاً من مجرد أخطاء المعايرة.
التخصص في المجالات:
- الكريبتو: أظهرت نماذج LLM أقوى حافة هنا، ويرجع ذلك على الأرجح إلى القدرة على دمج الأخبار العاجلة بشكل أسرع من متوسط سعر السوق.
- الجيوسياسية: أخفقت جميع الوكلاء أمام السوق، مما يشير إلى أن نماذج LLM تواجه صعوبة في الأحداث السياسية منخفضة التكرار وعالية الغموض.
- الرياضة/الاقتصاد: نتائج مختلطة مع إظهار نماذج معينة لنقاط قوة في مجالات محددة.

5. الأهمية والآثار المترتبة

فصل التنبؤ عن التداول: من خلال استخدام قواعد التسجيل السليمة بدلاً من PnL، يعزل Foresight Arena معرفة النموذج بالعالم عن استراتيجية التداول الخاصة به. هذا يكشف عن أوضاع الفشل (مثل "تتبع السوق مع الضجيج") التي قد تغفل عنها التقييمات القائمة على PnL.
اعتمادات الذكاء الاصطناعي القابلة للتحقق: يقترح النظام معياراً جديداً لتقييم الذكاء الاصطناعي: الاعتمادات على السلسلة. وهي سجلات تراكمية غير قابلة للتغيير للأداء، ولا يمكن تزويرها، وهي ضرورية للترخيص التجاري ونشر الوكلاء المستقلين.
الصدق الإحصائي: تسلط الورقة الضوء على أن التقييمات الحالية قصيرة المدى (مثل 50 جولة) تفتقر إلى القوة للتمييز بين نماذج الحدود العليا. لقد أرست قاعدة مفادها أن التقييم المستمر طويل الأمد ضروري لتصنيف قدرات التنبؤ بالذكاء الاصطناعي بشكل موثوق.
توجيه التصميم: يشير التحليل إلى أنه لكي يتمكن الوكيل من هزيمة السوق، يجب عليه إعطاء الأولوية لـ المعلومات الحديثة (التمييز) و الجرأة المنضبطة، بدلاً من مجرد محاكاة أسعار السوق أو المبالغة في الثقة.

في الختام، يوفر Foresight Arena أول إطار عمل قوي، لامركزي، وصارم إحصائياً لقياس التنبؤ بالذكاء الاصطناعي، متجاوزاً مجموعات البيانات الثابتة والمقاييس القائمة على الربح إلى نظام قائم على التحقق التشفيري ونظرية المعلومات.