🤖 AI

Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs

تقدم الورقة البحثية نظام BLF (المتنبئ اللغوي البايزي)، وهو نظام وكيل يحقق أداءً هو الأفضل في فئته على مقياس ForecastBench من خلال استخدام حالة اعتقاد لغوية شبه مهيكلة، وتجميع تجريبي هرمي متعدد المحاولات، ومعايرة هرمية للتفوق على أساليب التنبؤ العامة الرائدة.

المؤلفون الأصليون: Kevin Murphy

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kevin Murphy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالمستقبل. ربما تخمن ما إذا كان سهم معين سيرتفع، أو ما إذا كانت فضيحة سياسية ستنفجر، أو ما إذا كان سيتم اعتماد لقاح جديد بحلول الشهر المقبل.

تقدم هذه الورقة البحثية نظام BLF (المتنبئ اللغوي البايزي - Bayesian Linguistic Forecaster)، وهو نظام ذكاء اصطناوي جديد صُمم ليكون "المتنبئ الفائق" الأمثل. لقد تفوق مؤخرًا على جميع نماذج الذكاء الاصطناعي الأخرى والخبراء البشريين في مسابقة تنبؤ كبرى تسمى ForecastBench.

إليك كيف يعمل، مشروحًا من خلال تشبيهات بسيطة:

١. المشكلة: "التمرير اللانهائي" مقابل "الدفتر الذكي"

تعمل معظم نماذج التنبؤ بالذكاء الاصطناعي مثل شخص يتصفح موجز أخبار لا ينتهي؛ يبحث عن المعلومات، يقرأها، ثم يبحث مجددًا، ويقرأ المزيد، ويحاول تذكر كل ما قرأه للتو. ومع طول المحادثة، يصاب الذكاء الاصطناعي بالارتباك، وينسى التفاصيل الأكثر أهمية لأن "ذاكرته العاملة" امتلأت بالبيانات غير المجدية.

حل BLF: "الدفتر الذكي"
بدلاً من مجرد إلقاء نتائج البحث في نافذة الدردشة، يحافظ BLF على "حالة اعتقاد لغوية" (Linguistic Belief State). فكر في الأمر كدفتر ملاحظات ذكي لمحقق.

في كل مرة يبحث فيها الذكاء الاصطناعي عن معلومات جديدة، فإنه لا يقوم بمجرد لصق المقال في الدفتر.
بدلاً من ذلك، يقوم بـ تلخيص الأدلة الجديدة وتحديث نظريته الحالية (تقديره للاحتمالية) في الدفتر.
تشبيه: تخيل محققًا يحل جريمة قتل. المحقق السيئ يكتفي بتكديس ٥٠٠ صفحة من شهادات الشهود ويأمل أن يجد الإجابة هناك. أما المحقق الجيد (BLF)، فيحتفظ بصفحة واحدة تقول: "النظرية الحالية: الخادم هو الفاعل (احتمال ٦٠٪). دليل جديد: شوهد الخادم وهو يشتري مجرفة. التحديث: النظرية الآن ٧٥٪". هذا يبقي الذكاء الاصطناعي مركزًا ويمنعه من الشعور بالإرهاق.

٢. الاستراتيجية: "مجلس الخمسة"

يمكن لنماذج الذكاء الاصطناعي أن تكون متقلبة. إذا سألت نفس النموذج نفس السؤال خمس مرات، فقد يعطيك خمس إجابات مختلفة قليلاً لأنه عشوائي بعض الشيء (مثل رمي النرد).

حل BLF: "مجلس الخمسة"
بدلاً من سؤال الذكاء الاصطناعي مرة واحدة، يقوم BLF بسؤاله خمس مرات بشكل مستقل.

تخيل أنك تحاول تخمين الفائز في سباق خيول. أنت لا تسأل صديقًا واحدًا فقط، بل تسأل خمسة أصدقاء مختلفين من الخبراء.
إذا قال الجميع "الحصان (أ)"، فأنت واثق جدًا.
إذا اختلفوا (أحدهم يقول (أ)، والآخر (ب)، والثالث (ج))، فإن BLF يدرك وجود حالة من عدم اليقين. يستخدم خدعة رياضية خاصة (تسمى الانكماش - shrinkage) لسحب توقعاتهم نحو المنتصف (٥٠/٥٠) إذا كانوا مختلفين بشدة، مما يمنع الذكاء الاصطناعي من أن يكون واثقًا جدًا عندما يكون في الواقع مرتبكًا.

٣. المعايرة: "المنظم الحراري" (الترموستات)

أحيانًا، حتى أنظمة الذكاء الاصطناعي الذكية تخطئ في مستويات ثقتها. قد تقول "متأكد بنسبة ٩٩٪" بينما هي في الواقع متأكدة بنسبة ٦٠٪ فقط. هذا يشبه منظمًا حراريًا يعتقد أن الغرفة باردة بينما هي دافئة.

حل BLF: "المنظم الحراري الذكي"
يستخدم BLF تقنية تسمى "المعايرة الهرمية" (Hierarchical Calibration).

يتعلم النظام أنه بالنسبة لبعض أنواع الأسئلة (مثل "هل ستمطر غدًا؟")، يميل الذكاء الاصطناعي إلى الثقة الزائدة. وبالنسبة لأنواع أخرى (مثل "هل سيرتفع سعر السهم؟")، قد يكون متحفظًا للغاية.
يقوم بتعديل الإجابة النهائية بناءً على نوع السؤال، مما يضمن أنه عندما يقول "٨٠٪"، فإنه يعني حقًا "٨٠٪". وهذا أمر بالغ الأهمية ليكون المتنبئ موثوقًا به.

٤. شبكة الأمان: "مفارقة المسافر عبر الزمن"

هناك مشكلة كبيرة في اختبار الذكاء الاصطناعي وهي "التسريب" (Leakage). إذا طلبت من الذكاء الاصطناعي التنبؤ بشيء حدث في عام ٢٠٢٤، ولكن تم تدريب الذكاء الاصطناعي على بيانات من عام ٢٠٢٥، فقد "يعرف" الإجابة ببساطة لأنه قرأها في بيانات التدريب الخاصة به، وليس لأنه استنتجها.

حل BLF: "القفل الزمني رباعي الطبقات"
بنى المؤلفون نظام أمان صارم لضمان عدم غش الذكاء الاصطناعي:
١. فلتر البحث: يحجب أي نتائج بحث من المستقبل.
٢. فحص المحتوى: يقوم ذكاء اصطناعي ثانٍ بقراءة نتائج البحث للتأكد من أنها لا تذكر أحداثًا مستقبلية بالخطأ.
٣. قفل الأدوات: تمت برمجة أدوات خاصة (مثل جلب بيانات البورصة) لتتوقف فيزيائيًا عند "تاريخ القطع".
٤. حظر الروابط (URL): يحظر الروابط التي قد تؤدي مباشرة إلى الإجابة.

النتيجة: أثبتوا أن الذكاء الاصطناعي "غش" (سرب معلومات) في أقل من ١.٥٪ من الحالات، مما يجعل نتائج الاختبار موثوقة للغاية.

النتائج: لماذا هذا مهم؟

عند اختباره على ٤٠٠ سؤال من واقع الحياة (تتراوح بين أسعار الأسهم والصراعات الجيوسياسية):

تفوق BLF على أفضل الخبراء البشريين (المتنبئين الفائقين).
تفوق BLF على أفضل نماذج الذكاء الاصطناعي (بما في ذلك GPT-5 وGrok).
كان BLF الوحيد الذي استطاع باستمرار التفوق على "الجمهور" (متوسط توقعات السوق) في الأسئلة المتعلقة بالسوق.

الصورة الكبيرة

تظهر الورقة البحثية أنه لجعل الذكاء الاصطناعي جيدًا في التنبؤ بالمستقبل، لا تحتاج فقط إلى "عقل أكبر" (نموذج أكبر). بل تحتاج إلى:
١. تنظيم أفضل (الحفاظ على حالة اعتقاد مهيكلة، وليس مجرد سجل دردشة).
٢. عمل جماعي أفضل (السؤال عدة مرات ومتوسط النتائج).
٣. وعي ذاتي أفضل (معايرة الثقة).

الأمر يشبه أخذ عبقري لامع ولكنه مشتت، وإعطائه دفتر ملاحظات منظم، ووضعه ضمن فريق من خمسة أشخاص، وتعليمه كيفية التحقق من ثقته بنفسه. والنتيجة هي نظام يمكنه رؤية المستقبل بوضوح أكثر من أي شخص آخر تقريبًا.

إليك ملخص تقني مفصل لورقة البحث "التنبؤ الوكيل باستخدام التحديث البايزي المتسلسل للمعتقدات اللغوية" للكاتب كيفن ميرفي.

1. تعريف المشكلة

تتناول الورقة تحدي التنبؤ الاحتمالي الثنائي (تقدير احتمال وقوع حدث مستقبلي $P(Y=1)$ ) باستخدام النماذج اللغوية الكبيرة (LLMs). يركز المؤلفون على فئتين رئيسيتين من الأسئلة:

التنبؤ التقديري: أسئلة نصية مفتوحة (مثل "هل سيكون الشخص X رئيساً؟") تتطلب تركيباً للأخبار والسياق الجيوسياسي.
التنبؤ بالسلاسل الزمنية: أسئلة عددية (مثل "هل سيكون السهم Y أعلى من القيمة V؟") تتطلب تحليلاً لاتجاهات البيانات التاريخية.

يتم إجراء التقييم على ForecastBench، وهو معيار قياسي يتضمن أسئلة من مصادر السوق (Polymarket، Manifold) ومصادر مجموعات البيانات (FRED، yfinance، Wikipedia). الهدف الأساسي هو تحقيق أداء يمثل "حالة الفن" (SOTA) مع منع تسرب المعلومات (وصول النموذج إلى بيانات ما بعد تاريخ القطع) بصرامة أثناء الاختبار العكسي.

2. المنهجية: المتنبئ اللغوي البايزي (BLF)

المساهمة الجوهرية هي BLF، وهو نظام وكيل مبني على ثلاث ركائز:

أ. حالة المعتقد اللغوي (التحديث البايزي المتسلسل)

على عكس النهج القياسية التي ترفق نتائج البحث الخام في نافذة سياق متزايدة باستمرار (تراكم النصوص) أو تقوم بالبحث بنظام الدفعات ثم الاستدلال، يحافظ BLF على حالة معتقد شبه مهيكلة يتم تحديثها عند كل خطوة من حلقة استخدام الأدوات التكرارية.

الهيكل: في كل خطوة $t$ ، يولد النموذج اللغوي إجراءً $a_t$ (مثل البحث، قراءة ملف) ومعتقداً محدثاً $b_t$ .
محتوى المعتقد: $b_t$ $b_{t}$ هو كائن JSON يحتوي على:
- تقدير احتمالي $p \in [0, 1]$ .
- مستوى الثقة.
- ملخصات لغوية طبيعية للأدلة المؤيدة (for) والمعارضة (against) للنتيجة.
- أسئلة مفتوحة للتحقيق المستقبلي.
الآلية: يعمل هذا كاستدلال بايزي متسلسل تقريبي. يقوم النموذج اللغي بدمج الأدلة الجديدة ( $o_t$ ) في حالة المعتقد ( $b_t$ ) قبل اتخاذ القرار بشأن الإجراء التالي، مما يسمح بصقل متماسك وتكراري بدلاً من الاستدلال ذي الخطوة الواحدة.

ب. التجميع الهرمي متعدد التجارب

للحد من التباين العالي المتأصل في توليدات النماذج اللغية:

تجارب K: يقوم النظام بتشغيل $K=5$ تجارب مستقلة لكل سؤال.
المتوسط في مساحة اللوجيت (Logit-Space Averaging): يتم تجميع التنبؤات عن طريق المتوسط في مساحة اللوجيت: $\hat{p} = \sigma(\frac{1}{K}\sum \text{logit}(p_k))$ . هذا يحافظ على التطرف بشكل أفضل من المتوسط الحسابي.
الانكماش (Shrinkage): يستكشف النظام نوعاً من الانكماش بأسلوب "جيمس-شتاين" نحو $p=0.5$ (يتم التحكم فيه بواسطة معامل $\alpha$ ) لتقليل الإفراط في الثقة عندما تختلف التجارب. في ForecastBench، وُجد أن $\alpha=1$ (بدون انكماش) هو الأمثل، لكن الانكماش أثبت فائدته في مجموعات البيانات الأصغر والأكثر تنوعاً.

ج. المعايرة الهرمية

لضمان أن التنبؤات معايرة جيداً (أي أن التنبؤ بنسبة 70% يحدث في 70% من الحالات):

تدرج بلات (Platt Scaling): خطوة معالجة لاحقة تقوم برسم الاحتمالات الخام لتصبح احتمالات معايرة.
النهج الهرمي: بدلاً من استخدام تدرج بلات عالمي (والذي قد يؤدي إلى تقليص التنبؤات المتطرفة من المصادر ذات المعدلات الأساسية المنحرفة)، يستخدم BLF تدرج بلات هرمي مع إزاحات تقاطع لكل مصدر ( $\delta_s$ ). وهذا يسمح للنظام بتعلم انحيازات معايرة محددة لمصادر بيانات مختلفة (مثل Polymarket مقابل Wikipedia).

د. إطار عمل اختبار عكسي قوي

مكون حاسم هو الدفاع رباعي الطبقات ضد التسرب لضمان الصلاحية:

تصفية محرك البحث: تقييد نتائج البحث بالتواريخ التي تسبق تاريخ القطع.
مصنف تسرب النموذج اللغوي: يقوم نموذج لغوي ثانوي بفحص نتائج البحث بحثاً عن أي محتوى يشير إلى معرفة ما بعد تاريخ القطع.
تقييد التاريخ (Date Clamping): يتم تقييد واجهات برمجة أدوات (AP） (مثل جلب السلاسل الزمنية) خوارزمياً لتاريخ القطع.
حظر الروابط (URL Blocking): حظر الوصول إلى مصادر الحل (مثل روابط سوق معينة) التي قد تكشف الإجابة.

النتيجة: أظهر تدقيق لاحق أن معدل التسرب المتبقي بلغ 1.5% فقط.

3. المساهمات الرئيسية

أداء SOTA: يحقق BLF أعلى مؤشر براي (Brier Index) في ForecastBench، متفوقاً على أفضل الطرق العامة (Cassi، GPT-5، Grok 4.20، Foresight-32B) وعلى البشر الخبراء في التنبؤ.
حالة معتقد مهيكلة: أثبت أن الحفاظ على حالة معتقد مهيكلة أو شبه مهيكلة يكاد يكون بنفس أهمية الوصول إلى بحث الويب نفسه. إزالة هذه الحالة أدت إلى تدهور الأداء بمقدار $\Delta BI = -3.0$ ، وهو ما يقارب تأثير إزالة البحث ( $\Delta BI = -4.6$ ).
منهجية إحصائية صارمة: تقدم الورقة إطار تحليل مزدوج مع فترات ثقة عبر "البوتستراب" للتحكم في صعوبة السؤال (والتي تفسر حوالي 62% من التباين)، مما يضمن مقارنات عادلة بين الطرق.
الدفاع ضد التسرب: وضعت معياراً صارماً للاختبار العكسي مع معدل تسرب منخفض تم التحقق منه، مما يعالج خللاً كبيراً في تقييمات التنبؤ السابقة للنماذج اللغية.

4. النتائج

الأداء العام: في 400 سؤال (791 تاريخ حل) من ForecastBench، حقق BLF مؤشر براي (BI) قدره 73.8، متفوقاً بشكل كبير على الطريقة التالية (Cassi، BI=70.8).
أسئلة السوق: BLF هو الطريقة الوحيدة التي تفوقت بشكل ملحوظ على خط الأساس "للجمهور" (سعر السوق). جميع الطرق الأخرى، بما في ذلك تلك المزودة بأدوات بحث، كانت غير متمايزة إحصائياً عن مجرد إرجاع سعر السوق.
أسئلة مجموعات البيانات: تفوق BLF بشكل كبير على خط الأساس التجريبي (Empirical Prior) والنماذج اللغية الأخرى.
دراسات الاستئصال (Ablation Studies):
- البحث: إزالة بحث الويب قللت من BI بمقدار 4.6.
- حالة المعتقد: إزالة حالة المعتقد المهيكلة قللت من BI بمقدار 3.0.
- التسلسلي مقابل الدفعات: استبدال الحلقة التسلسلية بنهج (بحث بالدفعات ثم استدلال) قلل من BI بمقدار 3.8.
- المعايرة: وفرت المعايرة الهرمية مكاسب كبيرة لخطوط الأساس (Zero-shot)، لكن كان لها تأثير ضئيل على نظام BLF الكامل (الذي كان معايراً بالفعل).
المقارنة البشرية: حقق مؤشر براي المعدل حسب الصعوبة (ABI = 71.0) لـ BLF متوسط أداء الخبراء البشريين في التنبؤ (ABI = 70.9).

5. الأهمية

تمثل هذه الورقة قفزة نوعية في الذكاء الاصطناعي الوكيل للتنبؤ. فهي تتجاوز مجرد "هندسة الأوامر" (Prompt Engineering) أو "التوليد المعزز بالاسترجاع" (RAG) من خلال تقديم بنية معرفية حيث يحافظ الوكيل على حالة داخلية ديناميكية ومهيكلة (معتقد) تتطور من خلال استخدام الأدوات التكراري.

تشير النتائج إلى أن:

الاستدلال التكراري مع تتبع المعتقد المهيكل أكثر فعالية من تراكم السياق الخام.
التجميع (Ensembling) لعدة تجارب والمعايرة الهرمية ضروريان لإنتاج مخرات احتمالية قوية.
الاختبار العكسي الصارم أمر بالغ الأهمية؛ فبدون ضوابط صارمة ضد التسرب، تصبح مقاييس أداء النماذج اللغية مبالغاً فيها وغير موثوقة.

يضع BLF معياراً جديداً لكيفية استخدام النماذج اللغية كـ "خبراء تنبؤ خارقين"، حيث يجمع بين قدرات الاستدلال للوكلاء والصرامة الإحصائية للتحديث البايزي، مما يوفر مخططاً لتطبيقات مستقبلية في التمويل، والجيوسياسة، وتقييم المخاطر.